как получить список всех путей / файлов на веб-странице с помощью wget или curl в php?

Я использую wget -p $url для получения всех файлов на веб-странице, чтобы получить список. Но для некоторых URL-адресов получается, что wget может получить только index.html. Есть ли способ получить список файлов по определенному URL с помощью wget или cURL? Нужно ли проверять заголовки запросов и заголовки ответов?

• Загрузка и сохранение файла с помощью wget в shell_exec
• Cron задает пустой файл при каждом запуске
• Как разместить содержимое файла с помощью wget в переменной post?
• Могу ли я использовать WGET для создания сайта сайта с учетом его URL-адреса?
• Получить частичную веб-страницу