как получить список всех путей / файлов на веб-странице с помощью wget или curl в php?

Я использую wget -p $url для получения всех файлов на веб-странице, чтобы получить список. Но для некоторых URL-адресов получается, что wget может получить только index.html. Есть ли способ получить список файлов по определенному URL с помощью wget или cURL? Нужно ли проверять заголовки запросов и заголовки ответов?