Есть ли способ или инструмент для автоматического посещения всех страниц моего сайта

Я хочу автоматически посещать / обходить все страницы моего сайта, чтобы создать файл кеша. Есть ли способ или инструмент для этого?

Просто используйте любого робота, который загружает всю вашу страницу:

https://superuser.com/questions/14403/how-can-i-download-an-entire-website

Например, wget:

wget -r --no-parent http://site.com/songs/ 

Вы можете использовать рекурсивный вариант wget для этого. Измените example.com на свой домен:

 wget --recursive --no-parent --domains=example.com --level=inf --delete-after 

вы используете CMS? у вас есть список ваших страниц? вы можете написать простой цикл PHP для загрузки всех страниц с помощью CURL или php fopen ()

 $pages_ar = array( "http://mydomain.com/page1.htm", "http://mydomain.com/page2.htm", "http://mydomain.com/page2.htm", ); foreach($pages_ar as $page) { fopen($page, "r"); } 

но я надеюсь, что вы получите эту идею …

Метод surfen правильный, но если вы хотите получить php-решение, вы можете проверить компонент Symfony 2-s BrowserKit, который может использоваться как отдельный компонент.

https://github.com/symfony/BrowserKit