У меня есть сайт, который позволяет загружать или транслировать mp3-файлы. Все mp3-файлы находятся в подкаталоге «mp3». Ошибка, которую я получаю от google (и что-то, что я хотел бы избежать) заключается в том, что когда сам каталог вызывается в браузере, подобном этому
http://www.mysite.com/mp3/ он вызывает обычную (и правильную) ошибку, в которой каталог не содержит индексного файла. Я знаю, как сделать php-файл, который перенаправляет пользователя на любую страницу, которую я хочу, и я знаю, что могу сделать файл index.html, перенаправленный 301 на любую страницу, в которой я нуждаюсь, но есть ли лучший способ справиться с этим, лучше для google? Я могу пометить каталог как запрещенный в файле robots.txt, но есть ли лучший способ справиться с этим, что также выглядит более профессиональным для конечного пользователя?
На вашем сайте не должно быть ссылок на эту папку без указания имени файла, поэтому пользователь не должен доходить до этого адресата. Если они будут вручную вводить этот URL, я бы предложил использовать пользовательские страницы для 404 или 403 ошибок (не найденных или запрещенных). Я бы счел, что профессионально достаточно,
И для google я бы пошел с параметром robots.txt.
Я предпочитаю обрабатывать эти случаи с файлом .htaccess, отправляя ошибку 301 и направляя на другую существующую страницу. Основываясь на моих исследованиях, это самая дружественная поисковая система.
Добавление Options -Indexes в файл .htaccess в этом каталоге довольно распространен.
Конечным результатом является то, что пользователь видит 403 Forbidden ошибку. Я не уверен, что это то, что вы подразумеваете под
он вызывает обычную (и правильную) ошибку, в которой каталог не содержит индексного файла.
Эта практика довольно распространена даже на очень крупных сайтах. Это не мешает пользователям или Google находить или загружать фактические файлы MP3. Google не будет наказывать вас за ошибку 403. И если вы скажете это не индексировать /mp3/* тогда он не должен даже ударять по этому каталогу.