Возможно ли, что google или любой другой искатель сканирует и индексирует страницу, которая возвращает код статуса 301?
Я видел страницу в google, у которой было 301 месяц. Однако дата кеша этой страницы в индексе составляет несколько дней назад.
Может ли Google просто игнорировать 301 и сканировать содержимое страницы?
Google всегда сканирует цель перенаправления, HTTP 301 не является исключением. Однако не удалось найти лучший источник, чем дискуссионный пост сотрудника . Документация Google Search Appliance говорит то же самое, и я не понимаю, почему GSA и GoogleBot должны обрабатывать переадресацию по-разному.
Обычно Google сканирует страницу, на которую перенаправляется. Два возможных объяснения для сайта, который вы видели:
Посмотрите это видео на Youtube .
Google посещает URL-адреса навсегда независимо от того, какой код ответа вы вернетесь. Они делают это на всякий случай, когда URL-адрес когда-либо возвращается к реальному содержанию.
301 – лучший ответ. После этого Google удалит эти URL-адреса из SERP. Не навязывайте более быстрое падение, если вы не хотите, чтобы меньше посетителей посещали ваш сайт в течение следующих трех-шести месяцев.
По словам Мэтта Катца, руководителя команды webspam, люди использовали 301s для злоупотребления рейтингами, пересылая кучу доменов на новый, и, таким образом, Google улучшил способы обработки 301 страницы. Предположим, вы перешли в новый домен и 301d все ваши страницы из старого домена на соответствующие страницы в новом домене. В этом случае Google в конечном итоге отключит старый домен от индекса и добавит новый.
То, что вы говорите, редко, и если вы беспокоитесь об этом, вы можете сообщить об этом Google через форумы Google Webmaster. Они довольно быстр в таких вещах, как только это привлечет внимание кого-то. Однако, может быть, причина в том, что страница со временем удалит 301, а затем снова вернет ее. Или может быть, что 301 не отображается в Google Bot.
Вы можете использовать инструмент Google для веб-мастеров: https://www.google.com/webmasters/tools/home
Существует инструмент анализа роботов, в котором вы можете протестировать URL-адрес своего домена и убедиться в этом, если сканируется переадресованная страница 301 или нет;)