Таким образом, Google не будет сканироваться нигде на моем живом сайте, кроме простых простых страниц, вместо этого просто даст мне 500 ошибок. Приобретение Google в инструментах для веб-мастеров показало, что он вернет полный вывод html с заголовком «Внутренняя ошибка сервера HTTP / 1.0 500». Я работаю локально в xampp с включенным display_errors, но не вижу […]
У меня очень интересная проблема, которую я не могу объяснить. Каждые 2-6 секунд googlebot (я искал IP-адрес googlebots, его реальная вещь [с использованием хост- IP ]) запрашивает страницу на нашем сайте (работает: php, apache, mongodb), которой не существует (404s). Ни один другой робот или человек никогда не запрашивал такую страницу! Просто googlebot. Запросы кажутся примерно […]
Возможно ли, что google или любой другой искатель сканирует и индексирует страницу, которая возвращает код статуса 301? Я видел страницу в google, у которой было 301 месяц. Однако дата кеша этой страницы в индексе составляет несколько дней назад. Может ли Google просто игнорировать 301 и сканировать содержимое страницы?
Какой самый надежный и быстрый способ идентифицировать искателя Googlebot? rDNS может быть подделан, поэтому список googlebot ip выглядит наиболее надежным способом. Существуют ли какие-либо сайты / ресурсы, где могут быть получены фактические googlebot ips? Любые другие идеи приветствуются.