Вот содержание моего файла robots.txt:
User-agent: * Disallow: /images/ Disallow: /upload/ Disallow: /admin/ Как вы можете видеть, я явно запретил всем роботам индексировать images папок, upload и admin . Проблема в том, что один из моих клиентов отправил запрос на удаление содержимого из папки с изображениями, потому что .pdf-документ из папки с images появился в результатах поиска Google. Может ли кто-нибудь объяснить мне, что я делаю неправильно здесь, и почему Google индексировал мои папки?
Спасибо!