У меня небольшая ситуация, когда мне нужно удалить файл robots.txt, потому что я не хочу и роботы-роботы для получения ссылок.
Также я хочу, чтобы они были доступны пользователю, и я не хочу, чтобы они были кэшированы поисковыми системами.
Также я не могу добавить аутентификацию пользователя по различным причинам.
Поэтому я думаю об использовании mod-rewrite, чтобы отключить поисковые роботы от сканирования, позволяя другим делать это.
Логика, которую я пытаюсь реализовать, – это написать условие, чтобы проверить, является ли входящий пользовательский агент поисковой системой, и если да, то перенаправляйте их на 401.
Единственная проблема – я не знаю, как ее реализовать. 🙁
Может кто-нибудь мне помочь.
Заранее спасибо.
С Уважением,
Возможно, я понимаю, что вы ошибаетесь, но я думаю
User-agent: * Disallow: / в robots.txt будет делать именно то, что вы хотите – не позволяйте искателю, сохраняя сайт открытым для обычных пользователей.
Или вам нужно специально удалить robots.txt (по какой причине?) С веб-сервера?