http://www.mysitename.com/users/download/id
Вышеупомянутый URL-адрес должен скрываться в поисковых системах.
Если кто-то ищет мой mysitename, то выше ссылка также отображается в поиске Google на данный момент. что я могу сделать для этого?
Добавьте файл robots.txt в корневой каталог вашего сайта со следующим содержимым:
User-agent: * Disallow: /users/download/id
Этот подход в основном говорит поисковой системе не индексировать /users/download/id .
Это не означает, что каждая поисковая система сделает это, но большинство современных поисковых систем будут учитывать этот файл.
Вы можете использовать технику Сео …
Код, который вы можете поместить в свой HTML, будет препятствовать тому, чтобы боты размахивали вашими страницами. Этот код помещается в заголовок вашей веб-страницы (означая между тегами и тегами) в виде метатега (и вы считали, что метатеги были только для ключевых слов).
Вот четыре примера того, как будет выглядеть этот код;
<meta name="robots" content="index,follow"> <meta name="robots" content="noindex,follow"> <meta name="robots" content="index,nofollow"> <meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex,nofollow,noarchive,nosnippet,noodp" /> <meta name="robots" content="noindex,nofollow,noarchive,nosnippet,noodp" />