Я искал, как не индексировать определенные URL-адреса, но я не нашел никакой конкретной информации о следующем.
Добавив ниже
<?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> <?php endif; ?> Я бы не смог индексировать (X), где X может быть идентификатором сообщения, почтовым заголовком «Hello World», например, или почтовым сообщением «hello-world».
Если бы можно было указать все URL-адреса, которые начинаются с одного и того же заголовка сообщения или заголовка, например, как в примере ниже?
www.test.com/REF-123-mytest.html www.test.com/REF-123-yourtest.html www.test.com/REF-123-histest.html
Могу ли я оставить все URL-адреса, которые начинаются с REF-123?
Вы можете добавить это правило в файл robots.txt:
Disallow: www.test.com/REF-123*
Используя robots.txt , вы можете запретить сканирование .
Используя meta robots (или HTTP-заголовок X-Robots-Tag ), вы можете запретить индексирование .
Если вы намерены запретить индексирование, вы не должны запрещать URL-адреса в файле robots.txt, иначе боты никогда не узнают, что вы не хотите индексировать эти URL-адреса.
Если вы хотите запретить сканирование , вы можете использовать этот файл robots.txt:
User-agent: * Disallow: /REF-123
Это применимо ко всем URL-адресам, пути которых начинаются с REF-123 (с учетом регистра!).
Если вы хотите запретить индексирование , вы можете добавить ко всем этим страницам этот meta
<meta name="robots" content="noindex">
или отправить соответствующий HTTP-заголовок X-Robots-Tag :
X-Robots-Tag: noindex