Часто мы сталкиваемся с противоречием: обязательно хотим, чтобы наш сайт был проиндексирован для поиска, и не хотим, чтобы некоторые страницы его попадались на глаза кому попало.

И вот тут на выручку приходит стандарт WWW - robots.txt.

Это - не блюдо. Это - приправа к любому блюду, выложенному на вашем сайте.

Как его использовать? А просто: как горчицу или хрен, или сливовое повидло.

Стандарт для robots.txt никому не принадлежит, а начало его использования приходится на 1994 год. Сейчас robots.txt используется всеми популярными поисковыми системами. Файл robots.txt – это The Robots Exclusion Protocol, то есть файл исключений для поисковых роботов. Robots.txt противоположен по смыслу файлу sitemap.xml: robots.txt ограничивает поисковым роботам обход сайта, а sitemap.xml наоборот – указывает файлы для индексирования. При этом robots.txt первичен – прежде, чем поисковый робот начинает загружать какие-либо страницы сайта, он обращается именно к файлу robots.txt, поэтому основной директивой файла robots.txt является директива запрета индексирования – Disallow.

Основные базы знаний по использованию robots.txt – это сайт www.robotstxt.org (на английском языке) и robotstxt.org.ru.

ГЛАВНОЕ:    Наличие файла robots.txt в структуре сайта не обязательно. Отсутствие явно заданного через robots.txt запрета воспринимается поисковым роботом как разрешение загружать любое доступное содержимое сайта. Если сайт ведёт работу с конфиденциальными данными, доступ к которым возможен без авторизации (так делать нельзя ни при каких обстоятельствах), SEO-специалистам и вебмастерам следует заранее позаботиться об ограничении попадания этой информации в открытый доступ: нужно составить список страниц сайта, которые ни в коем случае не должны попасть в индекс поисковых систем, и запретить индексирование этих страниц в файле robots.txt.
 

Синтаксис в robots.txt

Обратимся теперь к оформлению файла robots.txt. В отличие от HTML-документов или XML-карт, в robots.txt содержатся непосредственно директивы для поисковых систем без каких-либо дополнительных блоков информации, описывающих назначение файла – оно вытекает просто из названия.

Как мы говорили выше, основная используемая в robots.txt директива – Disallow. Поскольку в интернете существует далеко не одна поисковая система, то в общем случае вебмастер может задать запреты для всех поисковых роботов согласно принятом синтаксису, указав в строке после User-agent: символ ‘*’. Таким образом, самый простой запрет – это запрет индексирования всего сайта любыми поисковыми роботами. Выглядит он так:

User-agent: * Disallow: /
(Начиная со слеша можно указывать отдельные папки или файлы или маски для запрета индексирования),

при этом часть файлов из этих папок можно открыть, выглядеть это будет так:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

– запрещает скачивать всё, кроме страниц, начинающихся с ‘/cgi-bin’.

Обратите внимание, что если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Например, такая запись –

User-agent: Yandex
Disallow: /
Allow: /cgi-bin

– запрещает скачивать весь сайт

 

Продолжение следует: тут не всё так просто.