Спецсимволы в robots.txt

При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, определенные регулярные выражения. Символ ‘#’ отделяет комментарии к коду в файле robots.txt.

Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’ и ‘/cgi-bin/private/test.aspx’
Disallow: /*private # запрещает не только ‘/private’, но и ‘/cgi-bin/private’

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается ‘*’, например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с ‘/cgi-bin’ Disallow: /cgi-bin # то же самое
Чтобы отменить ‘*’ на конце правила, можно использовать спецсимвол ‘$’, например:

User-agent: Yandex
Disallow: /example$ # запрещает ‘/example’, но не запрещает ‘/example.html’

User-agent: Yandex
Disallow: /example # запрещает и ‘/example’, и ‘/example.html’

User-agent: Yandex
Disallow: /example$ # запрещает только ‘/example’
Disallow: /example*$ # так же, как ‘Disallow: /example’ запрещает и /example.html и /example

Как видно из примеров, директивы можно сочетать друг с другом. Как правило, этого небольшого функционала достаточно для решения большинства вопросов с индексированием сайта, остальные директивы нуждаются в уточнении в рамках работы конкретной поисковой системы. Популярные поисковики предоставляют вебмастерам cправочную информацию по особенностям работы своих поисковых роботов – например, «Яндекс» и «Google».