Host: - используется для определения основного зеркала сайта. Вы на верное уже знаете, что URL одного и того же сайта можно прописать как с www так и без. Но это для нас он один и тот же, а для поисковых машин - это вполне может оказаться два разных ресурса. Поэтому Яндекс без проблем может поделить тИЦ Вашего сайта на два: первая половина достанется домену без www, вторая с www. Это называется двуличность домена и для того, чтобы ее избежать и существует команда Host:, где после двоеточия прописывается желаемый Вами домен с www или без, например: 1 Host: biznesguide.ru Следует отметить, что это все нужно прописывать до того,как Ваш сайт проиндексируют поисковые системы , иначе сайту можно навредить. Если же сайт уже проиндексировали поисковики, тогда посмотрите, как они это сделали с www или без и пропишите соответственно в команде Host:. Также важно помнить,что если вы хотите, чтобы поисковая система "Яндекс" приняла во внимание директиву Host в вашей файле, то создайте одинаковыефайлы robots.txt на всех "зеркалах" сайта. Только тогда зеркальщик "Яндекс" выделит главное зеркало, согласно данным в Host. Sitemap: - данная директива позволяет поисковой системе указать, где находится специальным образомсгенерированная карта Sitemap для сайта, что помогает снять обязанность веб-мастеров каждыйраз загружать новую карту Sitemap на сервер поисковой системе и позволить поисковой системе самой загружать Sitemap с сайта. Возможность использования директивы в настоящий момент поддерживается в Google, Yahoo, Ask, Bing и "Яндекс", например: 1 Sitemap: http://mysity.ru/sitemap.xml Если файлов карты сайта несколько, то их нужно перечислить все: 1 Sitemap: http://mysity.ru/sitemap_1.xml 2 Sitemap: http://mysity.ru/sitemap_2.xml Это основные директивы файла robots.txt, которые понимают практически все поисковые роботы. Нонекоторые поисковыесистемы используют собственные"информационные" директивы. Например, в поисковой системе"Яндекс" введена директива Clean-param , при помощи которой веб-мастер может указать, как индексировать динамические параметры, которые не влияют на содержание страницы. Это могут быть различные идентификаторы сессий, пользователей и т. д.,что увеличивает эффективность индексации страницы.