Боты, это специальные программы, которые поисковики используют для извлечения информации о содержимом сайтов. Каждая поисковая система использует несколько видов ботов, чтобы индексировать сайты. Здесь пойдет речь о ботах Гугла.

1. Googlebot – этот вид ботов извлекают текстовую информацию, их два вида: Deep bot и Fresh bot. Deep bot сканирует сайты глубоко, стараясь отыскать все страницы и найти как можно больше страниц до мельчайших деталей. Fresh bot ищет только свежий контент, а также обновленные страницы. Этот бот ответственен за получение свежей информации и выдачи ее в результатах выдачи поисковиков. Чтобы максимально использовать этот бот следует применять продуманную структуру ссылок.

2. Image bot, как несложно догадаться, скачивает картинки и выдает их в поиске Гугла по картинкам. Релевантность в основном обеспечивается текстовым контекстом. При большом количестве картинок на сайте и слишком большой нагрузке на сервер хостинга можно запретить этому виду ботов посещать сайт или отдельные страницы.

3. Media bot анализирует информацию на страницах, чтобы выдавать релевантные объявления контекстной рекламы для AdSense, их содержание, как они будут расположены. Чтобы разрешить ему посещать сайт можно вставить в robots.txt User-agent: Mediapartners-Google*. Даже если он не будет посещать сайт, объявления все равно будут, но они будут менее релевантными.

4. Ads Bot оценивает стоимость контекстных объявлений в зависимости от качества контента. Он может давать приоритет менее доходным объявлениям, но у которых более высокое качество.

Таким образом, необходимо знать, какие виды ботов существуют. Веб-мастер может регулировать их посещения. Тем не менее, в большинстве случаев лучше предоставить ботам полную свободу посещения сайта. В особенности если речь идет о контекстной рекламе.