СЕОньюсы завалили новостями.
В частности сегодня новость про усовершенствование файла robots.txt. Yandex предложил делать вот так:
User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Для того, чтобы поисковый робот, обходящий с дозором и индексирующий страницы, посещал ваш сайт с регулярностью, которую вы ему установили. Это помогает индексировать страницы вашего сайта быстрее, и вообще задумка, на мой взгляд, хороша.
В общем советую почитать: тут и поделиться своим мнением со мной.