Оригинал сообщения
Последнее время на Стимпанкере стали периодически регистрироваться аккаунты со странными именами и с единственной ссылкой на странные сайты. Ясное дело – это СЕОшники хотят поднять себе PR и ТИЦ, путем автоматической регистрации в 1500 проектах и заброске в профайлы своих ссылок. Обидно, конечно, что проект попал в спамерскую базу, и придется вводить авторизацию по приглашениями… На данный момент это очень нежелательно, поэтому пока решил просто закрыть для индексации страницы с профайлами.

Как это сделать? Очень просто.

В корневом каталоге надо разместить файл robots.txt со следующим кодом:
User-agent: *
Disallow: /profile/
Disallow: /blog/bad/
Disallow: /log/bad/

User-agent: – здесь указываем, для какого поисковика действует правило, в моем случае для всех поисковиков.
Disallow: /profile/ – запрещаем для индексации страницы профайлов – steampunker.ru/profile/
Disallow: /blog/bad/ – запрещаем для индексации заминусованные страницы в коллективных блогах
Disallow: /log/bad/ – запрещаем для индексации заминусованные страницы в личных блогах