Как создать правильный robots.txt для Bitrix (битрикс). Файл роботс в этой cms регулярно обновляется разработчиками. Не забывайте скачивать его новую версию. Пример роботса для битрикс.