Мы опубликовали обновленный robots.txt для сайтов на 1С-Битрикс. Он учитывает особенности Битрикс последних версий, а также особенности robots.txt для популярных решений. При подготовке помимо рекомендаций поисковых сиcтем и анализа демо сайтов на решениях мы изучили индексацию реальных сайтов и попадание страниц в исключенные. Также в файле учтены get-параметры, которые чаще всего вызывают дублирование страниц, на которые «ругается» Яндекс Вебмастер и другие особенности.

Подробнее: https://clck.ru/3EfotN