В 2019 году мы  подготовили и опубликовали robots.txt для сайтов на 1С-Битрикс. Сегодня мы предлагаем обновленный в 2022 году файл правильного robots.txt, который учитывает особенности Битрикс последних версий, а также особенности robots.txt для популярных решений Aspro Next, Сотбит, Deluxe, Nextype Magnit и решений корпоративных сайтов Aspro. При подготовке помимо рекомендаций поисковых сиcтем и анализа демо сайтов на решениях мы изучили индексацию реальных сайтов и попадание страниц в исключенные. Также в файле учтены get-параметры, которые чаще всего вызывают дублирование страниц, на которые «ругается» Яндекс Вебмастер, параметр ysclid от новой механики Яндекса для более точного распознавания поисковых фраз в браузерах с ограничением межсайтовых cookies и другие особенности.

Подробнее: https://bit.ly/37jn88T