В Google Search Console появился новый отчет robots.txt, в котором отображаются данные по индексации страниц на сайте. В отчете можно посмотреть какие файлы robots.txt Google нашел для 20 лучших хостов на сайте, дату последнего сканирования, предупреждения об обнаруженных ошибках.

Подробнее: https://clck.ru/36z7yD