Периодически мой сайт Новой Усмани посещает PetalBot, который робот поисковой системы Petal Search от компании Huawei.
Его айпи на моем сайте показывает 114.119.138.130
Также все запросы PetalBot ведет с сетки с IP 114.119.167.
Первая его работа началась 19 июня 2020 года.
Этот бот пока не грузит сайты и является нормальным поисковым ботом в сети интернет!
PetalBot является "вежливым ботом" и при заходе на домен запрашивает файл "/robots.txt" для того, чтобы следовать указаниям вебмастера сайта. Это бот, как и многие другие индексирующие роботы поисковых систем, запрашивает страницы сайта и изображения. Не замечено, чтобы бот запрашивал JS и CSS файлы, следовательно визуальная составляющая его не интересует, только контент.
Свойства бота PetalBot
-
бот поисковой системы;
слушает robots.txt;
запрашивает только контент и изображения;
не создает нагрузку на сервер (около 4 запросов в минуту);
большое кол-во IP адресов.
В случае, если бот грузит или нагружает домен, то он легко блокируется в файле robots.txt^
| Код: |
|
User-agent: PetalBot Disallow: / |
Если вы владеете английским, как узнать больше о боте PetalBot, как заблокировать PetalBot, какие запросы PetalBot делает, его частоту обходов и прочее, можно узнать на официальной странице aspiegel