знаешь, не все. ес-но собезьянничала - в итоге ustrizza рамблером нашлась у тя в дневнике. зато если искать гуглом, находится мужнин сайт в моем домене. :-))))
енто поисковые пауки ... стоит разместить ссылку на твой дневник где -нибудь , они цапают её , и давай шерстить по страницам .. а там новые ссылки - они прутся туды ... и так без конца ....
Исходное сообщение Призрак_Интернета
енто поисковые пауки ... стоит разместить ссылку на твой дневник где -нибудь , они цапают её , и давай шерстить по страницам .. а там новые ссылки - они прутся туды ... и так без конца ....
В том-то и дело, что они вовсе не должны индексировать то, что к индексированию запрещено. Как правило, в начале каталога ставится файл robots.txt, который указывает паукам, что им следует индексировать, а что не следует. Если попробовать поискать в яндексе, то обнаружится, что он индексирует только общие заглавные страницы сайта и форум, каталоги пользователей, но не внутреннюю начинку дневников. Впрочем, даже этот самый рамблер, как выяснилось, внёс в базу все тексты на страничке, кроме содержания записей.