Небольшой текст о теории бана - предварительная версия
Пишу сей мини-трактат об извращениях из-за того, что уж очень много в последнее время истерических восклицаний "ах, мой сайт забанен!" раздаётся от владельцев сайтов, сайты которых попадали на пару-тройку позиций, или получили обычное выпадение морды.
Надо же куда-то их посылать.
Писать одно и то же десятки раз может сильно редкий человек. Я уже не могу.
Версия предварительная. Жду отзывов и поправок.
Что есть бан, его признаки.
Бан суть исключение всех страниц сайта из индекса поисковой машины, производимое по специальному решению модератора поисковой машины. Если сайт целиком "выпал" из базы (индекса), то не всегда это бан. Если сайт по части позиций "исчез", а по части остался - это не бан. Если по ссылке http://www.yandex.ru/yandsearch?sur...pag=u&numdoc=50 , где site.ru есть адрес нужного сайта, находится хотя бы один документ, то сайт не в бане. На 100% выявить бан на данный момент можно только одним способом: если при добавлении сайта прямиком в форму http://webmaster.yandex.ru/ пишется:
Адрес site.ru не был внесен в базу Яндекса, так как его индексация запрещена.
Однако если сайт забанен недавно, то ответ поисковой системы будет неумеренно оптимистичен - она сообщит, что сайт добавлен и вскоре будет внесён в индекс.
Если спросить, точно ли забанен сайт у яндексоидов, то они также обожают давать стандартные отписки - дескать, не комментируем удаление, обращайтесь через месяц. Причём в июле-августе сего года подобные ответы приходили независимо от того, находился ли сайт в топе, или нет.
Так что определить, забанен ли сайт, или выпал из-за какого-то глюка, можно только проверив самостоятельно сайт на предмет нарушений.
Кто банит
Банят сайты вполне обычные сотрудники Яндекса, не являющиеся в его деятельности великими экспертами. Также эти сотрудники не являются великими знатоками html, xhtml, css, javascript и прочих сетевых премудростей. Время и терпение этих сотрудников небезграничны, так что на проверку сайта они не будут тратить более нескольких минут. Многие из сотрудников используют альтернативные броузеры, такие как Opera и FireFox. Стоит учитывать это как при создании сайтов, так и при составлении кляуз. В первом случае стоит учеть, что не разобравшись, сотрудник может забанить и за то, что вовсе никак не влияет на положение сайта в Яндексе, но выглядит весьма угрожающе в коде. Кроме того, стоит проверять, как выглядит сайт во всех основных броузерах. И наконец, поосторожнее стоит быть с блоками текста, отображение которых зависит от неких событий - такой блок могут принять за скрытый.
За что банят
Банят не ЗА ЧТО, банят ПОТОМУ ЧТО. Бан - это не наказание, это способ улучшения выдачи посредством исключения нерелевантных результатов. Соответственно и стоит относиться к работе модераторов.
Например, если Вы спокойно открываете индексацию результатов поиска по сайту (а такие страницы обычно высокорелевантны фразе, по которой ведётся поиск), то банить сайт вполне себе есть за что: куча страниц, не содержащих самостоятельной полезной информации забивает выдачу и мешает пользователю. Особенно если в индекс оказываются внесены и странички "ничего не найдено по запросу". То же и при открытии к индексации всяких сервисных "страничек о товарах" без навигации.
Бессмысленное для пользователя использование ключевых слов в тексте - это плохо. Без комментариев.
Выдача пользователю иной странички чем поисковику - не всегда криминал, но запросто им может быть признана. Почему не всегда криминал? Потому что пользователь может работать с персонализированной информацией, получать дополнительно рекламу и проч. и тому подобное - это вполне нормально и даже более того, поддерживается и самим поисковиком - через тег noindex. Обратное - показ поисковику информации, невидимой для пользователя - практически всегда ведёт к бану, так как извращает саму идею поиска.
И наконец, остаётся неумеренное использование специальных влияющих на ранжирование факторов. Как то: H1(2,3,4), b, strong. В принципе, пока они используются по назначению -
как заголовок, как смысловое выделение в тексте и т.п. - всё нормально. Проблемы начинаются, когда вебмастер решает использовать эти факторы по максимуму. В этом случае и заголовок не остаётся заголовком (к какому тексту может подойти заголовок из 15-ти ключевых слов?) и начинают применять как замену обычному шрифту.
За что не банят
Повторюсь: банят не ЗА, банят ПОТОМУ КАК. Можно писать скрытым текстом в h1, но никто сайт не забанит, если этот скрытый текст в H1 явно не является способом пробиться в поисковике повыше.
Ещё не банят сайт, если неблаговидные действия проводились с внешней стороны. Ибо чревато. Зато с удовольствием разыскивают и банят сайты, составляющие эту самую внешнюю сторону.
Модератор не обязан судить сайты на основе неких формальных правил. Потому важна не буква, а дух. Стоит только подумать немного в этом направлении и начнут вырисовываться законы, по которым он принимает решение.
Мини-ЧаВо
Почему у конкурента куча спама на сайте, а его не забанили?
Либо у него нет спама на сайте, либо плохо стучите.
У меня применяются методы описанные как спам, а меня не банят!
Либо конкурент плохо стучит, либо методы явно применяются не злонамеренно, либо эти методы не спам.
Если у меня на сайте есть скрытый текст, меня забанят?
Если у меня в кармане нож, с лезвия которого капает кровь - меня посадят? Понятия не имею.
За обмен ссылками банят?
До сих пор такие случаи не известны. Собственно, поздно уже банить за обмен - слишком много уважаемых сайтов в нём замешаны. Фильтровать обмен проще, что и делается.
Саму тему (и дискуссию по ней) вы найдете по ссылке http://forum.searchengines.ru/showthread.php?t=25523. Интересно, что бывают реально ситуации, когда так называемый бан происходит "ни за что" - абсолютно реальная ситуация была с одним из моих сайтов: Обнаруживаю бан, пишу в саппорт, получаю ответ о том, что на сайте присутствуют нарушения (читайте лицензию) такого-то характера. Отвечаю: Видимо какая-то ошибка, нет на сайте нарушения! Приходит ответ: причина не устранена, есть нарушения. Анализирую весь сайт, изменений никаких не вношу, пишу еще раз в саппорт - нет его, нет нарушения! Ответ - да, все в порядке, ваш сайт восстановлен. Вот так. А дело в том, что саппорт - это совсем не один человек, а люди - они всего-лишь люди, кто-то не досмотрел, не дочитал, кто-то оказался недостаточно компетентен или же слишком ленив, или просто устал... Бывают ошибки, глюки. И здесь уже дело в компетентности разработчика/владельца сайта: для того, чтобы искать причину, искать нарушения, нужно знать, что же запрещено, что может быть наказуемо.
В тему так же опубликованный в дневнике xekc`a на ЖЖ "чеклист" - "Куда смотрит бот #2 - 15 стоящих упоминания моментов + еще 3": целых 15 пунктов + бонус-трек: "О чём нужно поскорее забыть".
Короткий чеклист того, на что обращают внимание боты поисковых систем, и на что должен обращать внимание любой вебмастер или копирайтер, как и любая CMS. Прошлый список был обще-сайтовый и неконктный, в этом - то на что нужно смотреть при создании каждой отдельной страницы сайта.
Для начала две важных вещи:
Ключевые слова - хотите вы этого или нет, но они у вас есть. Несколько раз встречал убеждённые утверждения вида "а нету у меня никаких ключевых слов". Это не так. Смысловой контекст любой страницы формируется самыми разными системами, хотите вы этого или нет.
Поэтому для вас же будет лучше, если вы скажете себе "эта страница о ..." - и построите контент на ней соответствующим образом. Если больших тем несколько - не бойтесь создавать отдельные страницы. Если информации по одной теме много - не бойтесь десятков килобайт текста на одной странице.
SEO как процесс - нужно понимать разницу между профессиональным seo-продвижением и набором минимальных tips'n'tricks, базовых техник оптимизации. Зная что важно и что - нет, вы лучше понимаете как работает поиск, на что стоит обращать внимание и чего делать не следует. Из разряда "утренней зарядки" в "профессиональные спортсмены" вас это не переведёт.
Ознакомиться с "чеклистом можно здесь - http://www.livejournal.com/users/xekc/248729.html". А вот другой чек-лист, ориентированный на google-оптимизаторов: http://www.vaughns-1-pagers.com/internet/google-ranking-factors.htm - объемом поглобальнее будет, однако информация любопытная.
--------------------------------------------------------------------------------
На другом известном оптимизаторском форуме - seochase.com полезная информация об использовании тега NoIndex, тему (в открытом разделе) завел Андрей Иванов по вопросу из почты рассылки:
- - - -
Прочитал на форумах, что тег ... теоретически и наверно практически повышает степень (процент) повторяемости слов на web станице, если заключить в него все ненужные разделы страницы, счетчики и т.д., что положительно отражается при запросах на Yandex-е.)
...
В связи с этим есть косьвенные вопросы:
1) Какие нюансы (правила) необходимо соблюдать при использовании тега ?
2) Есть ли ограничения на количество этих тегов на странице?
3) Как рекомендуется использовать этот тег?
4) Вообще его стоит использовать или нет?
- - - -
Верное замечание было о том, что пока все в рамках приличия, никто об ограничениях не говорит (конечно же если не закрывать от индексирования все содержимое документа, кроме ключевых слов). Однако дальше ставится вопрос о целесообразности использования этого тега. Отличный ответ пришел от TAndrew:
- - - -
Тег NOINDEX может реально приносить пользу в случаях, когда им отбиваются несущественные области страницы - элементы оформления, вспомогательные текстовые строки (сообщения вроде "Здравствуйте, гость!" или "Добро пожаловать!"); при этом увеличивается общая плотность полезного контента. Либо, если нужно скрыть от поисковика ссылки, по которым ему ходить нежелательно по каким-либо причинам. Немного подробнее:
1) Вы замечали текст, выдаваемый поисковиками под ссылкой в результатах поиска? По-хорошему, там должен быть текст из мета-тега Description (если он релевантен запросу и содержимому страницы), но часто там выдаются строки из меню ли опять же всякий мусор, содержащийся в начале страницы - а там обычно приветствия, служебная информация, меню навигации и т.д. Вот как раз использованием вышеуказанного тега можно отсечь этот мусор, что способствует выдаче в результатах поиска под ссылкой осмысленного текста, как и должно быть.
2) Страница на сайте может иметь, например, две версии - обычная и "для печати". Для поисковиков вторая является более "вкусной" (думаю, лишнее объяснять, почему именно). Но иногда хочется, что проиндексирована была именно основная страница (т.к. на ней может быть и другая "полезная" информация - например, ссылки на другие статьи по этой теме, по которым посетитель, предположительно, пойдёт дальше по сайту. В этом случае и поможет тег NOINDEX, которым можно отбить ссылку на версию для печати.
Здесь будет ещё один плюс: каждый материал, по возможности, должен быть уникален, в том числе иметь уникальный адрес; если же один и тот же текст на одном сайте доступен по нескольким адресам (в нашем случае - обычная страница и версия для печати), то каждая в отдельности получит меньший ИЦ/PR, чем такая же уникальная страница.
Кто ещё может привести примеры полезного применения этого тега (полезного и для владельца сайта, и для поисковика и приходящего с него посетителя) - приведите примеры.
- - - -
С другой стороны, великолепный (полностью согласна) месседж от Коля Дубр:
- - - -
Тега NOINDEX не существует. Он не описан ни в одной спецификации. Его использование - грубое нарушение веб-стандартов. Это уж очень напоминает ситуацию с введением своих стандартов производителями браузеров. Сейчас уже никто не сомневается в том, что это было плохой идеей.
Я писал в Яндекс с вопросом, возможно ли в будущем введение другого синтаксиса, например, с использованием комментариев. Ответ - если не нравится, используйте мета-теги и роботс.тхт.
А вообще-то надо просто больше внимания уделять работе с кодом. Надо делать короткий, чистый код, вынося все оформление в CSS. Не пользоваться таблицами для верстки - блочная верстка сокращает код и количество узлов в документе. Это не просто, это почти искусство, но иначе - никак. Не тот случай, когда простое решение оказывается более правильным.
Так что, призываю не поддерживать псевдостандарты и тегом NOINDEX не пользоваться.
- - - -
Так вот, господа разработчики, нам остается накапливать информацию, думать, анализировать, экспериментировать и учиться, по возможности, на чужих ошибках. Удачных вам веб-проектов! Кстати вот еще одно объявление для дизайнеров: Мэрия г. Ярославля и Британский совет объявляют конкурс на лучший социальный плакат г. Ярославля.
Конкурс продлится с 14 сентября по 14 октября 2005 года. Итоги конкурса мы подведем 17 октября.
Работа победителя в течение года будет размещена на улицах Ярославля. Победитель будет определен членами жюри.
Автор работы, выбранной посетителями сайта, получит в подарок альбом с работами одного из дизайнеров — участников выставки, а также набор открыток с плакатами, представленными на выставке в Ярославле.
http://ukposter.ru/contest/
--------------------------------------------------------------------------------