Уже не в первый раз заходит разговор о корректности методики составления того или иного рейтинга. И не в первый раз слышатся упреки в адрес Медиалогии. Для погружения в тему рекомендую ознакомиться с прошлыми материалами:

• «Медиалогия» запуталась в рейтингах


• Продолжаем меряться: Рейтинг популярности российских СМИ от Ex Libris


• TNS – повелитель «дутых» рейтингов


• Ох уж эти рейтинги…


• У “Первого канала” упал “Телерейтинг” // Но примирения с TNS не произошло

И вот продолжение темы от Василия Гатова:

О кривом зеркале и лукавой цифре. Реплика

Руководитель Медиалаборатории РИА Новости Василий Гатов

Медиа-бизнес, как и многие другие конкурентные индустрии, очень зависит от рейтингов. Кто быстрее, выше, больше – тот, возможно, в чем-то лучше других. Ведь если говорить о медиа, источников (газет, журналов, телеканалов, радиостанций, информационных агентств)  множество, а времени в сутках все равно 24 часа. И деньги рекламные тоже не бесконечны, и внимание и количество читателей, зрителей, слушателей. Рейтинги позволяют распределять ограниченные ресурсы – иногда вполне себе материальные, но чаще всего – ресурс значимости. В погоне за местами в рейтингах некоторые используют разного рода медиа-допинги и стимуляторы: накрутки, покупки порнотрафика, закрытые счетчики и другие способы получить пусть краткосрочную и дутую, но популярность. Не об этом речь в моей реплике, а о релевантности некоторых попыток медиаизмерений.

Исторически рейтинги цитируемости готовятся несколькими службами: социологическими и маркетинговыми (TNS), интернет-поисковиками (Yandex), службами мониторинга СМИ (их значительно больше). Разнообразие рейтингов не случайно  ведь местоположение тех или иных СМИ в десятках, двадцатках и так далее зависит и от того, как считают, и от того, кто считает. Один из последних рейтингов  продукт деятельности компании Медиалогия. Рейтинг посвящен цитируемости интернет-СМИ России в других видах массовых коммуникаций и в самом интернете, ознакомиться с ним можно здесь.

Хочу сразу оговориться, чтобы не было обид со стороны сайтов, в рейтинге упомянутые на высоких местах. Это, действительно, очень популярные и активно работающие  в том числе и на цитируемость  СМИ. Их руководители, редакторы, журналисты и маркетологи делают большую и умную работу; одни умеют добывать сенсации, другие  умеют упаковывать это в удобные и красивые интерфейсы, третьи имеют долгосрочную репутацию независимого информационного ресурса. Я не подвергаю сомнению качества этих сайтов. Я только о рейтинге Медиалогии и его, с моей точки зрения, бессмысленности и противоречивости (настолько очевидной, что ее корректировка не представляется возможной).Пресс-релиз Медиалогии сообщает, что рейтинг рассчитывается автоматически с применением технологий лингвистического анализа по методике, разработанной компанией Медиалогия совместно с учеными-математиками и аналитиками масс-медиа и PR. На позиции в рейтинге, сообщает Медиалогия, влияет количество ссылок на материалы СМИ, влиятельность цитирующих ресурсов, при этом рейтинг не учитывает самоцитирование. Вы хотите знать больше о методике определения рейтинга? Зачем? Ни слова больше о методике Медиалогия не сообщает, в отличие, например, от Яндекса, уделяющего своему рейтингу ТИЦ несколько страниц развернутых описаний методологии и принципов использования. Ведь ученые-математики Медиалогии положили в одну корзину интернет-ресурсы совершенно различной природы, например, ранжируя в одной категории исключительно интернетовские (как Газета.Ру и Лента.Ру), так и конвергентные, то есть представленные в других каналах коммуникации (как Вести.Ру и BFM), не говоря уже об Известиях, имеющих значительно более известную, чем сайт Izvestia.ru, печатную версию.

Одновременно из рейтинга просто исключены несколько интернет-сайтов, являющихся крупнейшими новостными ресурсами российского, да и в целом европейского интернета!

В любых медиаизмерениях в мире равенство подходов и прозрачность, а значит и проверяемость методологии  это обязательное условие. TNS несколько раз за последние годы представлял свои методики на рассмотрение аудиторов (и по телевизионным, и по печатным СМИ) – именно для того, чтобы доказать свое право рассчитывать значимые для индустрии показатели.

В Медиалогии нет, например, сайта Комсомольской правды, который является крупнейшим российским интернет-ресурсом новостей (по данным существенно более авторитетных измерителей Comscore, Nielsen и TNS) и даже в списке европейских интернет-СМИ занимает по трафику седьмое место (!) с более чем 18 миллионами реальной и доказанной, а не накачанной месячной аудитории, рядом с такими монстрами мировой интернет- и новостной индустрии, как Guardian, Daily Telegraph или Figaro. Причем, следует признать, коллеги из Комсомолки производят гораздо больше собственных, оригинальных материалов, чем Лента.Ру, которая, в свою очередь, регулярно ссылается на сайт КП, и даже поверхностный мониторинг, без особых технических достижений, позволяет заметить значительное число ссылок на ресурс на той же Ленте.Ру. Но, видимо, наличие у Комсомолки собственного радио и телеканала увеличивает придуманное учеными-математиками из Медиалогии самоцитирование.

При этом на Вести.Ру этот принцип не распространяется (а ведь далеко не кабельный телеканал, а медиагигант с четырьмя федеральными телеканалами  Россия 1 и 2, Россия 24, Культура – и 86 региональными ГТРК, не считая радиостанций). Самоцитирование бумажных Известий и входящих в тот же холдинг Lifenews.ru, Izvestia.ru и сайта Marker.ru почему-то значения не имеет. Рейтинг включает и Kommersant.ru, который является единым порталом издательского дома с двумя десятками изданий, включающего одноименное радио и Коммерсантъ-ТВ, – и любой, кто слушал радио Ъ и видел Ъ, знает, что там практически постоянное сквозное самоцитирование, потому что такова модель этого конвергентного СМИ.

Итак, рейтинг весьма вольно и произвольно учитывает холдинговую организацию российских СМИ, в одних случаях, и проявляет удивительную щепетильность вплоть до исключения из анализа  в других.

Более половины контента Ленты.Ру  это талантливо, оригинально и грамотно переупакованные сообщения информагентств  Интерфакса, ИТАР-ТАСС и РИА Новости. Нет, не думайте, что ресурс не ссылается на источники, ссылается. Только эту мелочь методология Медиалогии в расчет не берет. Ровно так же деклассирован, судя по всему, более чем популярный в рунете сайт Эха Москвы  абсолютный лидер своего радио-сегмента, но это не мешает записывать в лидеры сайт радиостанции Бизнес-FM. Абсолютный многолетний лидер рунета РБК - одноименные сайт, телеканал, газета  проигнорирован создателями рейтинга без объяснений.

Интересно также, что рейтинг каким-то образом показывает количество упоминаний тех или иных интернет-сайтов в информационных агентствах. Каким-то  потому что РИА Новости может про себя сказать точно: у агентства нет подписчика Медиалогия, и это значит, что компания Медиалогия имеет доступ лишь к 1/4 контента РИА (ровно столько его выходит в открытый доступ на сайт). Все 1600 новостных сообщений в день получают наши профессиональные клиенты-СМИ по подписке. А в Медиалогии этих 1600 новостей в день просто нет. Как же тогда можно считать проценты от всех сообщений информагентств, если не иметь к ним доступа?

Другие уважаемые базы, мониторящие СМИ,  Скан, Интегрум, Фактива, Паблик и еще несколько  эти подписки имеют. Не была подписана Медиалогия и на многочисленные ленты наших коллег из Интерфакса. Откуда же взяты данные о цитировании в агентствах тех или иных СМИ? Смею предположить  путем анализа сайтов Ria.ru и Interfax.ru. Наверное, в ту же когорту попали и Itar-tass.com, и РБК.ru. При этом аналитики Медиалогии не учитывают, что продуктом деятельности информационного агентства не является ТОЛЬКО содержание сайта соответствующего агентства, которые что у РИА Новости, что у Интерфакса являются самостоятельными интернет-СМИ. Они используют не только новости родных агентств, но и специально подготовленные только для сайта материалы, и контент иностранных коллег (Reuters, France Presse и других). В информационных агентствах основной продукт  клиентские ленты новостей, особый технологический поток, с которым привыкли работать профессионалы, обыкновенному читателю на ленте многое будет непонятно, избыточно и неудобно. Для ученых и специалистов Медиалогии можем добавить: и анализировать ленты проще, чем сайты, так как материалы имеют стандартизированную разметку с использованием тегов IPTC и других стандартов, что сильно облегчает поисковым роботам работу и классификацию – в том числе и ссылок на другие ресурсы.

Кстати, об агентском цитировании и ссылках. В своей практике информагентства не часто и не системно цитируют или ссылаются на именно интернет-СМИ. По традиции, предпочтение отдается бумажной (для газет и журналов) или вещательной (для телевидения и радио) ссылке – наверное, ситуация будет меняться, но пока она именно такова. Естественно, что на сайте агентства будет также ссылка на такое сообщение, скажем, Коммерсанта на сайте Kommersant.ru. Будет ли это цитирование интернет-СМИ? Или газеты? Или радиостанции, которая, возможно, сообщила ту же новость еще на полчаса раньше (просто в силу технологического процесса)?

Замысел посчитать цитируемость интернет-СМИ в информационных агентствах можно сравнить с желанием узнать, сколько воды из Волги попадает в ручьи, расположенные выше по течению. Вообще-то процесс направлен в обратную сторону. Простая арифметика: если взять только три основных федеральных информагентства, то они производят вместе около 5 тысяч единиц только текстовой информации. Их собственные сайты публикуют вместе около 700-800 новостей в сутки. А один крупный интернет-ресурс из признаваемых рейтингом Медиалогии публикует в день 100-150 сообщений. Вывод: если претендуешь на медиаизмерения, учи лучше матчасть и технологию работы современных медиа. А если хочешь называть свои замеры рейтингом, то постарайся получить доступ к контенту тех СМИ, в которых ты измеряешь цитируемость.

По секрету расскажем, что и с точки зрения валового трафика, и с точки зрения объективного, не правленного ручками алгоритма Яндекс-ТИЦ, и с точки зрения рейтинга по охвату ТNS, нелюбимые Медиалогией сайты КП.ру и echo.msk.ru, а также информагентства (специально не уточняю какие – правильнее будет сказать, что все) являются самыми цитируемыми ресурсами российского сегмента интернета и обеспечивают львиную долю новостного трафика Рунета. Без самоцитирования и других конспирологических объяснялок.

Очевидно, что такое количество погрешностей делает неизбежным отказ от использования существующего Индекса цитируемости Медиалогии: он, к сожалению, создан чисто математически, без знаний и учета основ работы медиа, дает искаженное представление о движении информации в рунете. То есть, говоря научно, нерелевантен. Ошибка и в методологии выборки, и в базе анализа, и в принципах построения измерительной шкалы. Конечно, ИЦ Медиалогии  это еще и продажный инструмент компании, в системе госзакупок встречаются даже конкурсы по расчетам именно этого индекса. Жаль, что зеркало оказалось очевидно кривым и исправить это точечными корректировками невозможно.

Что же делать? Ресурсам, занимающимся мониторингом СМИ, типа Интегрума, Парка, Фактивы и вышеупомянутой Медиалогии, неплохо было бы объединиться в составлении единого рейтинга цитируемости СМИ Рунета  это был бы в прямом смысле без дураков уважаемый на рынке медиаинструмент, вместо сегодняшних отдельных у каждого из ресурсов. Такой инструмент подошел бы и госчиновникам как единая система оценки эффективности СМИ, если в этом есть необходимость. А к разработке индексов и шкал того, что и у кого мерить, надо привлечь не только математиков, но и специалистов журфаков и медиаменеджеров, не анонимных аналитиков, а тех, кого уважает медиаотрасль и кто готов будет поставить свое имя под открытой, понятной методологией медиаизмерений. Это позволит уберечься от таких несуразностей, как, например, присвоение дополнительных баллов в рейтингах влияния Медиалогии за величину заголовка статьи или новости. Математикам кажется, что чем слов и букв больше в заголовке, тем значимее материал. Редакторы думают ровно наоборот, а у новостных редакторов и журналистов неумение изложить главное коротко считается профнепригодностью.

Одна из задач созданной в 2011 году Медиалаборатории РИА Новости  разработка новой, учитывающей многоплатформенность и мультимедийность современного рынка массовой коммуникации, системы метрик аудитории. Классические, много лет работавшие научные модели плохо совмещаются с миром новых конвергентных СМИ, обеспечивающих содержание для потребителя на любой удобной ему платформе, носителе, в любой интересной форме  с сохранением характеристик медиа-бренда, качества коммуникации и вовлеченности. Работа над этим комплексным проектом идет по разным направлениям  от социологии аудитории до математической статистики, от анализа данных реального времени до создания технологии слежения за потребителем, переходящим вслед за контентом, скажем, с экрана ноутбука на экран мобильного телефона. Но получается, что еще одно направление  это критика лжеметрик, разного рода дилетантских как бы рейтингов, единственная ценность которых в& Да ни в чем  поскольку ничего, кроме полного отсутствия профессионализма, эти квази-данные не отражают.

Источник