[240x217] Программы по определению тональности, связанной с упоминанием брэнда в социальных медиа, дают менее точные результаты, чем подбрасывание монетки.

Исследовательско-консалтинговая компания FreshMinds протестировала ряд инструментов мониторинга социальных медиа и выяснила, что, в среднем, точность их работы составляет не более 30 процентов.

Объектами эксперимента стали системы от Alterian, Biz360, Brandwatch, Nielsen, Radian6, Scoutlabs и Sysomos. В ходе эксперимента оценивались упоминания сети кофеен Старбакс.

Взятые в совокупности, результаты оказались вполне удовлетворительны. Программы распознавали негативные, позитивные и нейтральные упоминания с точностью до 60-80%.

Но эти цифры не отражают реального состояния дел,  пишет у себя в блоге Мэтт Родс, глава родственной компании FreshNetworks.  80% отзывов, используемых в экперименте, были нейтральны по тональности. Но компания в первую очередь обращает внимание на негативные и позитивные комментарии  и тут-то системы определения тональности дают сбой.

Исключив нейтральные отзывы, специалисты FreshMinds вручную оценили оставшиеся упоминания. Мы были поражены тем, насколько неправильные результаты могут выдавать системы, не прошедшие дополнительную настройку. Позитивная тональность определялась с большей точностью, но при этом ни одна система не достигла точности результатов в 60-80%, как на агрегированном уровне.

Работа с любой системой автоматического определения тональности требует постоянного контроля и настройки со стороны человека,  говорят представители компании.

Комментарии:

Mark Westaby: Чего не учли исследователи, так это того, что при необходимости проанализировать, допустим, 1000 сообщений онлайн в реальном времени адекватно настроенная система определения тональности с большим перевесом превосходит человека.

/ на что представитель компании отвечает, что изучались как раз возможности ненастроенных систем, поскольку настройка зависит от клиента-пользователя  на что ниже отвечают, что глупо вообще ожидать каких-то результатов от ненастроенных систем) /

/ Mike Daniels: Но на деле анализ в реальном времени требуется только в особенных, критических ситуациях. И парадокс заключается в том, что как раз в таких ситуациях оценка тональности бесполезна. Критические ситуации отмечены специфическими темами обсуждений  их и требуется отслеживать.

В случае принятия стратегических решений компании предпочитают полагаться на результаты работы обученных специалистов, а не сомневаться каждый раз в точности результатов, выданных автоматической системой. Доказательством тому тот факт, что многие компании, попробовав автоматические методы, вновь обращаются к помощи аналитиков.

// Mark Westaby: Анализ, предоставляемый в реальном времени, позволяет четко оценить воздействие коммуникационных мероприятий.

Мы, например, предоставляем почасовой анализ социальных медиа (можем и чаще, но обычно не требуется). Так что, когда клиент запускает рекламный ролик на ТВ или делает заявление для прессы, мы можем за час оценить его воздействие. Такой анализ позволяет нам и нашим клиентам понять, что именно вызывает реакцию и дает массу информации для размышлений и оценки.

Ну и потом, кто сказал, что результаты работы аналитиков всегда точнее, чем работа системы? Наша система предоставляет гораздо более точные данные для сложного анализа, которым мы занимаемся и который в большей степени направлен на понимание, а не подсчеты.

Pascal Soucy: Наша компания занимается определением тональности в сфере гостинично-ресторанного бизнеса. Мы разделяем два типа комментариев: обычные отзывы (оставленные на таких сайтах, как Yelp и TripAdvisor), которые мы оцениваем с точностью до 90%, и упоминания (в твиттере и блогах), здесь точность чуть ниже, около 80%. Ясное дело, мы не настраиваем систему под каждый ресторан или отель. Кстати, проблема стоит не только в определении тональности, но и в определении объекта (относится ли данный отзыв именно к этому брэнду).

Источник

Выражаю огромную благодарность Екатерине Пономаревой за качественный перевод текста