Соревнования программистов не менее увлекательны, чем футболистов или певцов. Это состязания тех, кто делает поиск, создает искусственный интеллект и сервисы, которые меняют нашу жизнь. Сегодня в Берлине завершился чемпионат по спортивному программированию Яндекс.Алгоритм. За победу в нём боролись почти 4000 участников из 72 стран. По итогам отборочных раундов в финал вышли 25 сильнейших программистов из Беларуси, Казахстана, Китая, Польши, России, США, Тайваня, Украины и Японии.
В финале нужно было за 100 минут решить шесть алгоритмических задач. Например, предлагалось разработать алгоритм подбора поисковых подсказок или вычислить «математическое ожидание количества пар музыкальных треков в пуле рекомендаций в (N + 1)-м поколении». Возможно, для кого-то это набор слов, но не для участников Алгоритма.
Борьба за первое место разгорелась между победителем Алгоритма-2013 Геннадием Короткевичем и Хосакой Кадзухиро из Токийского университета. Лучший результат — четыре задачи при 66 минутах штрафного времени — показал Короткевич, подтвердив титул чемпиона. Кадзухиро решил столько же задач, но набрал больше штрафного времени (90 минут) и занял второе место. Третье место завоевал Ван Циньши из университета Цинхуа: он решил четыре задачи при 125 минутах штрафа. Победители получили денежные награды: 300, 150 и 90 тысяч рублей соответственно.
На победу претендовали многие финалисты. Среди них были победители и призеры АСМ ICPC и TopCoder Open, разработчики Google и Facebook. В финальном раунде сражались призёры Алгоритма-2013 Евгений Капун и Ши Бисюнь, чемпион АСМ ICPC Михаил Кевер, а также один из самых титулованных спортивных программистов мира Пётр Митричев. В этом году побороться за приз решил также Макото Соэдзимо — составитель заданий для Алгоритма-2013 и администратор TopCoder Open.
Не обошлось и без неожиданностей. Так, один из финалистов в последний момент сошёл с дистанции, поскольку стал сотрудником Яндекса (а им нельзя участвовать в Алгоритме). Его место занял польский программист, который отставал от финалистов только по количеству штрафного времени. Он и приехал в Берлин на финал. Состязания проходили в самом центре города, в отеле Radisson Blu — в том же здании, где находится офис разработки Яндекса.
Задания для Алгоритма готовила международная команда. В нее вошли программисты из России, Беларуси, Польши и США. Это специалисты МГУ имени М.В. Ломоносова, Университета Карнеги-Меллон, сотрудники Яндекса и Google. В Яндексе задачи составляли разработчики минского и киевского офиса, а потом проверяли их на своих коллегах. Один из составителей в прошлом году сам был финалистом Алгоритма.
Алгоритм — это не просто увлекательное состязание. Он создавался, чтобы поддержать спортивное программирование, способствовать развитию компьютерной науки и IT-отрасли. Мы стараемся решать эти задачи и другим путем, выращивая новые поколения инженеров и программистов. Именно для этого нужна Школа анализа данных, Малый ШАД, система
Мобильные устройства уже давно превратились из простых «звонилок» в практически полноценные компьютеры. Вместе с преимуществами компьютеров смартфоны и планшеты унаследовали от них и недостатки: сложные операционные системы, которые управляют мобильными устройствами, подвержены угрозам так же, как и ОС обычных компьютеров. Прежде всего это касается устройств на базе Android. В этой публикации мы расскажем об основных источниках опасности и о том, какие меры предосторожности помогут её избежать.
Вредоносные приложения
Главный источник угроз для пользователей смартфонов и планшетов на Android — это вредоносные приложения. В отличие, например, от iOS, Android позволяет скачать и установить приложение не только из официального магазина, а вообще из любого источника. Поскольку приложения для Android часто проверяются уже после публикации в открытом доступе или не проверяются вовсе, они могут быть небезопасны. На данный момент Яндексу известно около 19 000 сайтов, которые занимаются распространением вредоносных приложений. В результате установки такого приложения вы можете столкнуться с неприятными последствиями. Например:
• Стать частью мобильного ботнета (о том, что это такое, мы рассказывали в предыдущей записи). Ваше устройство превратится в послушного «зомби», готового по команде злоумышленника — и без вашего ведома — отправить смс, посетить определённый сайт или устроить спам-рассылку по телефонной книге.
• Лишиться денег. Например, вредоносное приложение может отправлять смс на платные номера. Кроме того, часто встречаются приложения, которые перехватывают смс, рассылаемые банками и платёжными системами для подтверждения платежа, и перенаправляют их мошенникам. Если злоумышленники каким-то образом уже узнали ваш основной пароль, они могут получить доступ к средствам на вашем счету.
• Раскрыть персональные данные. Деньги — не единственное, что вы можете отдать мошенникам. Некоторые вредоносные приложения способны отслеживать вводимый текст и GPS-координаты или подслушивать звук с микрофона. В результате вы можете, например, сообщить злоумышленникам логин и пароль от аккаунта в социальной сети, даже не подозревая об этом.
Если вы хотите избежать подобных рисков и сохранить свои деньги и персональные данные в безопасности, стоит придерживаться нескольких простых правил:
• Никогда не загружайте приложения из сомнительных источников и не устанавливайте их. Помните, что в сети достаточно много бесплатных каталогов-однодневок, которые распространяют вредоносные приложения, выдавая их за полезные. Кроме того, мошенники активно используют мобильную рекламу для распространения вредоносных приложений, поэтому относитесь к ней с осторожностью.
• Некоторые сайты могут перенаправлять посетителей с мобильных устройств на страницу автозагрузки вредоносных приложений. Владельцы этих сайтов пытаются заработать лёгкие, но не совсем чистые деньги или могут просто не знать о таком поведении своего сайта, если его взломали и тайно разместили на нём вредоносный код. Если вы столкнулись с такой переадресацией и скачали установочный файл, просто удалите его, не запуская.
• При установке любого приложения всегда обращайте внимание на список запрашиваемых прав. Общего признака у вредоносных приложений нет, но определённое поведение можно счесть подозрительным. Например, если простая игра запрашивает у вас доступ к отправке смс, то это повод задуматься.
Прошлой весной мы запустили Яндекс.DNS — бесплатный сервис, который умеет защищать пользователя от опасных сайтов и скрывать от детей материалы, предназначенные для взрослых. Теперь Яндекс.DNS научился ещё и бороться с вредоносными ботами. В этой публикации мы расскажем, чем могут быть опасны такие боты и как мы с ними боремся.
Кто такие боты
Ботами называют программы, которые берут на себя роли людей. Например, боты могут быть автоматическими собеседниками в чатах или в нужный момент размещать от вашего имени ставки на интернет-аукционах. Но наряду с такими полезными ботами существуют и те, которые могут причинять вред.
Вредоносные боты делают то, о чём вы их не просили — кликают по рекламе, крадут данные, рассылают спам или заходят на сайты, которые вы не собирались посещать. Такого бота на ваш компьютер могут умышленно подселить злоумышленники. Боты попадают на компьютер так же, как и другие вредоносные программы: например, в результате посещения заражённого сайта или после открытия почтового вложения с опасным файлом.
У вредоносных ботов есть две особенности. Первая — они никак не выдают своего присутствия и совершают все действия незаметно. А вторая — за любую работу они берутся только после получения команды.
Что такое ботнет
Все компьютеры, заражённые вредоносным ботом, объединяются в сеть — ботнет. В ботнет могут входить тысячи и даже миллионы машин из разных городов и стран. Это серьёзное оружие, которое используется, например, для DoS-атак: если приказать всем заражённым машинам одновременно обратиться к тому или иному сайту, то сайт может «упасть», не выдержав нагрузки.
Поскольку боты совершают действия только по команде, им необходимо постоянно поддерживать связь с хозяевами. Обычно они соединяются с ними через специальный сервер — центр управления. Чтобы «дозвониться» до центра, бот должен знать его уникальный числовой адрес (IP-адрес). Обычно ботам известно только доменное имя сервера, а IP-адрес они узнают через посредника — систему DNS. Так происходит в том числе потому, что у многих центров управления ботами IP-адрес динамический, то есть меняется при каждом подключении к сети.
Как Яндекс.DNS борется с вредоносными ботами
В распоряжении Яндекс.DNS есть список доменных имён серверов, которые управляют ботами. Его составляет компания Virus Tracker Ltd., и он постоянно пополняется. Каждый раз, когда у Яндекс.DNS запрашивают IP-адрес того или иного доменного имени, сервис сверяется с этим списком. Если имя есть в списке, значит, запрос поступил от бота и останется без ответа.
Каждый день Яндекс.DNS обрабатывает около семи миллиардов запросов, из них примерно 1,9 миллиона отправляют боты. Благодаря тому, что все запросы ботов к «центру» блокируются, боты не получают никаких инструкций, и заражённый компьютер перестаёт участвовать во вредоносной деятельности.
Впрочем, устранить причину всегда лучше, чем бороться с последствиями, поэтому лучше всего вообще не допускать попадания ботов на компьютер. Для этого мы рекомендуем вам использовать антивирус и своевременно его обновлять. Ссылки на бесплатные антивирусы собраны, например, вот здесь.
Сервис Яндекс.DNS работает в трёх режимах: базовом, безопасном и семейном. В базовом режиме вы получаете быстрый и надёжный DNS-сервер, который ускоряет загрузку веб-страниц. В безопасном режиме Яндекс.DNS предупреждает о вредоносных сайтах, а в семейном — ещё и ограждает детей от сайтов для взрослых. Защита от ботов действует во всех режимах, кроме базового.
Настроить Яндекс.DNS можно на компьютере, мобильном устройстве или роутере Wi-Fi. Как это сделать, читайте здесь.
Сегодня мы запустили бета-версию новой Яндекс.Метрики. У сервиса полностью обновился интерфейс, появилось больше возможностей для аналитики, а сами аналитические инструменты стали более гибкими.
Метрика — это универсальный инструмент для веб-аналитики. Она умеет отвечать на все вопросы об аудитории сайта, собирает данные о его посетителях и позволяет посмотреть на любой срез. Анализ этих данных помогает владельцам сайтов развивать и улучшать их, а также адаптироваться под ожидания аудитории. Например, они могут понять, пользователи с каким браузером хуже всего взаимодействуют с сайтом, и оптимизировать сайт под этот браузер. Или задуматься о создании мобильных приложений, если значительная доля посетителей сайта заходит на него с планшетов и смартфонов.
Артур Суилин, руководитель Яндекс.Метрики:
 | Метрика всегда позволяла, во-первых, смотреть отчёты по сайту в целом, а во-вторых, — анализировать поведение аудитории на уровне отдельных посещений. Однако у нас не было удобных инструментов для работы с промежуточным уровенем — сегментами аудитории сайта. Это самый важный и интересный уровень, так как позволяет, с одной стороны, сфокуcироваться только на требуемых для анализа посещениях, с друой стороны делать обобщения, не вдаваясь в излишние подробности. Именно этот уровень детализации более всего востребован маркетологами и аналитиками. Чтобы он органично вписался в Метрику, мы пересмотрели весь продукт, его функциональность и интерфейс. Фактически мы запускаем новую Метрику, которая включит в себя все лучшее из того, что есть сейчас, и добавит новые возможности. |
Новая Метрика позволяет быстро сравнить разные сегменты аудитории. Чтобы точно очертить сегмент, можно использовать различные условия и атрибуты: пол, возраст, глубина просмотра, операционная система и многие другие. Всего их более 50. Сравнение сегментов поможет узнать, как ведут себя на сайте пользователи, пришедшие из разных источников — например, из поисковых систем и с рекламных источников.
Если предыдущая версия Метрики предлагает фиксированный набор стандартных отчётов, то новая способна строить отчёты с любым набором параметров. Например, владелец интернет-магазина одежды может узнать, сколько молодых женщин из Москвы заходят на его сайт из «ВКонтакте» и решить, стоит ли целенаправленно работать над продвижением сайта в социальных сетях. Кроме того, все отчёты можно фильтровать по первому и последнему визиту. Скажем, если первый визит обеспечила реклама, а затем пользователь возвращается на сайт, добавив его в закладки, — это не только приятно, но и позволяет понять, что рекламная кампания была эффективной.
Все возможности Метрики по-прежнему бесплатны и доступны для всех сайтов — независимо от их размера. Свежие данные поступают на сервис с задержкой не более пяти минут. Чтобы быстро обрабатывать огромные массивы информации, Яндекс использует систему ClickHouse. Это собственная технология Метрики, способная работать с петабайтами данных.
Через некоторое время в новой Метрике появятся Вебвизор, мониторинг сайтов и другие возможности, которые есть в прежней версии сервиса. А пока можно пользоваться и старой, и новой версией. Чтобы начать работать с любой из них, нужно установить на свой сайт счетчик Метрики, если он уже не установлен.
Когда вы начинаете вводить запрос в поисковой строке, Яндекс показывает варианты наиболее популярных запросов, начинающихся на те же самые буквы. Это поисковые подсказки — они помогают вам сэкономить время и не печатать запрос целиком. Яндекс понимает, какие подсказки показать, даже если вы забыли сменить раскладку клавиатуры или опечатались.
Подсказки появились в поиске Яндекса относительно недавно — в 2008 году. Сначала идея была в том, чтобы просто ускорить ввод поискового запроса. Чтобы вам не приходилось писать, скажем [метилпропенилендигидроксициннаменилакрилическая кислота что это] целиком. Со временем, однако, подсказки стали уметь гораздо больше. За этими возможностями стоит не одна сложная технология и постоянная работа. О них мы и хотим рассказать в этой записи.
Подготовка подсказок
Список поисковых подсказок формируется после фильтрации всего потока запросов к Яндексу. Также туда добавляются названия энциклопедических статей, музыкальных произведений и другого подходящего контента. Список проходит несколько фильтров, каждый из которых отсеивает некоторые типы запросов. Например, совсем редкие запросы или содержащие ненормативную лексику. Вместе с фильтрацией запросов в них исправляются опечатки. В итоге остаётся более сотни миллионов запросов — которые и становятся подсказками.
Как и ответы поиска на yandex.ru, поисковые подсказки зависят от того, где находится пользователь. Например, начиная запрос со слов [кинотеатр] или [ресторан], петербуржец и москвич наверняка имеют в виду заведения в своём городе. И подсказки им нужны для Санкт-Петербурга и Москвы соответственно. Поэтому для каждого региона составляется свой список поисковых подсказок, основанный на местных запросах.
Чтобы не тратить место на почти одинаковые запросы, мы их объединяем. Например, некоторые ищут [подарки на 8 марта], а некоторые — [подарки к 8 марта]. Такие запросы объединяют в одну подсказку, и, когда вы набираете «подарки», Яндекс показывает только один вариант — наиболее популярный. Конечно, если человек продолжит писать «подарки к», то набор подсказок изменится. К группировке запросов подходят очень аккуратно. Запросы, которые кажутся похожими машине, не всегда похожи для человека. Чтобы два запроса объединились в одну подсказку, они должны не только мало различаться по написанию, но и вести на одинаковые результаты поиска.
Актуальность и персонализация подсказок
Поскольку новые популярные запросы появляются постоянно, список поисковых подсказок регулярно обновляется — не реже, чем раз в день. А запросы, потерявшие актуальность, удаляются. Кроме того, у Яндекса есть специальный «быстрый» список подсказок — для запросов о событиях, которые произошли только что. Запросы для него отбираются по сложной формуле, которая учитывает, в том числе, насколько резко вырос поисковый интерес к теме, как много появилось новостных сообщений и постов в блогах. Быстрый список обновляется каждые полчаса.
Кроме того, Яндекс умеет определять, что будет больше интересовать людей в ближайшем будущем. Например, когда люди начинают писать в поиске «по», в обычной жизни им чаще всего нужна [погода], а перед 8 марта — [подарки] и [поздравления]. Поэтому Яндекс ежедневно обрабатывает все подсказки и для каждой строит прогноз — насколько она будет востребована на следующий день. Прогнозируемая востребованность учитывается при ранжировании списка подсказок.
В какой-то момент наши подсказки стали персональными. То есть научились учитывать не только ваш регион, но и историю запросов и меняться в соответствии с ней. Например, так выглядят подсказки и страница поисковой выдачи для двух людей с разной историей:
Эволюция подсказок
Если подсказки могут сократить ваш путь от ввода запроса до перехода к странице результатов поиска, то почему бы не пойти дальше? В некоторых случаях уже на этапе набора запроса можно с большой вероятностью сказать, что хорошим ответом будет определённый сайт. Тогда среди поисковых подсказок появится ещё и навигационная — адрес такого сайта. Например, уже по первым буквам запроса [википедия] первой подсказкой будет ru.wikipedia.org. При выборе навигационной подсказки пользователь сразу попадает на соответствующий сайт.
Этот пример показывает, что подсказки могут не только упрощать ввод запроса и адаптироваться под вас, но и решать ваши задачи. В том числе и без помощи поиска. Например, ответы
Основная функция любого браузера — это просмотр веб-страниц. Но во всех популярных браузерах много дополнительных возможностей. Есть они и в Яндекс.Браузере, однако знают о них не все. Одна из важных задач для нас — сообщить людям об этих полезных возможностях.
Это не самая простая задача. Сложность заключается в том, чтобы донести информацию вовремя и в подходящем виде. Да, кое-что о возможностях браузера можно найти на обучающей стартовой странице, а подробное описание всех функций есть в «Справке». Но на стартовой странице всего не расскажешь, а в «Справку» люди заглядывают редко.
Решить задачу помогают всплывающие подсказки. Конечно, это никакое не ноу-хау: они уже давно используются в разных программах — вспомнить хотя бы знаменитую скрепку из офисного пакета Microsoft. Но всплывающие подсказки могут быть разными. Мы постарались сделать наши подсказки умными: контекстными и ненавязчивыми.
Например, в адресную строку браузера можно вводить не только адреса сайтов, но и поисковые запросы — она и оформлена в виде поисковой строки Яндекса. Но далеко не все про это знают. Нужна подсказка. Появляется она только тогда, когда соотношение запросов, введённых из адресной строки и с главной страницы Яндекса, падает до 1 к 4.
Там же, в адресной строке, прячется ещё одна подсказка — что страницу на иностранном языке можно целиком перевести на русский. Раньше вместо подсказки мы использовали большую плашку с кнопкой перевода. Она была достаточно эффективной, но сдвигала содержимое страницы, а это выглядело не слишком элегантно. Поэтому кнопку мы упрятали в адресную строку, а подсказку стали показывать только тем, кто ни разу этой кнопкой не воспользовался.
Чуть сложнее обстояло дело с подсказкой о переводе отдельных слов и фраз. Тут простой контекстный подход уже не работал — на многих страницах в интернете есть иностранные слова, но это не значит, что нужно тотчас же предлагать их перевести.
Мы предположили, что, когда вы выделяете и копируете какое-то иностранное слово на странице, вполне вероятно, что вы собираетесь вставить его в онлайн-переводчик и перевести. Поэтому при выделении иностранного слова мы стали показывать подсказку, сообщающую, что никуда идти не нужно — браузер сделает всё сам. Гипотеза подтвердилась — после изменений доля тех, кто хотя бы раз воспользовался переводом слова или фразы, увеличилась почти в три раза.
Примерно так же вышло и с подсказкой о быстром переходе к началу страницы — по клику на вкладку браузера. Самым простым решением казалось давать её тем людям, кто прокрутил страницу до самого низа. Но в большинстве случаев, прочитав страницу, вы не собираетесь возвращаться к её началу. Тут нужно было точно уловить желание вернуться. Поэтому браузер предлагает кликнуть по вкладке только тем, кто пролистал страницу на несколько экранов вниз и начал прокручивать её обратно.
Своевременные подсказки — это только полдела, нам было нужно сделать их ещё и ненавязчивыми. Даже самая чуткая подсказка может всё испортить, если будет появляться по несколько раз за день, блокировать работу и требовать обязательного закрытия. Мы долго экспериментировали на коллегах и выработали простые правила:
- одна и та же подсказка не должна появляться чаще одного раза в сутки;
- за сутки нельзя показывать больше двух разных подсказок;
- подсказка пропадает из ротации на пару месяцев, если человек видел её больше трёх раз и никак не отреагировал.
А ещё наши подсказки можно выключить. В настройках браузера можно отключить их совсем или просто закрыть по клику на крестик самой подсказки. Если вы закрыли подсказку таким образом, вы гарантированно не увидите её в ближайшие три месяца.
Наши эксперименты с подсказками в итоге дали очень приятные результаты. Люди узнали о полезных возможностях браузера, и при этом подсказки не вызвали у них раздражения — обращений с жалобами на них практически не было. Цель была достигнута: люди стали видеть подсказки реже и пользоваться ими чаще. Больше подробностей и цифр ищите в техноблоге Яндекса на Хабрахабре.
Команда Яндекс.Браузера
Во время чемпионата мира футболом интересуются все. Растёт интерес — растёт и количество поисковых запросов об игроках, командах и матчах. Только в период группового этапа турнира — с 12 по 27 июня — российские пользователи задали почти 12 миллионов поисковых запросов о чемпионате мира. Мы решили проанализировать эти запросы и узнать, какие игроки и сборные пользовались наибольшей популярностью в разных регионах России.
Логично, что российские пользователи в основном интересовались сборной России и её соперниками по группе: командами Алжира, Бельгии и Южной Кореи. Следом за ними команды, которые с самого начала считались фаворитами турнира: Бразилия, Испания, Нидерланды и Германия. Если абсолютная популярность сборных в среднем по России одинаковая, то относительная разнится от региона к региону. Например, на Дальнем Востоке больше спрашивали о команде Южной Кореи, а в Санкт-Петербурге чуть больше запросов было о командах Италии, Англии и Уругвая.
Около двух миллионов запросов содержали имена игроков или тренеров этого чемпионата. Лидером по количеству запросов в поиске Яндекса стал аргентинец Лионель Месси, следом за ним вратарь сборной России Игорь Акинфеев и бразильский форвард Неймар. На основе популярности игроков мы составили символическую «сборную поиска по футболу», в которую попали шесть россиян:
Пожалуй, если бы такая сборная выступала на чемпионате мира, у неё были бы все шансы дойти как минимум до четвертьфинала.
Больше информации, а также карту футбольных интересов пользователей из разных регионов России ищите на странице исследования.
Завтра, 2 июля, в московском офисе Яндекса пройдёт семинар, посвящённый новому эксперименту Европейской организации по ядерным исследованиям (ЦЕРН). Для нужд эксперимента Яндекс предоставит ЦЕРНу свои технологии обработки данных, а студенты и исследователи Школы анализа данных будут работать вместе с учёными ЦЕРНа.
В результате эксперимента под названием SHIP могут быть обнаружены частицы, которые позволят расширить Стандартную модель и по-новому взглянуть на устройство Вселенной. Пока это только проект — в головах и черновиках. Путь от идеи до запуска нового детектора займёт не меньше семи лет.
На семинаре Андрей Голутвин, профессор Имперского колледжа Лондона, научный консультант директора ЦЕРН, расскажет о самом эксперименте SHIP, а руководитель группы академических проектов Яндекса Андрей Устюжанин — о том, как могла бы выглядеть эффективная и масштабируемая модель хранения, обработки и анализа данных для нужд такого эксперимента. Создание такой системы — очень сложная задача, она требует уникального сочетания навыков и знаний из разных областей: фундаментальной науки, инженерии данных, распределённых систем и программирования.
Яндекс сотрудничает с ЦЕРНом с 2011 года, когда мы начали предоставлять ЦЕРНу свои серверные мощности. В апреле 2012 специалисты Яндекса разработали поиск по событиям эксперимента LHCb. В январе 2013 Яндекс стал ассоциированным членом европейского Центра ядерных исследований в рамках проекта CERN openlab, а у учёных из ЦЕРНа появился доступ к технологии машинного обучения Матрикснет и новым вычислительным мощностям.
Вы можете посмотреть онлайн-трансляцию семинара на странице мероприятия. Во время семинара докладчики будут отвечать на вопросы, заданные в твиттере с хэштегом #yascience или по Skype.
Несколько дней назад на главной странице Яндекса появился вертикальный рекламный баннер. Выглядит он так:
Привычный горизонтальный также продолжает работать — хотя одновременно вы их, конечно, не увидите. На главной странице всегда один баннер.
По клику вертикальный баннер можно развернуть на три четверти экрана — тогда он превращается в полноценную промостраницу, на которой можно, например, посмотреть ролик или поиграть в игру.
Прежде чем запустить новый баннер, мы провели длительный эксперимент. Он показал, что пользователям интересен такой формат — 42%, почти половина всех, развернувших баннер, вовлекаются в интерактив.
Больше об эксперименте с вертикальным баннером и особенностях нового формата рекламы читайте в блоге рекламных технологий Яндекса.
Ну а если вы не хотите видеть никаких баннеров на главной странице Яндекса, то рекламу на ней можно выключить совсем.
Искать изображения в интернете доводилось практически каждому. До 80% пользователей в России ищут картинки не реже нескольких раз в неделю, а четверть — каждый день. Если записать поисковые запросы только пользователей Яндекс.Картинок за один день и издать их в виде книг, получится целая библиотека размером 640 томов. В общем, ищут картинки много и часто, причём с самыми разными целями. Чтобы приблизить людей к достижению этих целей, команда Яндекс.Картинок регулярно проводит исследования, и сегодня мы хотим рассказать о результатах одного из них.
Недавно мы решили выяснить, какие задачи пользователей Яндекс.Картинки решают лучше, а какие — хуже. Сначала провели серию интервью: общались с людьми и выясняли, как они обычно ищут изображения в интернете и почему именно так. А затем проверили полученные гипотезы количественно, опросив онлайн около 2500 пользователей. Результаты оказались очень интересными.
Для каких-то из этих задач удобно и логично использовать поисковую систему. Например, поиск позволяет быстро найти фотографии автомобиля, осенний пейзаж или мем для иллюстрации поста в соцсети. Но абстрактные задачи, связанные с поиском картинок, поисковик не всегда решает хорошо. Если вы хотите найти что-то красивое и вдохновляющее, то как это сделать? Что ввести в поисковую строку? Для такой задачи формулировка поискового запроса — самая большая сложность.
Так родилась идея проекта, который мы запускаем сегодня на Яндекс.Картинках. Каждый день мы выбираем и публикуем на главной странице сервиса одну фотографию. Новый день — новое фото. В течение дня вы можете бесплатно скачать фотографию, а все снимки прошлых дней доступны для просмотра в архивной галерее. Все снимки сделаны профессиональными фотографами, и за каждым из них стоит история.
Вера Егорова, менеджер по маркетингу Яндекс.Картинок:
 | Сюжеты работ самые разнообразные. Одни авторы исследуют малоизвестные уголки планеты, другие — наблюдают за животным миром, третьи что-то увлеченно рассматривают в микроскоп, четвёртые — любуются архитектурой… Перечислять можно до бесконечности. Каждая фотография — не просто красивый снимок. Это увлекательная история и знакомство с интересным человеком, который её рассказал. Например, сегодня на главной странице Картинок работа российского фотографа и эколога Игоря Шпиленка. О себе Игорь пишет, что половину своей жизни он проводит в полевых условиях: то в лесах Брянщины, то на Камчатке. Игорь считает своим долгом и целью «показать красоту дикой природы российских заповедников и национальных парков и пробудить у людей желание сохранить эти места». На фотографии, которую мы выбрали для первого дня, — лениво потягивающаяся лиса. Удивительный кадр: не каждому повезёт запечатлеть дикое животное в таком расслабленном состоянии и так близко! Игорь очень много времени проводит в заповеднике, по соседству с лисами. Животные привыкли к нему и ведут себя самым непринуждённым образом. |
Приходите завтра за новой историей.
Выпускники Школы анализа данных 2014 года Михаил Колупаев и Вячеслав Алипов завоевали бронзовые медали командного чемпионата мира по программированию ACM ICPC 2014 в составе команды НИУ ВШЭ. Финал чемпионата состоялся на этой неделе в Екатеринбурге.
Примечательно, что Михаил и Вячеслав отпраздновали выпускной в Школе анализа данных всего неделю назад, причём за время обучения они сдали рекордное количество курсов — 20 и 19 соответственно. Третьим участником команды НИУ ВШЭ был Александр Куприн, ещё недавно работавший в Яндексе.
Первое место на ACM ICPC 2014 заняла команда СПбГУ, в состав которой входили Егор Суворов и Дмитрий Егоров — студенты питерского Computer Science Center, созданного при участии Школы анализа данных. Золотые медали чемпионата (по правилам ACM ICPC золото вручается первым четырём командам) также получили команды МГУ, Пекинского университета и Национального университета Тайваня.
Поздравляем победителей и призёров чемпионата! И напоминаем, что в августе 2014 года в Берлине пройдёт финал индивидуального чемпионата по программированию Алгоритм-2014, организованного Яндексом.
Мы закрываем наш хостинг блогов — Я.ру. До конца лета все блоги и клубы перестанут быть доступны. Не беспокойтесь, никакие материалы при этом не пропадут. Уже сегодня у пользователей Я.ру появилась возможность перенести все свои записи в Живой Журнал — создать новый аккаунт или добавить к существующему. Все ваши друзья с Я.ру, которые зарегистрированы в ЖЖ, автоматически окажутся у вас в друзьях и там. Переехать можно до 1 ноября. Кроме того, мы сохраним полный архив каждого пользователя — все записи, комментарии и посты в клубы. Архив вы сможете найти на вашем Яндекс.Диске.
Я.ру был открыт в апреле 2007 года. В 2009 году сервис был одним из четырёх крупнейших блогохостингов в рунете — вместе с LiveJournal, Blogs.Mail.ru и LiveInternet. После этого популярность Я.ру стала уменьшаться — собственно, вместе со спадом популярности блогосферы в целом и ростом соцсетей. Разработка была заморожена, и сервис фактически перестал развиваться.
Сейчас хотя бы раз в месяц обновляется около 0,3% из открытых на сервисе дневников. В сутки появляется в среднем всего 1500 новых комментариев. Очевидно, что большинство людей предпочитает писать и общаться в социальных сетях на других площадках. В такой ситуации поддерживать Я.ру становится сложно и нецелесообразно. Поэтому мы и приняли решение о закрытии.
Изменения ожидают и еще один сервис — Яндекс.Видео. В августе на сервисе останется только поисковая часть — она продолжит работать в полном объёме и будет развиваться и дальше. Загружать новые видеоролики можно будет только на Яндекс.Диск, при этом возможности публичного просмотра будут ограничены. Всё видео, которое вы уже загрузили, также окажется на Диске — и вы бесплатно и навсегда получите место для его хранения. На Диске есть просмотр видео, роликами по-прежнему можно делиться с друзьями. Для многих наших пользователей это более удобный и современный способ хранить свои личные записи.
Спасибо всем нашим пользователям. Но не прощаемся — до встречи на Яндекс.Диске и других сервисах.
На Яндекс.Маркете появилась возможность оплаты заказанного в магазине товара и начала работу система защиты покупателей. Мы анонсировали эти изменения в ноябре 2013 года, когда была запущена единая корзина, и вот они наступили.
Теперь вы можете не просто заказать товар с помощью Яндекс.Маркета, но и оплатить его без перехода на страницу интернет-магазина. Сейчас к оплате на Маркете подключено около 100 магазинов, и их количество будет увеличиваться по мере подписания договоров с нашими партнёрами. Платить можно Яндекс.Деньгами или банковской картой, причём при оплате картой деньги будут сначала заблокированы на вашем счету и списаны только тогда, когда магазин сообщит о передаче товара в службу доставки. До этого момента вы можете отменить заказ, если вдруг передумаете, и заблокированная на счету сумма снова будет в вашем распоряжении. Вам также не придётся беспокоиться о возврате денег, если магазин по какой-либо причине отменит заказ.
Вся история ваших заказов и их статусов будет доступна в разделе «Мой Маркет». Информация оперативно обновляется, так что вы сможете следить за своим заказом с того момента, как вы его сделали, и до получения товара.
Оплата на Маркете призвана максимально упростить процесс заказа товаров в интернете. Система защиты покупателей решает другую важную задачу — помогает вам разрешить спорные вопросы с магазинами. Этой системой могут воспользоваться покупатели, которые заплатили за товар на Маркете. Вот как она работает:
Сегодняшние нововведения по сути означают смену формата Яндекс.Маркета. Раньше Маркет был сервисом поиска и выбора товаров, а теперь мы стремимся помогать вам на всех этапах покупки: от поиска до оплаты товара и разрешения споров. Подобные глобальные изменения всегда происходят постепенно, и нам ещё есть над чем работать. Следите за новостями в блоге Яндекса по метке Маркет и в твиттере Яндекс.Маркета.
В Яндекс.Диске появилась новая возможность — загружать фотографии из социальных сетей сразу в облако. И наоборот — публиковать фото на своих страницах прямо из Диска. Эта возможность особенно пригодится активным пользователям — публиковать снимки можно одновременно во всех популярных соцсетях.
Подробности читайте в блоге Яндекс.Диска.
Каждый день Яндекс.Картами пользуются миллионы людей. И каждый из них по-своему — кто-то смотрит пробки, кто-то ищет организации, кто-то строит маршруты, и почти все используют карту для ориентирования. Как должна выглядеть карта, чтобы решать все эти разнообразные задачи? Какие карты хорошие, а какие плохие? Что должно быть нарисовано, а что нет? Подходов огромное множество. Вот, например, некоторые старые карты Москвы:
На этой карте XVII века аккуратно нарисован каждый домик в изометрической проекции, а важные объекты описаны в легенде. Вряд ли она использовалась жителями для ориентирования, скорее её рисовали путешественники для своих альбомов.
Или другая, более поздняя карта 1935 года. На ней подписаны улицы и отмечены важные городские объекты, но не отрисованы домики. Зато по этой карте уже можно ориентироваться.
Как в прошлом были разные подходы к картографированию, так и сегодня у всех картографических сервисов разные взгляды на то, как должна выглядеть карта. Начиная от того, какую информацию в принципе стоит размещать на карте и как её представлять, и заканчивая выбором цвета для улиц и домов. Как разобраться во всём этом и сделать такую карту, по которой было бы действительно удобно ориентироваться? Для себя мы сформулировали ответ на этот вопрос так: хорошая карта — это та, которую пользователи могут быстро и правильно соотнести с незнакомой местностью.
Чтобы глубже понять задачу, мы провели несколько исследований. Сначала мы отправились в путешествие по городам России, Украины и Турции. Мы просили людей за пару минут нарисовать от руки карту их города — так, как они её себе представляют. На карте нужно было отметить места, где они живут, работают и часто бывают. По таким рисункам хорошо видно, как люди воспринимают город: на них часто отмечают ориентиры, которые действительно важны и хорошо запоминаются. Рассматривая такую карту, можно быстро понять, как жители города представляют его устройство, и сделать выводы, которые помогут улучшить читаемость карты. Вот пример одного из таких рисунков:
Это исследование помогло нам сформулировать основные направления развития сервиса, но вопросов оставалось ещё много. Тогда мы использовали другой метод: приглашали людей к нам в офис и просили их объяснить дорогу до какого-то объекта воображаемому другу, используя разные карты. Сами при этом следили за тем, что говорят наши пользователи, на что обращают внимание. Этот опыт тоже оказался полезным, но и его не хватало. Очень хотелось получить какой-то инструмент, который бы помог сравнить несколько разных карт и дать ответ, какая из них более читаемая.
Для следующего исследования использовались панорама и фрагмент карты, к которому она относится. Задача пользователя — сориентироваться на местности и указать на карте точку съёмки. Разным людям мы даём одни и те же места, но разные карты. Таким образом, замеряя время и правильность выполнения задания, мы понимаем, какая из карт легче воспринимается и позволяет быстрее соотнести карту с местностью.
Мы продолжаем проводить подобные тесты и проверять наши многочисленные гипотезы о том, как должна выглядеть по-настоящему хорошая карта. Кое-какие гипотезы уже прошли проверку, и сегодня мы сделали первые шаги к повышению читаемости нашей карты. На Яндекс.Картах появились значки объектов и подписи к ним, а также, например, обновился вид пешеходных улиц:
Сегодня мы запустили Яндекс.Город. Это сервис, который поможет вам быстро выбрать нужную организацию — будь то ближайший салон красоты, ресторан для празднования дня рождения или хороший боулинг-клуб. Яндекс.Город учитывает при поиске ваши конкретные пожелания (например, наличие веранды или гостевой парковки) и показывает подробности — в том числе рейтинг и отзывы посетителей. Любую организацию можно найти через строку поиска, и у каждой есть своя карточка, с фотографиями и справочной информацией.
В интернете огромное количество площадок, где пользователи делятся мнениями о самых разных организациях. Это очень здорово, но на чтение всех отзывов, особенно если они разбросаны по десятку сайтов, обычно нет ни времени, ни желания. Чтобы сэкономить время наших пользователей, в Яндекс.Городе мы показываем на страницах организаций рейтинг и самые информативные части наиболее полезных отзывов.
Быстрее всего выбрать подходящее место можно с помощью рейтинга организации. Рейтинг основан на мнениях людей и представляет собой одно число — от 0 до 10. Если рейтинга недостаточно, все подробности можно узнать из отзывов. Отзывы — одна из самых технологически интересных и сложных частей Яндекс.Города. Их нужно собрать, отфильтровать и проанализировать, отделив отзывы ботов от мнений живых людей, а информативные сообщения от бессодержательных. Чтобы показывать в Городе только достоверные и полные отзывы, мы создали специальную технологию. И в этой публикации расскажем, как она работает.
Сбор и анализ отзывов
Сначала мы вручную отобрали сайты с самым качественным контентом и договорились с ними. Это один из немногих ручных этапов работы, почти всё остальное происходит автоматически. Мы собрали и систематизировали все отзывы и оценки посетителей этих сайтов. Кроме того, мы использовали отзывы пользователей Яндекса на наших сервисах — такие отзывы проходят модерацию.
В самом общем виде технология работы с отзывами выглядит примерно так:
Собранные отзывы с сайтов партнёров фильтруются — таким образом отсеиваются, например, отзывы с обсценной лексикой и дубли. Кроме того, все отзывы обязательно проходят проверку на достоверность. Для этого используется несколько автоматических систем, которые отфильтровывают подозрительные отзывы — те, которые могли оставить боты или недобросовестные авторы. Алгоритм анализирует их и принимает решение, учитывая историю публикаций автора, его индивидуальные особенности, динамику и качество добавленных отзывов об организации.
Извлечение фактов
После фильтрации в базе остаются только достоверные отзывы, содержащие полезную информацию. Однако и таких отзывов может быть очень много, поэтому необходимо тщательно проанализировать их тексты, чтобы выделить самые ценные и найти в них наиболее важные фрагменты. Есть отзывы простые — например, «Кофе холодный, зато атмосфера супер». Их анализировать просто. А есть большие и подробные, над которыми нужно серьёзно поработать, чтобы получить ёмкие и информативные сниппеты — то есть те фрагменты, которые будут показаны в карточке организации.
В обычном тексте данные не структурированы. Это не удивительно, ведь люди делятся впечатлениями, а не заполняют анкету. Чтобы понять, какая часть отзыва наиболее информативна, нужно извлечь из него факты — языковые конструкции, содержащие параметр и его характеристику (например, «чай» —
Сегодня мы запустили спецпроект, посвящённый чемпионату мира по футболу в Бразилии. На сайте проекта вы найдёте всю информацию об игроках и командах чемпионата, расписание матчей, турнирные таблицы, статистику и ссылки на видеотрансляции — словом, всё, что нужно болельщику.
Раз в четыре года футбол смотрят даже далёкие от спорта люди, и выбрать самое интересное с непривычки бывает непросто. Поэтому мы будем показывать на главной странице проекта то, что больше всего интересует наших пользователей. В этом заключается особенность спецпроекта: главная страница формируется на основе данных о поисковых запросах к Яндексу, и на неё попадают те матчи и команды, о которых пользователи спрашивают больше всего. Благодаря этому любой, даже неискушённый болельщик, сможет узнать, что сейчас в центре внимания.
На главной странице собрана информация о поисковых запросах за последний час. А если вы не следите за чемпионатом регулярно, можно выбрать самые популярные события с начала турнира.
Перед началом игры вы можете зайти на страницу матча, выбрать, за какую команду будете болеть, и поделиться этим в социальных сетях. Чтобы выбирать было проще, на странице матча представлена информация о командах и ключевых игроках, а также статистика встреч. Так что, даже если вы не можете решить, за кого болеть в матче Германия – Португалия, вам будет на что опереться.
По ходу игры на странице матча можно будет почитать текстовые трансляции от наших партнёров и посмотреть видеозаписи забитых голов и опасных моментов. Кроме того, результаты прошедших матчей и даты проведения будут доступны прямо на странице результатов поиска. Например, по запросу [россия корея чм 2014] вы сможете узнать, когда состоится первый групповой матч сборной России.
В поиске будут работать и другие колдунщики, специально подготовленные к чемпионату мира. Например, по запросу [италия чм по футболу расписание] поиск покажет календарь игр итальянской сборной, а ответом на запрос [лионель месси] будет карточка суперзвезды аргентинской сборной.
Матч-открытие чемпионата уже завтра, не пропустите.
И, конечно, верим в команду!
Каждый день пользователи присылают в службу поддержки Яндекса несколько десятков жалоб на то, что компьютер стал вести себя как-то странно. Что-то не работает, что-то выглядит непривычно, что-то очень тормозит. В последнее время много жалоб связано с работой так называемых программ-обёрток. Это программы, которые устанавливают на компьютер бесполезное или даже опасное программное обеспечение, причём без явного согласия пользователя. Потом это ПО закрепляется в системе так, что удалить его стандартными способами невозможно.
К сожалению, многие антивирусы не считают такое ПО вредоносным и, соответственно, не предупреждают о нём. Так что приходится быть вдвойне внимательным. В этой публикации мы расскажем об особенностях программ-обёрток и о том, как обезопасить от них ваш компьютер.
Что такое программы-обёртки
Программы-обёртки называются так потому, что их авторы «оборачивают» чужое бесплатное ПО или полезный контент в свои не самые полезные программы. Таким образом они их распространяют — это приносит им деньги или иную выгоду. В результате вместе с тем контентом, который вы собирались скачать, вы получаете несколько дополнительных программ или компонентов. Иногда вас не предупреждают об их установке, так что вы просто не можете от неё отказаться.
Примеры обёрток
Это обычный mp3-файл в обёртке, которая содержит четыре вида дополнительного навязчивого ПО. Окно загрузки на скриншоте выглядит подозрительно хотя бы потому, что при скачивании музыкального файла вам обычно не предлагают ничего установить. Если скачать такой файл, то кроме песенки вы получите браузер, панель инструментов для него, программу, изменяющую настройки браузера, и скрипт, который будет восстанавливать все эти программы после удаления обычным способом (то есть через «Программы и компоненты» в Windows).
Это пример конвертера видеофайлов в обёртке. Когда вы скачиваете его, на ваш компьютер устанавливается девять видов дополнительного ПО, и про это невозможно узнать заранее. Только пять программ из девяти вы сможете удалить обычным способом. У этой обёртки есть ещё одна особенность — конвертер, который вы хотели скачать изначально, устанавливается, но не работает.
Один из наиболее опасных классов ПО в обёртках — программы, вставляющие рекламные блоки на страницы сайтов. В результате их работы вы видите на сайтах баннеры и всплывающие окна сомнительного содержания, не имеющие отношения к самим сайтам. Например, на этом скриншоте виден результат подмены рекламного баннера на главной странице Яндекса на мошеннический.
Кроме прочих отрицательных эффектов, такая подмена приводит к дискредитации сайтов: реклама может быть раздражающей, шокирующей или просто портить дизайн. Кроме того, она может вести на страницы загрузки вредоносного ПО и мошеннических смс-подписок. Например:
Сегодня Яндекс.Почта запустила новый механизм защиты пользователей от ненужных писем, о котором мы рассказывали в конце марта. Теперь вы можете отписаться от рассылки, даже если её авторы не предусмотрели такой возможности, — с помощью кнопки «Отписаться» в меню.
Подробности читайте в блоге Яндекс.Почты.
Если вы пользовались Яндексом сегодня, то могли заметить, что внешний вид главной страницы и страницы результатов поиска немного изменился. Эти изменения — часть островного дизайна наших сервисов.
В интернете столько разнородного контента, что в последние годы одна из важных задач поисковой системы — не только найти нужное, но и рассортировать его и показать в удобном виде. Например, по запросу [москва] люди могут искать карту города, его фотографии или исторические документы. Часто поисковик способен догадаться, что именно, и сразу предложить наиболее вероятные варианты ответа. Найти все ответы одного типа, например картинки, видео или товары, помогают поисковые вертикали — области с однородными ответами.
В предыдущей версии интерфейса список вертикалей выводился над жёлтой стрелкой на странице результатов поиска:
В новом интерфейсе вертикали выводятся на навигационной панели слева. Благодаря этому они стали более заметными, но это не единственное изменение. Навигационная панель формируется контекстно: на ней появляются только те сервисы, которым есть что ответить на данный запрос. Например, для запроса [москва] это Новости, Карты, Картинки, Видео и Погода, а для запроса [поезд красная стрела] — Расписания, Картинки и Видео.
Таким образом, список сервисов на панели слева не только служит инструментом навигации, но и сам является частью ответа, своеобразным оглавлением поисковой выдачи.
Изменения коснулись не только поиска, но и двух других сервисов: Картинок и Видео. Эти сервисы теперь тоже выглядят по-новому. Кроме того, изменилась жёлтая стрелка поисковой строки.
Мы хорошо знаем, что любые, даже самые незначительные изменения дизайна всегда вызывают смешанную реакцию — нелегко менять свои привычки. Когда в 2008 году мы сменили логотип Яндекса на кириллический, не всем пользователям он пришёлся по душе. Но сейчас почти невозможно представить себе, что наш логотип выглядел по-другому. Мы много экспериментировали, прежде чем запустить новый интерфейс, и убедились, что эти решения работают, а значит — можно двигаться дальше. Острова уже видны на горизонте.
P.S. Мы подготовили список ответов на вопросы, которые могут у вас возникнуть. Если какие-то вопросы остались без ответа, задавайте их в комментариях.