Дмитрий Крюков, руководитель сервиса Яндекс.Расписания
 |
У Яндекса есть несколько сервисов, которые позволяют составить представление о том или ином городе, даже если вы в нём никогда не бывали. Карты расскажут, где что находится, Панорамы покажут, как выглядят улицы и здания, Транспорт и Расписания объяснят, как и на чём добраться из центра в пригород, а Пробки дадут понять, есть ли на дорогах заторы. |
Скажем сразу: строительству метро всегда предшествует долгая и сложная подготовка. В ней можно выделить два направления: изучение геологии местности и анализ пассажиропотоков и застройки. О первом — особенностях рельефа, подземных речках, плывунах — мы знаем очень мало, а вот о втором — движении транспорта, дорожной обстановке, новых районах — достаточно много.
Поэтому наши схемы не следует считать руководством к действию. Это скорее рекомендация — пример того, как сведения, накопленные интернет-сервисами, могут использовать градостроители и транспортники.
Краснодар
(Кликните на изображение, чтобы открыть полную версию схемы на Яндекс.Картах.)
Особенности Краснодара — обилие частной застройки и развитая сеть трамваев. Мы постарались проложить метро так, чтобы оно не дублировало, а дополняло трамвайные линии. Краснодарский метрополитен в нашем представлении включает две ветки. Красная ветка пересекает город с востока на запад, соединяя аэропорт с популярным местом отдыха краснодарцев — Рождественским парком на реке Кубань. Зелёная ветка связывает Прикубанский район и торговый центр «Мега-Адыгея», куда многие жители города ездят за покупками. Метро расположено на территории сразу двух регионов: Краснодарского края и Республики Адыгея.
Ярославль
Ярославль расположен на обоих берегах Волги. В проект метрополитена для города мы решили включить три ветки. Красная ветка связывает левобережную и правобережную части Ярославля, позволяя разгрузить мосты через Волгу. Оранжевая ветка тянется с северо-запада на юго-восток города вдоль реки, соединяя новостройки и индустриальные районы. Сиреневая ветка идёт вдоль центральной магистрали Ярославля — Московского проспекта. На её пути находятся ледовый комплекс «Арена 2000», автовокзал и Московский вокзал. Она же связывает все основные площади центра города.
Архангельск
Архангельск вытянут вдоль Северной Двины более чем на сорок километров, из-за чего дорога из одного конца города в другой может занять у жителей до полутора часов. Красная ветка нашего метро решает задачу скоростного перемещения: она проходит через центр города, соединяя южные и северные районы. Вторая ветка — жёлтая — совсем небольшая и включает только четыре станции. Она рассчитана скорее на туристов, так как позволяет удобно добраться до достопримечательностей в центре города. В дополнение к метро мы предлагаем пустить в Архангельске городскую электричку (на схеме она отмечена голубым цветом) — по уже существующей железнодорожной ветке, но с ответвлением к аэропорту Талаги.
Великий Устюг
В Великом Устюге — небольшом городе, который в сознании россиян связан с Дедом Морозом, — метрополитен может использоваться для перевозки туристов. Здесь мы проложили лёгкое метро. Линия лёгкого
В сентябре мы рассказывали о начале обучения в школах Яндекса по самым разным направлениям: от автоматизации тестирования до разработки интерфейсов и системного администрирования. Год подходит к концу, и занятия во многих школах уже завершились. Для тех, кто хотел посетить занятия, но не смог или просто интересуется информационными технологиями, мы выложили видеозаписи лекций.
Первый плейлист — для системных администраторов. В рамках Курса информационных технологий сотрудники Яндекса прочли более 20 лекций о разных аспектах системного администрирования, информационной безопасности и управления базами данных. Из этих лекций вы можете узнать всё о сетевой безопасности, основах DNS, системах управления кластерами и, конечно, о Linux.
Второй плейлист — для тестировщиков. На лекциях и мастер-классах Школы автоматизации процессов разработки рассказывали о статистическом анализе кода, нагрузочном тестировании и фреймворках автоматизации тестирования. Подробнее о том, что интересного было в этой школе, читайте в нашем техноблоге на Хабрахабре.
И, наконец, сборник лекций на самые разные темы для старшеклассников, интересующихся технологиями. Этой осенью в Малом ШАДе рассказывали о том, как правильно выбрать язык программирования, о теории игр или, например, о «мусорных» текстах в интернете. В Малом ШАДе с лекциями выступали как сотрудники Яндекса, так и наши друзья из Высшей школы экономики, Института проблем передачи информации РАН, Российской экономической школы и МФТИ.
Мы будем и дальше публиковать видеозаписи лекций и другие образовательные материалы о разработке, тестировании, управлении проектами и на другие темы, связанные с информационными технологиями. Подписывайтесь на интересные вам каналы и следите за обновлениями. Информацию обо всех наших школах, лекториях и курсах вы можете найти на сайте образовательных программ Яндекса.
Сегодня посетители сайтов, входящих в Рекламную сеть Яндекса, получили возможность отключить показ рекламных объявлений, которые им в данный момент неинтересны.
Рекламная сеть Яндекса показывает контекстную рекламу — она соответствует вашим текущим интересам или тематике страницы, на которой вы находитесь. Допустим, вы хотите купить пылесос и перед этим ищете информацию в интернете: сравниваете характеристики, читаете отзывы, узнаёте цены. Когда пылесос выбран, куплен и даже опробован в действии, вы думаете, что теперь-то о пылесосах точно можно забыть — по крайней мере, на ближайшие несколько лет. Однако в интернете никто не знает, что пылесосы вас больше не интересуют. И вы видите их рекламу ещё какое-то время после покупки.
Лучший способ узнать, нужен ли вам ещё пылесос, — спросить напрямую. Теперь на любом сайте, входящем в Рекламную сеть Яндекса, вы можете закрыть ненужное объявление. Чтобы убрать рекламу, достаточно нажать на «крестик» и выбрать причину, по которой вы не хотите её видеть.
Наряду с тематикой страниц при подборе объявлений в РСЯ учитывается множество других параметров — от пола и возраста пользователя до времени суток. Все факторы имеют разный вес: какие-то более важны для принятия решения, а какие-то менее. Получается длинная и сложная формула показа объявлений. Для её настройки в Рекламной сети Яндекса с 2011 года используется метод машинного обучения Матрикснет. Он значительно упрощает процесс, а заодно позволяет быстро вводить новые факторы — то есть делает технологию подбора объявлений более совершенной. От этого выигрывают и пользователи, которые видят действительно полезные для них объявления, и рекламодатели, которые находят нужную аудиторию.
Нажатие на «крестик» сообщает алгоритму, что такую рекламу вам больше показывать не надо. Знать причину нам важно для того, чтобы лучше настроить алгоритм — и в будущем показывать вам объявления, которые действительно будут информативны и полезны. А вам больше не придётся раздражённо восклицать «Да я это уже купил!» или переживать, что родные догадаются, какой подарок для них вы искали.
На этой неделе мы выпустили новое исследование о московских пробках. Оно рассказывает о том, где и когда образуются дорожные затруднения, какие трассы едут хуже и лучше всего в часы пик и как изменилась дорожная ситуация по сравнению с прошлым годом. Впервые за последние несколько лет загруженность столичных дорог не увеличилась, и этой осенью пробок в Москве было даже немного меньше, чем в прошлом году.
Кроме того, мы выяснили, из каких районов города быстрее добираться до центра и наоборот. Для этого посчитали, сколько времени займёт поездка на автомобиле между случайной точкой в любом месте города и точкой внутри ТТК — одной из тех, которые пользователи Яндекса указали как место работы при расчёте пробок на своем маршруте. Всего мы измеряли время для более чем 20 миллионов таких маршрутов — с сентября по ноябрь. Затем разделили карту Москвы на квадраты со стороной 100 метров и закрасили их в зависимости от среднего времени проезда из точек этого квадрата в центр или обратно.
Из зелёных квадратов автомобилисты добираются быстрее, из красных — дольше. Для точек в местах, где невозможно проехать на машине — например, лесов или водоёмов — считалось время от ближайшей дороги. Как видно, самое неудачное время для поездки в центр — с 8:00 до 10:00 утра. Дольше всех в эти часы до работы едут жители востока и юго-востока столицы.
Вечером домой большинство московских автомобилистов едут дольше, чем утром на работу.
Сколько времени водители тратят на то, чтобы проехать отдельные участки дорог Москвы, вы можете посмотреть на карте времени проезда по крупнейшим трассам.
Совсем недавно мы выпустили альфа-версию нового Яндекс.Браузера, чтобы показать, каким представляем себе браузер ближайшего будущего. Мы верим, что это будущее не за горами, а пока продолжаем работу над тем, чтобы улучшить настоящее — и обновляем привычную версию браузера.
В этом обновлении мы добавили поддержку средств экранного доступа для слабовидящих. Теперь Яндекс.Браузер поддерживают программы NVDA и JAWS, которые помогают слабовидящим работать за компьютером. Кроме того, в браузере появилась возможность открывать безопасные копии страниц, содержащих вредоносный код, а режим Турбо научился включаться заранее.
Подробнее о новых возможностях читайте в блоге Яндекс.Браузера.
В сентябре мы запустили сервис Яндекс.Мастер — агрегатор компаний, которые занимаются бытовыми услугами. Мастер помогает справиться с любыми делами по дому. Неважно, что вам понадобилось, — убраться в квартире, проложить плинтус или привезти товар из магазина, — достаточно просто оставить заявку на сервисе, дождаться, пока её примут, и выбрать исполнителя.
Но есть одна проблема. Цены за одну и ту же работу у разных фирм могут разительно отличаться. И чем вызвана эта разница, как правило, непонятно. А мы не любим, когда что-то непонятно. Поэтому начиная с сегодняшнего дня цены на услуги Яндекс.Мастера будут не выше определённой суммы.
Стоимость установки окон, уборки, ремонта стиральной машины и других услуг теперь не зависит от того, какую компанию вы выбираете для выполнения поручения. Благодаря этому вы можете не беспокоиться о цене и при выборе исполнителя ориентироваться только на описание, рейтинг компаний и отзывы других клиентов.
Цены на услуги Яндекс.Мастера складываются из тарифа, умноженного на количество часов работы, а также платы за использование специального оборудования и расходные материалы. Мы устанавливали цены вместе с партнёрами, и они не превышают средних по городу. Например, в Москве минимальная стоимость уборки будет составлять не более 1200 рублей за три часа, а услуги электрика обойдутся максимум в 800 рублей в час.
Команда Яндекс.Мастера тщательно следит за тем, чтобы качество услуг соответствовало вашим ожиданиям. Мы рассматриваем все жалобы и принимаем участие в решении спорных ситуаций с партнёрами.
Воспользоваться услугами Яндекс.Мастера можно на странице master.yandex.ru или с помощью приложения для iPhone. Пока Яндекс.Мастер работает в Москве и Санкт-Петербурге, но другие города на подходе.
До конца года осталось меньше месяца. Мы проанализировали поисковые запросы людей и выяснили, какие темы больше всего волновали их в этом году. В список попали люди, события и явления, которые вызвали всплеск интереса пользователей. Сравните свои ощущения с нашими данными.
Сегодня мы открыли новое направление по работе с «большими данными» — Yandex Data Factory. В рамках YDF компании, которые имеют дело с огромными массивами информации, смогут решать свои задачи с помощью технологий Яндекса.
Чёткого определения у понятия «большие данные» нет. Одно из первых описаний предложили в 2001 году — оно известно как принцип «трёх V». Данные называют большими, если они обладают тремя признаками: большой объём (volume), многообразие (variety) и скорость (velocity). Последнее означает, что данные постоянно обновляются и нуждаются в своевременной обработке.
С «большими данными» имеют дело практически в любой сфере бизнеса: от банковского дела до телекоммуникаций, от коммунального хозяйства до здравоохранения. Компании собирают и хранят множество информации: планы, отчёты, сведения о действиях клиентов, показания датчиков, настройки оборудования, характеристики продукции, видео с камер наблюдения. Эта информация объёмна, разнообразна и зачастую обновляется в режиме реального времени.
Умение анализировать «большие данные» даёт много преимуществ. Выявив закономерности в данных, банк, например, сможет определить, какие продукты предложить клиентам, а поставщик коммунальных услуг — предсказать аномальные всплески потребления горячей воды и подготовиться к ним. Сложность, однако, состоит в том, что для анализа «больших данных» — в силу их объёма и разнородности — необходимы специальные инструменты. Такие инструменты есть у Яндекса.
В число технологий, которые используются для анализа данных в Yandex Data Factory, входят метод машинного обучения Матрикснет, глубокие нейронные сети, распознавание образов и речи, рекомендательные системы. Все они были разработаны Яндексом для собственных нужд — и собственных данных. Матрикснет мы изначально создавали для составления формулы ранжирования в поиске — а потом он стал использоваться и для прогнозирования пробок в Яндекс.Картах, и для таргетинга рекламы в Яндекс.Директе, и для машинного перевода текстов с одного языка на другой в Яндекс.Переводе.
Со временем мы убедились, что наши алгоритмы могут применяться и в отраслях, не связанных с интернетом — так как они не анализируют содержание данных, а выявляют в них закономерности. Первым опытом применения технологий Яндекса в сторонних проектах стало сотрудничество с Европейским центром ядерных исследований (CERN). В частности, Матрикснет лёг в основу системы поиска редких событий — данных о столкновениях частиц — в эксперименте LHCb на Большом адронном коллайдере.
В Яндексе работают очень сильные специалисты по анализу данных. А кроме того, у нас есть система их подготовки. С 2007 года обучением в этой области занимается Школа анализа данных. В 2014 году Яндекс и Высшая школа экономики открыли факультет компьютерных наук, в состав которого входит департамент больших данных и информационного поиска.
Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов по обработке «больших данных» с компаниями-партнёрами. В частности, для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Услугами Yandex Data Factory могут воспользоваться как российские, так и зарубежные компании из разных отраслей. Подробности о Yandex Data Factory можно узнать на сайте проекта.
Осенью прошлого года в Яндекс.Картинках появился поиск по загруженному изображению. Это была первая реализация нашей технологии компьютерного зрения «Сибирь». Специальный алгоритм разбивает загруженную картинку на визуальные слова и с их помощью сопоставляет её с миллиардами известных ему изображений, отбирая дубликаты.
Такой подход позволял искать копии картинки или её варианты: например, ту же картинку другого размера или, скажем, без подписей. Однако уже тогда поиск показывал первые способности к обобщению — и в некоторых случаях находил не просто копии загруженной картинки, а другие изображения, содержащие такой же объект.
Недавно мы дополнили «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии данного изображения, но и похожие на него картинки. Другими словами, вы можете найти не разные варианты самой картинки, но разные варианты того, что на ней изображено. Например:
Такой поиск особенно хорош, когда точных копий загруженного изображения в интернете нет, но похожие на него картинки отлично решают вашу задачу. Например, если вы сфотографировали аллею с уходящими вдаль деревьями, то с помощью Яндекс.Картинок легко можете найти разные варианты таких аллей и выбрать из них подходящую по размеру и качеству картинку, чтобы поставить её на рабочий стол.
Даже если в интернете есть копии загруженной картинки, похожие расширят и дополнят ответ поиска. Скажем, по фотографии кроссовок, загруженной в Яндекс.Картинки, вы найдёте изображения этих кроссовок в разных ракурсах, и, возможно, другие модели, похожие на них.
В интерфейсе сервиса похожие изображения отделены от точных копий. А если копий не нашлось, то Картинки покажут только похожие результаты.
Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем, на наш взгляд, похожие. Например, среди фотографий машин, похожих на загруженную, не обязательно будут машины той же марки и модели. В будущем мы надеемся сделать поиск по картинке ещё точнее и научить его давать развёрнутый ответ на ваш запрос, а именно — распознавать и описывать то, что изображено на загруженной картинке.
Каждый день люди спрашивают Яндекс обо всём на свете. Некоторые запросы объединяет какой-то признак: например, тема или форма запроса. Если выбрать запросы с общим признаком, можно узнать, как то или иное явление отражается в поиске Яндекса. Время от времени мы так и делаем, и тогда на свет появляются поисковые исследования. Сегодня мы опубликовали очередное исследование — о том, на кого хотят быть похожи пользователи поиска.
В сентябре и октябре 2014 года люди задали Яндексу более 500 тысяч запросов со словами «как у»: [часы как у Путина], [зубы как у звёзд], [глаза как у вампира], [бутсы как у Месси] и многие-многие другие. Мы проанализировали эти запросы и выяснили, какие предметы, атрибуты, люди и персонажи пользуются в поиске наибольшей популярностью.
Почти две трети запросов касаются конкретных людей или персонажей — в основном это актёры, телеведущие и спортсмены. Чаще всего люди ищут то, что легко купить или повторить: причёски, макияж, одежду, татуировки и так далее.
[показать]
Среди всех персонажей и людей, на которых хотят быть похожи авторы поисковых запросов, мы выделили самых популярных. У мужчин лидируют Криштиану Роналду, Владимир Путин и герой Дмитрия Нагиева из сериала «Физрук». У женщин — телеведущие Ксения Бородина и Ольга Бузова, а также Виолетта из одноимённого сериала.
Больше подробностей ищите на странице исследования.
Яндекс выпускает альфа-версию нового Яндекс.Браузера. Это не совсем обычный продукт — с его помощью мы хотим показать, каким Яндекс видит браузер ближайшего будущего, и выслушать ваши соображения на этот счёт в ответ.
Прежде чем говорить о будущем, заглянем в прошлое. Те, кто застал эпоху интернета по карточкам, помнят, что когда-то каждая минута в сети была на счету. Сейчас же само понятие «выйти в интернет» устарело: по большому счёту люди из интернета и не выходят. Интернет везде: на компьютере, в мобильном телефоне, планшете, а иногда даже в телевизоре и холодильнике.
Поэтому для многих главной программой на компьютере стал браузер. Люди запускают его, чтобы почитать новости, пообщаться с друзьями, посмотреть кино, послушать музыку или поиграть в игру. Из программы для просмотра сайтов браузер превратился в нечто большее — в место, где сосредоточены общение, работа, развлечения.
Изменились и сами сайты. В начале 1990-х годов это были простые странички с текстом, гиперссылками и картинками. Сейчас сайты — это полноценные приложения: социальные сети, офисные редакторы, музыкальные и видеоплееры, игры. Они не похожи друг на друга: у каждого свои особенности и свой собственный — иногда довольно сложный — интерфейс.
На изображении — браузер NCSA Mosaic, который вышел в 1993 году. Несмотря на то, что этому веб-обозревателю двадцать с лишним лет, у него много общего с современными браузерами: меню, кнопки, панели, адресная строка. Сайты за два десятилетия преобразились сильно, а вот браузеры — по крайней мере внешне — не очень. Поэтому сайтам в браузерах часто бывает тесно.
Здесь уместна параллель с мобильными телефонами. Когда-то клавиатура была неотъемлемым атрибутом любого мобильника. Затем телефоны превратились в смартфоны и обзавелись куда более функциональными и сложными приложениями, чем змейка и калькулятор. Тогда стало ясно, что клавиатура занимает лишнее место — и лучше бы уступить его экрану, а клавиатуру сделать виртуальной и показывать только тогда, когда она нужна.
Вернёмся к браузерам. Это новый Яндекс.Браузер, и так в нём выглядит страница поисковой выдачи Яндекса:
Одна из главных особенностей браузера — прозрачный интерфейс. Новый Яндекс.Браузер принимает цвета веб-страницы, которая в нём открыта, поэтому граница между программой и интернетом исчезает: они сливаются в единое целое.
Вкладки в новом Яндекс.Браузере находятся в нижней части экрана. Мы решили разместить их там, потому что браузер, по сути, стал для пользователей вторым рабочим столом. Вместо программ-плееров люди открывают музыкальные сайты, а вместо мессенджеров общаются в социальных сетях. Раз сайты стали самодостаточными, то почему бы не разместить вкладки там, где пользователи Windows и OS X привыкли видеть список запущенных программ?
Каждая вкладка выделена основным цветом сайта, который в ней открыт. Например, вкладка Twitter будет голубой, а вкладка Facebook — тёмно-синей. Вкладки со страницами с одного и того же ресурса новый Яндекс.Браузер объединяет в группы. Это упростит работу пользователям, которые привыкли открывать много сайтов одновременно.
У каждой веб-страницы в новом Яндекс.Браузере есть Изнанка — так называется экран с дополнительной информацией. Он откроется, если нажать на заголовок страницы. Изнанка содержит список действий со страницей (например, «распечатать» или «поделиться»), Умную строку и Табло, а также отображает сведения, связанные с содержанием сайта. Так, если вы зашли на сайт интернет-магазина, на Изнанке вы увидите ссылки на другие магазины с похожим ассортиментом товаров.
Если в интернет-магазине вы читаете описание смартфона, то с помощью Изнанки вы узнаете диапазон цен на эту модель, а если находитесь на сайте кафе или музея — увидите их местоположение на карте.
Умная строка уже известна пользователям Яндекс.Браузера. В неё можно вводить адреса сайтов и поисковые запросы, причём ответ она умеет давать прямо в поисковых подсказках — например, называет температуру воздуха в Москве или высоту Эвереста. Новый Яндекс.Браузер способен быстро отвечать и на более сложные вопросы. Например, можно узнать, что такое фотосинтез или кто такой Кип Торн, не переходя на страницу с результатами поиска.
А в будущих версиях браузера можно будет уточнить подробности о том или ином объекте, не покидая страницу, на которой он вам встретился. Здесь, например, браузер подсказывает, где находится ближайший кинотеатр:
Совсем скоро, 27 ноября, в Яндексе выступит с лекцией Гай Уилкинсон — руководитель LHCb, одного из экспериментов Европейского центра ядерных исследований (ЦЕРН). Он расскажет о том, как алгоритмы анализа больших объёмов данных используются в физике элементарных частиц. Записаться на лекцию или посмотреть её видеотрансляцию можно на странице мероприятия.
Яндекс давно сотрудничает с ЦЕРНом — с 2011 года. Мы предоставляем ЦЕРНу серверные мощности, поиск по событиям эксперимента LHCb, а также технологию машинного обучения Матрикснет. Кроме того, недавно мы писали о планах по проведению нового эксперимента SHIP, для нужд которого Яндекс предоставит ЦЕРНу свои технологии обработки данных. Сегодня мы хотим чуть больше рассказать о том, как IT-компании могут помочь и уже помогают большой науке.
Эксперимент — это один из основных способов познания окружающего мира. Человек ставит опыты и проверяет гипотезы на протяжении всей своей истории. Долгое время для этих опытов было достаточно простых инструментов — весов, линейки, секундомера, — а для того, чтобы записать результаты наблюдений, хватало листка бумаги.
Современные эксперименты требуют дорогостоящего оборудования. Для того чтобы построить Большой адронный коллайдер, одну из самых известных экспериментальных установок наших дней, потребовалось проложить под землей туннели, спроектировать средства разгона пучков протонов, собрать детекторы высокой точности. Учёные надеются, что опыты на коллайдере дадут ответы на вопросы о прошлом, настоящем и будущем Вселенной и помогут найти так называемую «новую физику» — физику за пределами Стандартной модели.
Туннель Большого адронного коллайдера. Фото CERN.
Опыты на БАК проходят так: пучки протонов в кольце коллайдера разгоняют до скоростей, близких к скорости света, и сталкивают друг с другом. В результате этих столкновений происходят рождения и распады новых частиц, которые и являются предметом интереса учёных.Всё, что происходит внутри кольца БАК — рождение частиц или распад одних частиц на другие, — физики называют «событиями». События происходят в БАК очень часто — примерно 40 миллионов раз в секунду, — а информация о каждом событии весит сотни килобайт. С точки зрения исследователя все события эксперимента делятся на важные (сигнальные) и неважные (фоновые). Сигнальными называют события, которые относятся непосредственно к проверяемой в ходе эксперимента гипотезе.
Сигнальные события могут происходить очень редко — примерно одно на сотни миллионов или даже реже, — и важно ловить их в огромном потоке необработанных (сырых) данных. Другими словами — необходимо уметь правильно обрабатывать эти данные. Таким образом, для успеха современного эксперимента необходимо не только оборудование, но и алгоритмы обработки данных.
Совокупность всей информации в интернете — это тоже «сырые данные», которые нужно обработать, чтобы, к примеру, выдать релевантный ответ на поисковый запрос. Поэтому Яндекс как поисковая компания развивает алгоритмы анализа данных. Кроме того, у Яндекса достаточно вычислительных мощностей для того, чтобы обрабатывать данные быстро. Всё это можно использовать и в ЦЕРНе для обработки данных физических экспериментов.
Наши технологии используются в ЦЕРНе для настройки классификатора — программы, которая помогает отделить сигнальные события эксперимента от фоновых. (Подробнее о том, как создаются и работают классификаторы, вы можете узнать из статьи в нашем техноблоге на «Хабрахабре».) Кроме того, Яндекс разрабатывает для ЦЕРНа инфраструктуру автоматизации вычислительных экспериментов. Такая инфраструктура позволяет большой распределённой команде учёных совместно работать над анализом данных с использованием сложных методов и нетривиальных критериев оценки качества. Автоматизация совместной работы позволяет получать более достоверные и воспроизводимые результаты за меньшее время.
Технологии интернет-компаний,
Андрей Кармацкий, руководитель службы дизайна Яндекс.Карт
 | Чуть больше года назад мы представили бета-версию новых Яндекс.Карт. Тогда нам казалось, что мы реализовали самые смелые наши идеи, и дело за малым. Пройдёт ещё несколько месяцев, мы добавим маршруты, панорамы — и запустим новые Карты. Но это только казалось. |
Сегодня мы включаем новый интерфейс Яндекс.Карт в Турции, а для пользователей из России и Украины обновляем бета-версии. Мне хотелось бы рассказать о том, почему всё оказалось не так просто, как мы думали, и что нового мы сделали за прошедший год.
Когда мы только-только задумали редизайн сервиса, первые макеты выглядели примерно так:
Или так:
Потом была ещё серия различных концепций, и в какой-то момент мы осознали, что генерировать их можно бесконечно. Нужно было остановиться и как-то организовать работу с идеями. В первую очередь собрать все-все идеи про редизайн в одном месте. Большая стеклянная перегородка в одной из комнат офиса прекрасно для этого подошла.
Чтобы свободно проверять новые идеи и не нарушать привычки пользователей Яндекс.Карт, мы решили запустить отдельную бета-версию Карт с новым интерфейсом и в несколько этапов реализовать все записанные идеи.
Публичную бету запустили в октябре 2013 года, после того как был закончен первый этап — поиск по карте. После запуска мы получили много отзывов от активных пользователей и немного сдвинули сроки запуска следующего этапа, чтобы учесть замечания.
Второй этап мы завершили этим летом — в бета-версии Карт появились маршруты. Мы сделали линию маршрута нагляднее, добавили возможность строить маршруты через несколько точек, а водителям стали предлагать альтернативные варианты, чтобы можно было выбрать путь покороче. Немного изменился и интерфейс Карт: у шапки сервиса пропал фон, а поисковая стрелка, логотип и кнопки пробок и маршрутов стали «парить» над картой, которая заполнила всё окно браузера. Кроме этого мы решили проверить ещё одну смелую идею: перенести список поисковой выдачи слева направо — была гипотеза, что так будет удобнее работать с объектами на карте.
Отзывы не заставили себя ждать — активные пользователи написали нам несколько сотен пожеланий и предложений. В сообщениях люди просили добавить панорамы, писали о том, что потеряли контекстное меню по правой кнопке мыши и с трудом находят кнопки маршрутов и пробок в правом верхнем углу. Кроме того, статистика использования и тесты подсказывали, что пользователи немного путаются в логике панелей поиска.
Мы учли большую часть пожеланий, и сегодня готовы поделиться результатами очередного этапа работы.
Главной темой этого обновления стали панорамы — мы их переделали. Во-первых, мы решили отказаться от технологии Flash в пользу HTML5. Это позволяет смотреть панорамы в мобильных браузерах и даёт возможность комфортно работать с плеером панорам. Во-вторых, сделали новый интерфейс — панорама теперь занимает всё окно браузера, а интерфейс спроектирован так, чтобы ничего не мешало её рассматривать. Совсем недавно мы опубликовали панорамы заповедников России. Посмотрите, как здорово в новом плеере просматривать панорамы Байкала или Дивногорья. Возможность одновременно работать с картой и просматривать панорамы тоже сохранилась. Мини-карта в углу по наведению превращается в интерактивную, с возможностью перейти на панораму соседней улицы.
Весной этого года мы провели первую Конференцию школьников по программированию. В ней участвовали 32 команды, которые представили проекты в области лингвистики, облачных технологий и компьютерного моделирования. Авторы лучших работ получили дипломы и призы от Яндекса.
Первая конференция показала, что идея и формат оказались удачными, и теперь Яндекс открывает регистрацию на вторую Конференцию школьников по программированию. Она пройдёт 19 апреля 2015 года сразу в семи офисах Яндекса — в Новосибирске, Екатеринбурге, Нижнем Новгороде, Симферополе, Петербурге, Москве и Минске.
Конференция проводится для учеников 8-11 классов. Они могут участвовать индивидуально или командой до четырёх человек. На конференции будет несколько секций: «Движение», «Слова», «Облака» и «Интеллект». Первая — для проектов в области компьютерного моделирования, вторая — для работ на стыке лингвистики и программирования, третья — для кроссплатформенных приложений, четвёртая — для проектов, связанных с машинным обучением, параллельными вычислениями и Big Data.
Для участия в конференции нужно до конца года подать заявку, а к апрелю — подготовить презентацию проекта с техническим описанием и скриншотами. Школьники, чьи работы пройдут отбор, смогут представить их на конференции. Там и будут определены лучшие проекты.
Подробное описание и правила конференции можно найти на сайте мероприятия, а о лучших проектах предыдущей конференции читайте в нашей прошлой публикации.
У Яндекса несколько собственных дата-центров, в которых располагаются десятки тысяч серверов и сетевое оборудование. Дата-центры обеспечивают качественную работу всех наших сервисов в любое время суток. Однако они не застрахованы от аварий. Как показывает опыт, произойти может всё что угодно: от короткого замыкания и неожиданного обрыва кабеля до потопа. К любой из этих ситуаций нужно быть готовым.
Раз в неделю мы отключаем один дата-центр для моделирования аварийной ситуации, которая может повлиять на работоспособность наших сервисов. Мы называем это учениями. Учения помогают найти слабые места и избежать серьёзных последствий аварии, если она вдруг случится. Первое плановое отключение дата-центра в Яндексе произошло в октябре 2007 года, и с тех пор учения проводятся регулярно.
Отключение дата-центра — сложный и многоэтапный процесс, который должен быть правильно скоординирован. О том, как проходят учения и какие выводы мы делаем после их завершения, читайте в нашем техноблоге на Хабрахабре.
Представьте, что вы ждёте на остановке троллейбус. Раннее утро, холодно, идёт дождь. Троллейбус наконец приходит, но в нём уже столько народу, что вы думаете — а не подождать ли следующий? Правда, когда он приедет, наверняка знать нельзя. Пять минут постоять можно, а вот пятнадцать — уже не очень хочется.
Сегодня Яндекс обновил приложение Транспорт — мобильный справочник по городскому наземному транспорту. Теперь в 10 городах (Воронеже, Екатеринбурге, Казани, Калининграде, Красноярске, Нижнем Новгороде, Новосибирске, Омске, Перми и Санкт-Петербурге) и Московской области оно умеет прогнозировать время прибытия транспорта на остановку. Откройте приложение, нажмите на значок нужной вам остановки — и вы увидите, какой автобус или троллейбус в ближайшее время к ней подойдёт и сколько его ждать.
Прогноз позволит лучше спланировать поездку — например, понять, пора выходить из дома или ваш автобус ещё далеко и можно чуть-чуть посидеть в тепле. Или решить, что садиться в переполненный троллейбус не стоит — ведь через две минуты подойдёт следующий. А если вы уже сели и едете, то Яндекс.Транспорт подскажет, сколько минут осталось до нужной остановки.
Чтобы составлять прогноз прибытия и показывать текущее местоположение транспорта на карте, необходимо соблюсти множество условий. Во-первых, нужно, чтобы транспорт был оснащён необходимым оборудованием. Во-вторых, информация о перемещениях должна собираться регулярно и с определённой частотой. Наконец, нужно, чтобы организация, которая отвечает за сбор данных, согласилась предоставить их Яндексу.
Поэтому в разных городах Транспорт работает по-разному. В тех городах, где нам удалось заключить соглашения с местными компаниями, приложение показывает на карте перемещения разных видов транспорта и умеет строить прогноз. Объём данных в разных городах различается — например, в Перми Яндекс.Транспорт знает и об автобусах, и о троллейбусах, и о трамваях, и о маршрутках, а в Нижнем Новгороде — только о маршрутках. Ещё более чем в 30 городах это просто справочник — там можно посмотреть линии маршрутов, интервалы движения и список остановок местного транспорта.
Список городов, для которых у нас есть данные, постоянно растёт. Когда мы в пробном режиме запустили Яндекс.Транспорт в марте 2014 года, их было всего пять. Многие пользователи спрашивают нас, когда Яндекс.Транспорт заработает в Москве. Сейчас москвичи могут следить в приложении за перемещением пригородных автобусов «Мострансавто» и маршруток компании «Автолайн». Появление данных о движении остального общественного транспорта — это вопрос времени.
Скачать Яндекс.Транспорт можно в Яндекс.Store, Google Play и App Store.
На Яндекс.Картах появились панорамы заповедников, национальных парков и просто красивых мест Карелии, Дивногорья, Северного Кавказа, Горного Алтая и Байкала.
В больших городах панорамы обычно служат практической цели — дают понять, как выглядит незнакомый район, в который нужно срочно съездить. Здесь, за пределами городов, всё по-другому. Можно не спеша осмотреть места, о которых вы когда-то давно читали, — например, исток Ангары или каменные мысы Онежского озера, где на прибрежных скалах высечены изображения зверей, птиц и людей — петроглифы.
Можно прогуляться по воронежскому Дивногорью среди меловых столбов — Див — и взглянуть с высоты на излучину реки Дон.
Или перейти по подвесному мосту алтайскую реку Катунь и оказаться на острове Патмос — и пообещать себе, что вы обязательно съездите сюда по-настоящему. Когда-нибудь.
Панорамы снял постоянный партнёр Яндекса компания neq4. Большую часть путешествия совершили на машине. Всего команда отсняла 1700 километров дорог, дорожек и тропинок.
Путь не всегда был быстрым. На серпантинах Кавказа машина часто делала незапланированные остановки: то и дело встречались коровы, решившие прилечь прямо на дороге. На звуковой сигнал они не реагировали.
Там, где нельзя проехать на автомобиле — например, по каменистым берегам реки Кулисмайоки в Карелии, — передвигались пешком.
Озёра — Ладожское, Телецкое и Байкал — снимали с катера.
В последнее время мы получаем много жалоб на сайты, которые продают поддельные авиабилеты. Это распространённый вид мошенничества, и сейчас, в преддверии новогодних праздников, мошенники активизировались, поэтому нужно быть особенно внимательным при покупке билетов в интернете.
Схема мошенничества довольно проста. Создаётся и рекламируется сайт, якобы продающий авиабилеты. Цены на этом сайте обычно гораздо ниже реальных, поэтому люди охотно покупают билеты, полагая, что нашли выгодный вариант. После оплаты мошенники могут даже прислать поддельную маршрутную квитанцию. Для проверки квитанции вы можете позвонить в авиакомпанию или воспользоваться специальными сервисами глобальных систем бронирования: checkmytrip.com, virtuallythere.com, viewtrip.com или myairlines.ru. Информация о вашей брони должна быть на одном из этих сайтов.
Обычно мошеннические сайты существуют считанные дни, после чего перестают работать. Поэтому, когда обман вскрывается, обращаться уже некуда. Более того, иногда после закрытия мошеннический сайт перенаправляет пользователя на добропорядочный ресурс, продающий авиабилеты. В результате человек пишет в службу поддержки этого ресурса. Яндекс.Авиабилеты, к примеру, регулярно получают подобные обращения, но помочь в этой ситуации, к сожалению, ничем не могут.
На что стоит обращать внимание при покупке билетов в интернете и как избежать обмана:
1. Изучите сайт продавца. Обратите внимание на контактные данные: адрес, телефон, наименование юридического лица и так далее. Все эти данные имеет смысл проверить — например, позвонить по телефону, указанному на сайте, и поискать информацию о продавце билетов в интернете. Проверьте, сотрудничает ли сайт с крупными метапоисковиками вроде Яндекс.Авиабилетов, Skyscanner или Aviasales. Отсутствие сайта в метапоисковиках может указывать на то, что он принадлежит мошенникам. Ещё один способ проверки — почитать отзывы о сайте в интернете. Почему-то многие люди, например, выбирая чайник, тщательно изучают все отзывы о нём, а при покупке авиабилетов забывают о таких вещах, хотя речь идёт о куда более серьёзных тратах.
Стоит обратить внимание и на другие детали, которые могут показаться незначительными. Например, адрес электронной почты. Как правило, у серьёзной организации не бывает почты на бесплатном сервисе вроде @yandex.ru, @mail.ru или @gmail.com. В отличие от мошенников, которые часто используют бесплатные ящики.
2. Выясните, кому вы платите. Чаще всего за авиабилеты предлагают заплатить банковской картой, однако возможны и другие способы оплаты. Например, некоторые продавцы принимают деньги через платёжные терминалы, некоторые — платежи с электронных кошельков. Способы оплаты могут быть разные, гораздо важнее получатель платежа. Если вам предлагают перевести деньги на интернет-кошелёк или банковскую карту, это серьёзная причина заподозрить обман. Карта или интернет-кошелёк с большой вероятностью принадлежат физическому лицу, а не юридическому. Никакая компания не будет просить вас заплатить деньги кому-то лично, в отличие от мошенников.
Прежде чем совершить платёж, всегда проверяйте, зашифровано ли соединение на странице оплаты. В электронных платёжных системах должен использоваться протокол HTTPS, который обеспечивает защиту передаваемых данных (подробнее о том, как он работает, мы недавно писали). Для того чтобы проверить, зашифровано ли соединение, обратите внимание на адресную строку в браузере:
3. Проверьте цену билета. Если вы нашли подозрительно дешёвый билет на Бали на Новый год, не спешите тут же покупать его. Проверьте цены на это направление в метапоисковиках, а ещё лучше — на сайте авиакомпании. Если цена значительно выше той, которую вы нашли (как правило, на 20% или больше), это подозрительно. Иногда мошенники могут убеждать вас в том, что предлагают билеты по низкой цене благодаря особым условиям сотрудничества с авиакомпанией, специальным тарифам, доступным только им, и мало ли чему ещё. Дешёвые билеты действительно иногда встречаются, но часто подобные объяснения — это признак мошенничества.
4. Не покупайте билеты в соцсетях. В последнее время мошенники часто продают билеты через группы в социальных сетях. Они используют те же приёмы, что и при продаже билетов на мошеннических сайтах. Совет прост: не покупайте авиабилеты в соцсетях, потому что группу в социальной сети может создать кто угодно, и проверить такого продавца будет очень сложно. Если вы будете покупать холодильник, вы, скорее всего, пойдёте в магазин бытовой техники. То же самое и с билетами — покупать их следует у проверенных продавцов, а не с рук.
Как и в случае со многими другими видами мошенничества,
30 октября в Москве прошла технологическая конференция Яндекса — Yet Another Conference 2014. Мы проводим YaC каждую осень начиная с 2010 года. Цель конференции проста — мы хотим собрать вместе людей, которым интересна IT-индустрия, и дать им возможность рассказать о себе и послушать других.
По опыту предыдущих YaC мы знаем, что таких людей очень много — гораздо больше, чем может вместить любой, даже самый огромный зал. Кроме того, эти люди живут в разных городах и разных странах. Поэтому мы постарались сделать так, чтобы присутствовать на YaC виртуально было не менее интересно, чем лично.
Вместо секций на YaC 2014 были «маршруты» — рекомендуемые пути следования по конференции. Таких маршрутов было шесть: для фронтендеров, бэкендеров, безопасников, сисадминов, мобильных разработчиков и исследователей. Соответственно, трансляций тоже было шесть — и виртуальные участники могли в любой момент переключиться с одной на другую.
Конференцию открыл доклад Яндекса. Мы представили новые голосовые технологии, показали приложение «Диктовка» — с его помощью можно набирать и редактировать текст голосом, — а также рассказали о трекинге, новом бесплатном инструменте в Метрике для приложений. Он подскажет разработчикам, откуда именно к ним приходит аудитория. Подробнее о трекинге и других функциях можно узнать на сайте Метрики для приложений.
Во многих фантастических фильмах и книгах один из главных героев — это компьютер. Он, как правило, не просто выполняет вычисления — скажем, прокладывает маршрут для космического корабля, — но и общается с героями-людьми как живой собеседник.
В основе такого общения лежит голосовой интерфейс — концепция, которая, в отличие от машины времени и других фантастических вещей, уже стала реальностью. Голосом, например, можно вводить запросы в поисковик или адреса в навигатор — это удобно, когда заняты руки.
Ядро любого голосового интерфейса — это технология распознавания речи. Однако для полноценного «общения» с человеком машине мало уметь правильно распознавать сказанные вслух слова. Чтобы походить на живого собеседника, компьютер должен понимать, что к нему обращаются, уметь улавливать суть сказанного и озвучивать ответы.
У Яндекса есть собственная система распознавания речи — Yandex SpeechKit. Она используется как в сервисах Яндекса — например, Навигаторе, — так и в продуктах сторонних разработчиков.
Сегодня мы дополнили SpeechKit тремя новыми технологиями, которые делают общение человека с компьютером более полноценным. Теперь наша система умеет включаться по голосовой команде, понимает смысл слов, а также не только слушает пользователя, но и отвечает ему — с помощью технологии синтеза речи.
Голосовая активация
Когда вы хотите что-то сказать конкретному человеку, вы называете его по имени. Это своего рода условный сигнал: «Эй! То, что я сейчас скажу, адресовано тебе и только тебе». В Yandex SpeechKit таким сигналом выступает команда голосовой активации. Командой может служить любое слово или фраза — всё зависит от фантазии разработчика.
Когда пользователь произносит команду, компьютер переходит в режим распознавания — так как понимает: всё, что будет сказано в дальнейшем, предназначено ему. Нажимать кнопки не нужно, достаточно сказать кодовую фразу.
Голосовая активация в Yandex SpeechKit, по сути, представляет собой систему распознавания речи в миниатюре. Система запускается прямо на устройстве и не требует доступа в интернет. Она анализирует весь входящий звуковой поток на предмет наличия речи, и, если речь обнаружена, начинает искать в ней кодовую фразу. Такой подход позволяет сэкономить заряд батареи в смартфоне или планшете.
Выделение смысловых объектов
Представьте, что вы услышали фразу «В Москве сегодня семь градусов тепла». Вам без дополнительных объяснений понятно, что «Москва» — это город, «сегодня» — это 30 октября, а «семь градусов» — это температура воздуха. Иначе говоря, вы умеете извлекать из слов смысл.
В этом умении человек оставляет компьютер далеко позади, но кое-чему научить машину всё же можно. Мы добавили в Yandex SpeechKit технологию выделения в распознанном тексте смысловых объектов. Такими объектами могут быть дата и время, имена и фамилии или адреса.
Технология позволяет управлять компьютером или смартфоном простыми фразами, которые не нужно запоминать специально. Например, «Поставь будильник на семь утра» или «Поехали на улицу Льва Толстого, дом 16». Фраза может звучать по-разному — система поймёт, что «Набери номер Ивана Ивановича» и «Позвони Ивану Ивановичу» — это одно и то же. Yandex SpeechKit умеет анализировать контекст и поэтому уяснит, что во фразе «Позвони Владимиру» имеется в виду человек, а во фразе «Поехали во Владимир» — город.
Синтез речи
Хороший собеседник умеет не только слушать, но и отвечать. Поэтому в Yandex SpeechKit теперь есть технология синтеза речи — она позволяет компьютеру проговаривать текст вслух. Например, может рассказать про себя сама:
Синтез речи — это задача, обратная распознаванию речи. В случае с распознаванием система получает звук, который надо преобразовать в текст, а в случае с синтезом — текст, который надо озвучить.
К синтезу речи существуют разные подходы. Один из них предполагает запись диктором отдельных фрагментов (сэмплов), из которых впоследствии «склеивается» речь. Такой подход трудоёмок, а кроме того, синтезированная таким способом речь звучит неестественно: обрывисто и с паузами в самых неожиданных местах.
В Yandex SpeechKit для синтеза речи мы используем систему на базе скрытых марковских моделей. Акустическая модель принимает на вход последовательность фонем и выдаёт на