ВОССТАНИЕ МАШИН
Ars Technica: Программа АНБ SKYNET, возможно, убивает тысячи невиновных людей
АНДРЕЙ БРОДЕЦКИЙ 4 ЧАСА НАЗАД19 ФЕВРАЛЯ В 22:34
Издание Ars Technica опубликовало большой материал о работе программы Агентства национальной безопасности США под названием SKYNET. С её помощью АНБ выявляет и уничтожает потенциальных террористов в Пакистане. Эксперты называют алгоритмы SKYNET «полной чушью». Apparat публикует сокращенный перевод материала.
Согласно документам, опубликованным в прошлом году изданием Intercept, SKYNET основана на массовой слежке за мобильными сетями в Пакистане и алгоритме машинного обучения, который анализирует метаданные о звонках 55 миллионов людей и оценивает вероятность причастности каждого из них к террористическим организациям.
Аналитик данных Патрик Болл, являющийся директором исследований Human Rights Data Analysis Group, рассказал Ars Technica, что алгоритм, с помощью которого АНБ обучает SKYNET анализировать мобильные метаданные, является научно недостоверным. Патрик называет методы АНБ «неуместно оптимистичными», а алгоритмы — «полной чушью».
По данным Бюро расследовательной журналистики, с 2004 года беспилотники убили от 2500 до 4000 людей в Пакистане. Большинство из них были классифицированы американским правительством как «экстремисты». По оценкам Intercept, разработка программы машинного обучения началась не ранее 2007 года.
SKYNET работает подобно коммерческим программам обработки больших данных. Программа собирает метаданные, сохраняет их на облачных серверах АНБ, извлекает из них релевантную информацию, и затем с помощью машинного обучения выявляет потенциальные цели для таргетированной кампании. Но, в отличие от коммерческих приложений, целью кампании являются не продажи, а уничтожение потенциально опасных личностей с помощью беспилотников или наземных военных бригад.
"С помощью метаданных мы можем измерить привычки, круг общения и паттерны перемещения отдельных личностей"
SKYNET собирает данные не только о звонках пользователей мобильных сетей (время, длительность, кто кому звонил), но и о их местоположении, что позволяет строить схемы их перемещений. Выключение мобильного телефона помечается системой как попытка избежать слежки. Смена SIM-карт помечается аналогично — идентификаторы телефонов вшиты в сами устройства, смена карточек на них никак не влияет.
Согласно слайдам из внутренней презентации АНБ, система отслеживает даже смену телефона. Журналисты Ars Technica предполагают, что это возможно благодаря анализу других метаданных, которые не изменяются со сменой телефона, таких как местоположение, перемещение и список контактов.
Параметры, используемые при оценке "террористичности": паттерны перемещения, аналитика поведения
На основании этого массива метаданных SKYNET составляет типичные для людей рутины — кто с кем путешествует, у кого есть общие знакомые, кто проводит ночь с друзьями, посещает другие страны или и вовсе покидает страну. Алгоритм машинного обучения учитывает более 80 параметров при оценке потенциальной «террористичности» человека. Он основан на предположении о том, что поведение террористов значительно отличается от поведения обычных граждан. Тем не менее, как показали документы, опубликованные Intercept, наиболее высоко оцененной целью алгоритма стал журналист Ахмед Заидан, шеф бюро Аль-Джазиры в Исламабаде.
Самая высоко оцененная алгоритмом цель из посещающих Пешавар и Лагор - шеф бюро Аль-Джазиры в Исламабаде Ахмед Заидан
Заидан часто ездил в регионы с повышенной активностью террористов для того, чтобы брать интервью у повстанцев и сообщать оттуда новости. Но вместо того, чтобы разобраться, почему алгоритм выдал такой странный результат, его разработчики из АНБ напротив, включили слайд с Заиданом в свою внутреннюю презентацию как пример успешной работы алгоритма, представив журналиста как «члена Аль-Каиды».
Для обучения алгоритма машинного обучения необходимо «скормить» ему примеры данных реальных террористов. Но проблема в том, что у АНБ нет таких данных, а настоящие террористы вряд ли согласятся пройти опрос от АНБ, отмечает Ars Technica. При обучении алгоритма за основу были взяты данные об известных курьерах террористов.
Население Пакистана — 192 миллиона человек. На момент создания презентации АНБ в 2012 году в стране было 120 миллионов телефонов, из которых Агентство использовало для анализа 55 миллионов. Алгоритм классификации SKYNET анализирует метаданные и, сравнивая их с набором данных от известных курьеров, присваивает каждому пользователю оценку.
Пример отчета о поездке от SKYNET
Алгоритм классификации присваивает каждому из 80 параметров цифровое значение, а затем с помощью машинного обучения оценивает вероятность того, что пользователь телефона является террористом. При этом, согласно слайдам, пороговое значение «ложных негативных оценок» при оценке составляет 50%. Это означает, что при таком пороге половина людей, подпадающих под оценку «террорист», считаются невиновными.
Журналисты
Читать далее...