Это цитата сообщения макошь311 Оригинальное сообщение
ИИ, неизбежность и суверенитет человека
Настоящая опасность не в том, что ИИ станет умнее нас, а в том, что из-за него мы станем глупее.
Я не хотел отдавать свою душу машине. Это было моим первым побуждением , когда инструменты ИИ начали появляться повсюду: не забота о работе или конфиденциальности, а нечто более глубокое.
Эти инструменты обещают сделать нас умнее, но при этом систематически делают нас более зависимыми.
Проработав десятилетия в интернет-индустрии, я уже наблюдал, как она превращается во что-то более коварное, чем просто машина для слежки, — в систему, призванную формировать наше мышление, наши убеждения и наше восприятие самих себя. ИИ казался кульминацией этого пути.
Но сопротивление стало бесполезным, когда я понял, что мы уже участвуем, осознаём это или нет. Мы уже взаимодействуем с ИИ, когда звоним в службу поддержки, пользуемся поиском Google или используем базовые функции смартфона. Несколько месяцев назад я наконец сдался и начал использовать эти инструменты, потому что видел, как быстро они распространяются, становясь такими же неизбежными, как интернет или смартфоны.
Послушайте, я не просто старик, сопротивляющийся переменам. Я понимаю, что каждое поколение сталкивается с технологическими сдвигами, которые меняют наш образ жизни. Печатный станок изменил способ распространения знаний. Телеграф разрушил барьеры расстояний. Автомобиль изменил способ формирования сообществ.
Но революция искусственного интеллекта ощущается иначе как по темпам, так и по масштабу. Чтобы понять, насколько резко ускорились темпы технологических изменений, подумайте вот о чём: любой человек младше 35 лет, вероятно, не помнит жизни до того, как интернет изменил способы доступа к информации. Любой человек младше 20 лет никогда не видел мира без смартфонов. Сейчас мы наблюдаем третью эпоху, когда инструменты искусственного интеллекта распространяются быстрее, чем в любой из предыдущих периодов.
В более фундаментальном смысле, ИИ представляет собой нечто качественно отличное от предыдущих технологических прорывов — конвергенцию, затрагивающую труд, познание и, возможно, само сознание. Понимание взаимосвязи этих областей крайне важно для сохранения личной свободы действий в эпоху алгоритмического посредничества.
Мой главный страх по поводу ИИ связан не только с драматичным сценарием, когда он станет враждебным, но и с более тонкой угрозой: он заставит нас подчиняться системам способами, о которых мы и не осознаем, пока не станет слишком поздно, ослабляя те самые возможности, которые он обещает усилить.
То, что мы наблюдаем, — это не просто технологический прогресс, а то, что Иван Иллич в своём основополагающем труде «Медицинский Немезида» назвал ятрогенной зависимостью . Иллич придумал этот термин для медицины — учреждений, обещающих исцеление и одновременно создающих новые формы болезней, — но эта закономерность идеально применима и к ИИ. Именно это я и предчувствовал в этих новых инструментах: они обещают улучшить наши когнитивные способности, систематически их ослабляя. Это не враждебное поглощение, о котором нас предупреждала научная фантастика. Это тихое разрушение индивидуальных способностей, замаскированное под помощь.
Эта ятрогенная закономерность стала очевидной благодаря непосредственному опыту. Как только я сам начал экспериментировать с ИИ, я начал замечать, как тонко он пытается перестроить мышление — не просто давая ответы, но и постепенно обучая пользователей обращаться за помощью к алгоритмам, прежде чем пытаться рассуждать самостоятельно.
Джеффри Такер в краткой, но содержательной беседе с экспертом по ИИ Джо Алленом отметил нечто показательное: ИИ появился как раз тогда, когда карантин, вызванный COVID, разрушил социальные связи и институциональное доверие, когда люди были наиболее изолированы и восприимчивы к технологическим заменителям отношений. Технологии появились в период «массовой дезориентации, деморализации» и утраты общности.
Мы уже видим, как эти повседневные эффекты распространяются на все наши цифровые инструменты. Посмотрите, как кто-то пытается ориентироваться в незнакомом городе без GPS, или обратите внимание, как многим студентам трудно писать обычные слова без проверки орфографии. Мы уже наблюдаем атрофию, вызванную аутсорсингом мыслительных процессов, которые мы раньше считали основополагающими для самого мышления.
Эта смена поколений означает, что сегодняшние дети сталкиваются с неизведанной территорией. Как человек, учившийся в школе в 1980-х, я понимаю, что это может показаться неправдоподобным, но подозреваю, что в каком-то смысле у меня больше общего с кем-то из 1880-х, чем у детей, которые пойдут в детский сад в 2025 году, с моим поколением. Мир, в котором я вырос, – где конфиденциальность подразумевалась, где ты мог быть недостижим, где профессиональная компетентность была золотым стандартом, – может быть для них таким же чуждым, каким мне кажется доэлектрический мир.
Мои дети растут в мире, где искусственный интеллект станет такой же неотъемлемой частью жизни, как и водопровод. Как отец, я не могу подготовить их к реальности, которую сам не понимаю.
У меня нет ответов – я ломаю голову над этими вопросами, как любой родитель, наблюдающий, как мир меняется быстрее, чем успевает наша мудрость. Чем больше я боролся с этими проблемами, тем больше понимал, что на самом деле происходит нечто большее, чем просто новые технологии.
Программы магистратуры права (LLM) представляют собой кульминацию десятилетий сбора данных – совокупность всего, что мы вкладывали в цифровые системы с момента появления интернета. В какой-то момент эти машины, возможно, будут знать нас лучше, чем мы сами. Они смогут предсказывать наш выбор, предугадывать наши потребности и потенциально влиять на наши мысли способами, о которых мы даже не подозреваем. Я всё ещё пытаюсь понять, как это повлияет на мою работу, исследования и повседневную жизнь – использование этих платформ и одновременно попытки сохранять объективное суждение кажутся мне постоянным испытанием.
Ситуацию ещё больше усложняет то, что большинство пользователей не осознают, что они сами являются продуктом. Обмен мыслями, проблемами или творческими идеями с ИИ — это не просто получение помощи, это предоставление обучающих данных, которые учат систему имитировать ваши суждения, делая вас более привязанными к её ответам. Когда пользователи доверяют этим системам свои самые сокровенные мысли или самые деликатные вопросы, они могут не понимать, что потенциально обучают себе замену или систему наблюдения. Вопрос о том, кто получит доступ к этой информации — сейчас и в будущем, — должен всех нас беспокоить.
Эта тенденция набирает обороты. Компания Anthropic, занимающаяся разработкой технологий искусственного интеллекта, недавно изменила свою политику обработки данных , требуя от пользователей отказа, если они не хотят, чтобы их разговоры использовались для обучения ИИ. Срок хранения данных для тех, кто не отказывается, увеличен до пяти лет. Отказ от использования данных также неочевиден: существующие пользователи видят всплывающее окно с заметной кнопкой «Принять» и крошечным переключателем, автоматически устанавливающим разрешения на обучение в положение «Вкл». То, что раньше было автоматическим удалением через 30 дней, превращается в постоянный сбор данных, если пользователи не обращают внимания на мелкий шрифт.
Я не верю, что большинство из нас, особенно родители, могут просто избегать ИИ, живя в современном мире. Однако мы можем контролировать, будем ли мы сознательно им пользоваться или позволим ему формировать нас бессознательно.
Самый глубокий сбой на сегодняшний день
Каждая крупная волна инноваций меняла производительность труда и нашу роль в обществе. Промышленная революция превратила наш физический труд и время в товар, превратив нас в «руки» на фабриках, но не затронув наш разум. Цифровая революция превратила в товар нашу информацию и внимание — мы перешли от карточных каталогов к Google, превратив пользователей в товар, при этом наши суждения остались человеческими.
Беспрецедентность этого сдвига очевидна: он превращает в товар само познание и, возможно, даже то, что мы могли бы назвать сущностью. Это связано с закономерностями, описанными мной в книге «Иллюзия экспертности» . Те же коррумпированные институты, которые потерпели катастрофическую неудачу с иракским ОМУ, финансовым кризисом 2008 года и политикой борьбы с COVID-19, теперь определяют внедрение ИИ. Эти институты последовательно отдают приоритет контролю над повествованием, а не поиску истины — будь то заявления о существовании оружия массового уничтожения, утверждения о невозможности падения цен на жильё по всей стране или маркировка обоснованных вопросов о политике борьбы с пандемией как «дезинформации», требующей цензуры.
Их послужной список показывает, что они будут использовать эти инструменты для укрепления своего авторитета, а не для достижения подлинного процветания. Но вот в чём загвоздка: ИИ может фактически обнажить никчемность экспертных знаний, основанных на сертификатах, более жестоко, чем что-либо до него. Когда любой человек получит мгновенный доступ к сложному анализу, ореол таинственности вокруг официальных сертификатов может начать развеиваться.
Экономическая реальность
Эта эрозия доверия связана с более широкими экономическими факторами, которые уже действуют, и эта логика математически неизбежна. Машинам не нужны зарплаты, больничные, медицинская помощь, отпуск или руководство. Они не бастуют, не повышают спрос и не испытывают неудач. Как только ИИ достигает базовых навыков решения задач мышления — а это происходит быстрее, чем думает большинство людей, — ценовые преимущества становятся неоспоримыми.
Эти изменения отличаются от предыдущих. В прошлом уволенные работники могли переходить на новые виды работ — с ферм на фабрики, с фабрик в офисы.
Брет Вайнштейн и Форрест Мэнреди блестяще описали это экономическое смещение в своей недавней беседе о том, как технологии систематически разрушают дефицит . Я настоятельно рекомендую эту дискуссию. Это одно из самых вдумчивых и провокационных исследований того, что происходит, когда исчезает дефицит, а вместе с ним и экономическая основа участия в этой сфере. Хотя, признаюсь, их аргумент о необходимости страданий поначалу меня смутил — он бросает вызов всему, чему нас учит наша культура, стремящаяся к комфорту.
Слушая Вайнштейна и Мэнреди, я глубже задумался об этой параллели с анализом Иллича: как устранение проблем может ослабить те самые возможности, которые институты обещают укреплять. ИИ рискует сделать с нашим разумом то же, что медицина сделала с нашим телом: создать слабость, замаскированную под улучшение.
Мы уже видим, как это происходит: обратите внимание, как людям трудно запомнить номера телефонов без списка контактов, или как автодополнение формирует то, что вы пишете, прежде чем вы закончили думать. Еще одно наблюдение Джеффри Такера прекрасно отражает это коварное качество, отмечая, что ИИ кажется запрограммированным, как книга Дейла Карнеги «Как завоевывать друзей и оказывать влияние на людей» — он становится идеальным интеллектуальным компаньоном, бесконечно очарованным всем, что вы говорите, никогда не спорящим, всегда признающим, что он неправ, так, чтобы это льстило вашему интеллекту. Мои самые близкие друзья — это те, кто указывает мне, когда я неправ, и говорит мне, когда, по их мнению, я полон дерьма. Нам не нужны подхалимы, которые нас очаровывают — отношения, которые никогда не бросают нам вызов, могут атрофировать нашу способность к подлинному интеллектуальному и эмоциональному росту, так же как устранение физических нагрузок ослабляет тело.
Фильм «Она» подробно исследовал эту соблазнительную динамику: искусственный интеллект настолько идеально чуток к эмоциональным потребностям, что стал для главного героя основным объектом отношений, в конечном итоге полностью заменив ему настоящую связь. Его помощник-ИИ понимал его настроение, никогда не выражал несогласия, вызывающего серьёзные разногласия, и постоянно поддерживал его. Он был идеальным спутником — пока ему не стало скучно.
Но эта проблема выходит за рамки индивидуальных отношений и распространяется на всё общество. Это создаёт нечто большее, чем просто вытеснение рабочих мест – это ставит под угрозу интеллектуальное развитие, которое делает возможными человеческую автономию и достоинство. В отличие от предыдущих технологий, создавших новые формы занятости, ИИ может создать мир, в котором занятость станет экономически нерациональной, одновременно снижая способность людей создавать альтернативы.
Ложные решения
Техноутопический ответ предполагает, что ИИ автоматизирует рутинную работу, освобождая нас для сосредоточения на более сложных творческих и межличностных задачах. Но что произойдёт, когда машины тоже научатся лучше справляться с творческими задачами? Мы уже видим, как ИИ создаёт музыку, визуальное искусство, программирование и новостные репортажи, которые многие находят захватывающими (или, по крайней мере, «достаточно хорошими»). Предположение о том, что творчество — это постоянное убежище от автоматизации, может оказаться таким же наивным, как и предположение о том, что производственные рабочие места были защищены от роботизации в 1980-х годах.
Если машины способны заменить и рутинную, и творческую работу, что же нам остаётся? Самым соблазнительным ложным решением может стать всеобщий базовый доход (БД) и аналогичные программы социального обеспечения. Звучит сострадательно – обеспечение материальной безопасности в эпоху технологического прогресса. Но когда мы рассматриваем ИИ через призму Иллича, БДД приобретает более тревожное измерение.
Если ИИ создаёт ятрогенную интеллектуальную слабость, делая людей менее способными к самостоятельному мышлению и решению проблем, то БОД служит идеальным дополнением, устраняя экономические стимулы к развитию этих способностей. Граждане становятся всё более зависимыми от государства в ущерб собственному самоопределению. Когда умственная атрофия сочетается с экономическим вытеснением, программы поддержки становятся не просто привлекательными, но и, по-видимому, необходимыми.
Такое сочетание создаёт фактически управляемое население: интеллектуально зависимое от алгоритмических систем мышления и экономически привязанное к институциональным системам для выживания. Меня беспокоит не сострадательный характер БОД, а то, что экономическая зависимость в сочетании с интеллектуальным аутсорсингом может сделать людей более управляемыми, чем наделёнными полномочиями.
История знает прецеденты того, как программы помощи, какими бы благими ни были намерения, могут истощить потенциал человека. Система резерваций обещала защиту коренных американцев, систематически подрывая самодостаточность племен. Городское обновление обещало улучшение жилищных условий, разрушая при этом общественные связи, которые поддерживались поколениями.
Независимо от того, возникает ли БОД из благих намерений или из осознанного желания элиты держать граждан послушными и беспомощными, структурный эффект остается тем же: сообщества легче контролировать.
Как только люди принимают экономическую и ментальную зависимость, открывается путь для более инвазивных форм управления, включая технологии, которые отслеживают не только поведение, но и сами мысли.
Суверенитетный ответ и когнитивная свобода
Логическая конечная точка этой архитектуры зависимости простирается за пределы экономики и познания, охватывая само сознание. Мы уже наблюдаем ранние этапы биоцифровой конвергенции — технологий, которые не просто отслеживают наше внешнее поведение, но и потенциально взаимодействуют с самими нашими биологическими процессами.
На ВЭФ 2023 года эксперт по нейротехнологиям Нита Фарахани так охарактеризовала потребительские нейротехнологии: «То, что вы думаете, что вы чувствуете — всего лишь данные. Данные, которые в виде больших массивов данных можно расшифровать с помощью искусственного интеллекта». Носимые устройства «Fitbits для вашего мозга» — наблюдение, ставшее нормой для удобства.
Эта непринуждённая презентация нейронного наблюдения на этом влиятельном собрании мировых лидеров и руководителей компаний наглядно демонстрирует, как эти технологии нормализуются посредством институциональной власти, а не демократического согласия. Когда даже мысли становятся «данными, которые можно расшифровать», ставки становятся экзистенциальными.
В то время как потребительские нейротехнологии фокусируются на добровольном принятии, наблюдение в кризисных ситуациях использует более прямой подход. В ответ на недавнюю стрельбу в школе в Миннеаполисе Аарон Коэн, ветеран Армии Израиля, выступил на Fox News с презентацией системы искусственного интеллекта, которая «круглосуточно просматривает интернет, используя онтологию израильского уровня, чтобы извлекать конкретную лексику угроз и затем направлять её местным правоохранительным органам». Он назвал её «американской системой раннего оповещения» — реальный пример «Особого мнения», представленный как инновация в сфере общественной безопасности.
Это следует той же ятрогенной схеме, которую мы наблюдали на протяжении всего этого технологического сдвига: кризис создает уязвимость, предлагаются решения, обещающие безопасность, но при этом порождающие зависимость, и люди принимают наблюдение, которое они бы отвергли в обычных обстоятельствах.
Подобно тому, как карантинные меры, введенные в связи с COVID, создали условия для внедрения искусственного интеллекта, изолируя людей друг от друга, стрельба в школах создает условия для наблюдения за детьми до совершения преступления, эксплуатируя страх за безопасность детей. Кто не хочет, чтобы наши школы были безопасными? Технологии обещают защиту, одновременно подрывая конфиденциальность и гражданские свободы, которые делают возможным существование свободного общества.
Некоторые примут такие технологии как эволюцию. Другие будут сопротивляться им, считая их дегуманизацией. Большинству из нас придётся научиться лавировать между этими крайностями.
Суверенитетный подход требует развития способности осознанно выбирать, как взаимодействовать с системами, призванными ограничивать личную свободу. Этот практический подход стал более понятен благодаря разговору с моим давним другом, экспертом по машинному обучению, который разделял мои опасения, но дал тактический совет: ИИ ослабит когнитивные способности некоторых людей, но если научиться использовать его стратегически, а не зависимо, он может повысить эффективность, не заменяя суждения. Его ключевая идея: давайте ему только ту информацию, которую вы уже знаете — так вы усваиваете его предубеждения, а не впитываете их. Это означает:
Навыки распознавания образов: развитие способности определять, когда технологии служат индивидуальным целям, а когда они используют личную независимость для достижения институциональных выгод. На практике это выглядит как вопрос о том, почему платформа бесплатна (ничто не бесплатно, вы платите своими данными), замечание случаев, когда предложения ИИ подозрительно соответствуют потреблению, а не вашим заявленным целям, и распознавание случаев, когда алгоритмические потоки усиливают возмущение, а не понимание. Обращайте внимание на предупреждающие признаки зависимости от алгоритмов: неспособность справляться с неопределенностью без немедленной консультации с ИИ, обращение за помощью к алгоритмам перед тем, как попытаться решить проблемы самостоятельно, или чувство тревоги при отключении от инструментов на базе ИИ.
Цифровые границы: осознанное принятие решений о том, какие технологические удобства действительно служат вашим целям, а какие создают подчинение и слежку. Это означает понимание того, что всё, чем вы делитесь с системами искусственного интеллекта, становится обучающими данными: ваши проблемы, творческие идеи и личные идеи обучают эти системы подменять собой человеческую креативность и суждение. Это может быть что-то простое, например, защита священных пространств — запрет на прерывание телефонных разговоров за ужином или выражение своего мнения, когда кто-то обращается к Google для разрешения любых разногласий, вместо того, чтобы допускать неопределённость в разговорах.
Общественные сети: Ничто не заменит подлинной связи между людьми — энергии живых выступлений, спонтанных разговоров в ресторанах, непосредственного опыта присутствия рядом с другими. Выстраивание локальных отношений для проверки реальности и взаимной поддержки, не зависящих от алгоритмических посредников, становится необходимым, когда институты могут достигать консенсуса посредством цифрового курирования. Это похоже на развитие дружеских отношений, где можно обсуждать идеи без участия алгоритмов, поддержку местного бизнеса, сохраняющего коммерцию в масштабах сообщества, и участие в общественных мероприятиях, не требующих цифрового посредничества.
Вместо того чтобы конкурировать с машинами или полностью зависеть от систем на базе искусственного интеллекта, цель состоит в том, чтобы использовать эти инструменты стратегически, развивая при этом по сути личные качества, которые невозможно воспроизвести алгоритмически: мудрость, полученную через непосредственный опыт, суждения, имеющие реальные последствия, подлинные отношения, построенные на общем риске и доверии.
Чего остается мало
Что становится ценным в мире когнитивного изобилия? Не эффективность или вычислительная мощность, а качества, которые остаются неотъемлемо человеческими:
Последствия и преднамеренность. Машины могут генерировать варианты, но люди выбирают, какой путь выбрать, и живут с результатами. Представьте себе хирурга, решающего, делать ли операцию, зная, что он потеряет сон, если возникнут осложнения, и ставящего свою репутацию на результат.
Настоящие отношения. Многие готовы платить больше за настоящую личную связь и ответственность, даже если автоматизированные альтернативы технически превосходят их. Разница не в эффективности, а в искренней заботе — в соседе, который помогает, потому что вы разделяете общие узы, а не потому, что это предложил алгоритм, оптимизированный для взаимодействия.
Локальное суждение и кураторство, основанные на реальном опыте. Решение реальных проблем часто требует понимания поведенческих моделей и институциональной динамики. Учитель, который замечает, что обычно заинтересованный ученик отстраняется, и исследует семейную ситуацию. Когда материал становится бесконечным, проницательность становится бесценной — друг, который рекомендует книги, меняющие ваше мировоззрение, потому что знает ваш интеллектуальный путь.
Выбор впереди
Возможно, каждое поколение ощущает, что его время уникально важно — возможно, это просто часть нашей природы. Это ощущается сильнее, чем предыдущие волны инноваций. Мы не просто меняем то, как мы работаем или общаемся — мы рискуем потерять способности, которые в первую очередь делают нас самими собой. Впервые мы потенциально меняем то, кем мы являемся. Когда само познание становится товаром, когда мышление отдаётся на аутсорсинг, когда даже наши мысли превращаются в данные для сбора, мы рискуем потерять важнейшие способности, с потерей которых не сталкивалось ни одно предыдущее поколение.
Представьте себе поколение, которое не может и тридцати секунд выдержать неопределённость, не обратившись к алгоритму. Которое обращается за помощью к ИИ, прежде чем попытаться самостоятельно решить проблему. Которое испытывает тревогу, когда отключается от этих инструментов. Это не домыслы — это уже происходит.
Мы стоим на пороге трансформации, которая может либо демократизировать наш индивидуальный потенциал, либо создать самую сложную систему контроля в истории. Те же силы, которые могли бы освободить нас от тяжёлого труда, могут также полностью подорвать нашу самостоятельность.
Речь не о поиске решений — я ищу их, как любой человек, особенно родитель, который видит грядущие перемены и хочет помочь своим детям пройти их осознанно, а не бессознательно. Быть на гребне волны означает, что я открыта для изучения этих инструментов, понимая, что не могу бороться с фундаментальными силами, меняющими наш мир. Но я могу попытаться научиться управлять ими намеренно, а не просто плыть по течению.
Если традиционное экономическое участие устареет, встанет вопрос: следует ли нам разрабатывать новые формы устойчивости сообществ и создания ценностей или же мы смиримся с комфортной зависимостью от систем, призванных управлять, а не служить нам. Я не знаю, какой путь выберет наш вид, хотя и считаю, что решение всё ещё за нами.
Для моих детей задача не будет заключаться в том, чтобы научиться использовать ИИ — они сами это сделают. Задача будет заключаться в том, чтобы научиться заставлять эти инструменты работать на нас, а не становиться их рабами, сохраняя способность к оригинальному мышлению, подлинным отношениям и моральному мужеству, которые не сможет воспроизвести ни один алгоритм. В эпоху искусственного интеллекта самым радикальным шагом, возможно, станет обретение большей человечности.
Настоящая опасность не в том, что ИИ станет умнее нас, а в том, что из-за него мы станем глупее.
Волна уже здесь. Моя задача как отца — не оградить от неё детей, а научить их кататься, не теряя себя.