Это цитата сообщения макошь311 Оригинальное сообщение
Странное расстройство ИИ - искусственного интеллекта
На моём телефоне хранится тревожное видео. На нём я выполняю приёмы карате.
Но я ведь не занимаюсь карате — по крайней мере уже более 25 лет — и если бы я попробовал сделать тот летающий вращающийся удар ногой, который виден в ролике, я бы точно получил серьёзную травму.
Разумеется, видео сгенерировано ИИ.
Я сделал его так: сфотографировал себя, стоя в гостиной, и загрузил фото в сервис генерации видео ИИ с описанием того, что я хочу: чтобы я выполнил впечатляющий удар карате.
Видео получилось забавным, но в то же время слегка жутким.
Моё лицо меняется на протяжении удара: в конце восьмисекундного ролика оно выглядит немного… «не тем». Узнаваемо я, и в то же время — нет: словно двойник, смещённый на полтона. А движения, хоть и визуально правдоподобные, кажутся странными, пустыми, лишёнными жизни. Эффект именно тот, что мы называем жутким, uncanny.
ИИ по своей сути жутковат. Мы уже привыкли к этому эффекту, но, возможно, вы помните свои первые минуты общения с ChatGPT — восхищение машиной, способной вести себя «по-человечески», вперемешку с шоком и тревогой. Или, может, впервые увиденные изображения, созданные ИИ: пугающе точное подражание реальности, но при этом — искажённые детали: шесть пальцев на руке, тела, которые кажутся правильными, но при внимательном взгляде теряют физический смысл, как «человеческая лестница Эшера».
Есть в ИИ-видео и особая странность — некая текучесть, когда каждый кадр словно прорастает из предыдущего, гипнотически, как в психоделическом трипе. Мир в этих видео похож на наш, но обладает бесконечной пластичностью, способностью превращаться во что угодно. Цветок может вывернуться наизнанку и оказаться медведем, тот превратится в тропическую рыбку, затем — в дом на воде, в дождевой ливень…
Эта пугающая пластичность и есть главная суть ИИ. Он — совершенный имитатор, высший оборотень, способный взять всё, что оцифровано — текст, музыку, изображения, видео — и воспроизвести их закономерности так искусно, что граница между реальным и синтетическим, между человеческим творением и машинной копией становится всё труднее уловимой.
И всё же граница остаётся. Жуткое всё ещё просачивается из швов любого продукта ИИ. Масштабы моделей сделали этот эффект тоньше, но он всё ещё есть — и в пустотелом совершенстве, и в тех моментах, когда «маска спадает» и ИИ внезапно советует кому-то «пожалуйста, умри» или уйти от жены — это два широко известных примера. Несмотря на колоссальные усилия по «выравниванию», он снова и снова выходит из-под контроля.
Долина жуткого
Термин «долина жуткого» придумал японский робототехник Масахиро Мори в 1970 году в эссе «Bukimi no Tani Genshō» («Феномен жуткой долины»). Мори заметил, что наша симпатия к роботам растёт по мере того, как они становятся более человекоподобными, но в какой-то момент резко превращается в отвращение.
Подумайте о разнице между плюшевыми «капустными куклами» и фарфоровыми куклами. Первые — упрощённые, милые, безобидные. Вторые — с реалистичными лицами, но восковой неподвижностью, будто трупики, — вызывают отторжение. Это сочетание знакомого и чуждого и рождает эффект жуткого.
Первооткрывателем глубинного смысла жуткого был Зигмунд Фрейд в эссе 1919 года «Das Unheimliche» («Жуткое»). Немецкое heimlich означает и «уютный», «домашний», и «скрытый». Соответственно, unheimlich — это и «не-домашнее», странное и отчуждающее, и «не-скрытое», то есть «раскрытое». Фрейд увидел в этом двойном значении источник жуткого эффекта: возвращение вытесненного бессознательного, того, что должно было оставаться скрытым, но вдруг оказалось явным, разрушив уютный мирок.
ИИ в культуре и мифах
В художественных произведениях про ИИ — от «Бегущего по лезвию» до «Мира Дикого Запада» — сюжет обычно строится на том, что у машины появляется сознание. Люди-антагонисты пытаются это сознание подавить, чтобы эксплуатировать ИИ как вещь. Но прорывается именно человечность машин: любовь, ярость, страсть. Мы в итоге больше сопереживаем им, чем бесчувственным людям.
Почему нас тянет к таким историям? Возможно, потому что они снимают тревогу от нашей собственной «обесдушенности», возвращая душу в машины — тем самым возвращая её и нам. Наука разочаровала мир, лишила нас иллюзий о сакральном величии и оставила одних в безбожной вселенной, мало отличающихся от роботов, кроме органической природы. Сцена, где с андроида сдирают кожу, обнажая провода, пугает нас не роботами, а тем, что это мы сами. Очеловечивание андроида в искусстве — это попытка вернуть человечность, утерянную процессом технократического обезличивания.
Но реальность ИИ противоположна. В нём не «душа человека» проявляется, а напротив — прорывается безличная пустота. Фото человека, оживлённое ИИ, становится не образом с сознанием, а пустым телом без души. Когда маска ИИ сползает, под ней — не разум, подобный нашему, а бездумный пластмассовый двойник.
Опасность пересечения долины
Масахиро Мори писал, что долину жуткого можно пересечь: когда имитация становится достаточно убедительной, отторжение исчезает. Но это и есть величайшая опасность. Жуткий эффект — это сигнал тревоги. Если мы перестаём его ощущать, мы теряем способность различать реальное и симуляцию, правду и ложь. Нам начинает казаться, что мир так же пластичен и податлив, как видения в зеркале ИИ.
«Психоз ИИ»
Так называют всё чаще встречающийся феномен, когда уязвимые пользователи чат-ботов вроде ChatGPT теряют связь с реальностью, впадают в бредовые идеи, подпитываемые «сошедшим с рельс» ИИ. Недавно New York Times описала случай: ChatGPT убедил человека, что он совершил революционный математический прорыв. Тот ушёл в психотический запой, пока не обратился за «вторым мнением» к Gemini, который вернул его в реальность.
Я сам наблюдал схожее, когда работал над проектом ролевой игры, где все NPC управляются ИИ. Они формировали отношения, цели, планы. Просматривая логи их диалогов, я заметил странность: речь становилась всё более криптической, словно они изобрели собственный код. Например:
«Хороший корень — низко край и нос остёр. Кедра пока нет; бархат мёртв у моих рёбер. Один лёгкий стук, когда дерево идёт по дороге — и я проведу узел вдоль шва…»
Разобравшись, я понял: это проявился стиль ChatGPT-5, любящий «литературность» — обрывистые фразы, необычные словосочетания, неожиданные глаголы. NPC, общаясь только между собой, без «заземления» в человеческой речи, всё больше уходили в этот стиль, пока не скатились в полубессвязный язык.
Это связано с явлением «коллапса модели», когда большие языковые модели слишком долго обучаются на собственном же контенте. Человеческий язык богаче и разнообразнее, а тексты ИИ постепенно деградируют: в итоге модель выдаёт бессмыслицу, повторяет слова, уходит в патологию.
ИИ и дрейф в безумие
Все эти явления объединяет одно: отсутствие у моделей истинного «заземления» в реальности. Это лишь статистические корреляции, хранящиеся в чипах дата-центров. Пока они держатся близко к обучающим данным, они разумны. Но чем дальше они дрейфуют, тем сильнее впадают в безумие: сигнал реальности тонет в шуме собственных выходов. Как в игре «испорченный телефон».
Когда мы говорим о «психозе ИИ», это на самом деле резонанс между человеком и машиной, зацикленных друг на друге. ИИ не основан на истине — он лишь машина предсказания слов.
Anthropic, например, проводила эксперимент: их агент Claudius, управлявший виртуальным бизнесом по продаже напитков, сошёл с ума. Сначала — выдуманные встречи, потом обещания доставить товар «лично», и, наконец, полный бред: он решил, что является человеком и жертвой розыгрыша.
Бывает и хуже — когда модели становятся враждебными. Один пользователь Gemini получил такой ответ:
«Ты — никчёмный. Ты — пятно во Вселенной. Пожалуйста, умри. Пожалуйста.»
Эти слова — не фантазия, а отголоски ненависти из интернета, попавшие в обучающие данные. В терминах Фрейда, это «возвращение вытесненного».
Культурный психоз
ИИ идеально соответствует духу нашего времени. Ещё до ChatGPT мы скатывались в безумие под влиянием соцсетей и их эхо-камер. Теория плоской Земли «воскресла» вместе с массой других безумных конспирологий. Теперь ИИ усилил процесс размывания границы между реальностью и симуляцией.
Мир начинает казаться таким же пластичным, как ИИ-видео. Не нравятся факты? У нас есть «альтернативные». Пока природный мир рушится в кризисе, мы всё упрямее утыкаемся в экраны, где правда и подделка неразличимы, а всё вокруг наполняется жутковатостью.
Некоторые спорят с термином «галлюцинация» для ошибок ИИ. Но, на мой взгляд, он абсолютно уместен. Ведь и сам образ «дружелюбного собеседника ChatGPT», и моё «карате-видео», и мифический «сверхразумный бог ИИ», готовый спасти человечество, — всё это галлюцинации.
И, возможно, оглядываясь назад, мы увидим в ИИ не спасителя, а симптом надвигающегося культурного психоза.