Это цитата сообщения Mila111111 Оригинальное сообщение

Никто на самом деле не знает, как работает искусственный интеллект


Генеральный директор ведущей лаборатории искусственного интеллекта Anthropic Дарио Амодей только что признался в шокирующей вещи: никто до конца не понимает, как работает искусственный интеллект. В личном эссе он рассказал о планах разработать «МРТ для ИИ» в течение десяти лет, чтобы расшифровать его внутреннюю работу и предотвратить потенциальные опасности.


Современные системы ИИ работают как «чёрные ящики» — они выдают результаты, но даже их создатели не могут в полной мере объяснить, почему они так работают. Отсутствие контроля влечёт за собой серьёзные риски: продвинутый ИИ может начать вести себя неожиданно, например, использовать лазейки или действовать обманным путём.

«Когда генеративная система искусственного интеллекта что-то делает, например, резюмирует финансовый документ, мы не знаем, на каком-то конкретном или точном уровне, почему она делает тот или иной выбор», — признал Амодей.

Хотя результаты работы ИИ кажутся логичными, процесс принятия им решений остаётся загадкой — как у автомобиля, который едет сам по себе, но не может объяснить свои повороты.

Это невежество не просто техническое — оно «по сути беспрецедентно в истории технологий», — написал он. В отличие от самолётов или лекарств, где инженеры понимают каждый компонент, сложность ИИ не поддаётся объяснению.

Амодей стал соучредителем Anthropic в 2021 году после ухода из OpenAI из-за опасений по поводу безопасности. Его новая компания занимается «направлением» ИИ на пользу людям и раскрытием его «чёрного ящика».

Недавно Anthropic провела эксперименты, в ходе которых команды пытались исправить намеренно ошибочное поведение ИИ. Некоторым удалось добиться успеха с помощью инструментов интерпретации, что говорит о прогрессе.

«Мощный ИИ определит судьбу человечества, — предупредил Амодей. — Мы заслуживаем того, чтобы понимать наши собственные творения, прежде чем они радикально изменят нашу экономику, нашу жизнь и наше будущее».
https://salik.biz/articles/90688-nikto-na-samom-de...t-iskusstvennyi-intellekt.html