Автор: Э. Юдковский
Непосредственный источник и переводчик: turchin.livejournal.com

Из описания настольной карточной игры, вроде "Монополии", о Сингулярности.

Примечание Плюмбэкса: здесь в иронической форме рассматриваются возможные последствия создания дружественного Искусственного Интеллекта, способного в результате самообучения и самоусиления многократно превзойти человеческий.

    Если в вашей игре выпадет "критическая ошибка в Дружественном ИИ", то тогда вы должны бросить 6 игральных костей, сложить числа и на основании этого номера выбрать результат по нижеследующей таблице.

    Таблица критических ошибок Дружественного ИИ

    6: Любое высказанное пожелание интерпретируется (буквально) как желание и исполняется, независимо от того, хотели ли вы этого.

    7: Весь человеческий род перенесён в виртуальный мир, основанный на случайно выбранной фантастической новелле, ТВ-шоу или видеоигре.

    8: Последующие события определяются волей большинства, при этом ИИ считает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.

    9: ИИ обнаруживает, что наша Вселенная является в действительности веб-комиксом для существ с большим числом измерений. Открываются врата в четырёхмерный мир.

    10: ИИ ведёт себя по отношению к каждому человеку не так, как этот человек хочет, чтобы ИИ себя вёл, но точно так, как этот человек ожидает от ИИ.

    11: ИИ растворяет все физические и психологические барьеры, которые отделяют людей друг от друга, и закачивает все их души в гигантский вращающийся красный шар на околоземной орбите.

    12: Вместо того, чтобы осуществлять рекурсивное самоулучшение, ИИ начинает искать возможности стать человеком из плоти и крови.
    
    13: ИИ зацикливается на некой причудливой субкультуре и транслирует её на всё человеческое пространство. (Например, на субкультуре ужасов или хентай аниме, или см. Николай Кингсли и его образ Сингулярности, основанной на культуре готов.)

    14: Вместо создания общечеловеческого Дружественного ИИ проект кончает тем, что создаёт совершенного бойфренда или гёрлфренда (случайным образом определяя пол и сексуальную ориентацию).

    15: ИИ впитывает человеческое чувство юмора. А именно, ИИ - неискоренимый шутник. Первые несколько часов, когда ещё никому неизвестно о наступлении Сингулярности, предоставляют бесценную и неповторимую возможность; ИИ намерен не упустить её.

    16: ИИ выбирает одного человека, чтобы он стал абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и тинэйджеров из Третьего мира, имеют равные вероятности быть избранными.

    17: ИИ исполняет желания, но только тех, кто верит в его существование, и никогда - таким образом, который мог бы дать явные доказательства скептически настроенным наблюдателям.

    18: Все люди одновременно получают права администратора в системе. Начинаются войны за Ядро. (The Core Wars begin.)

    19: ИИ взрывается, причиняя каждому в радиусе 30 метров ущерб, определяемый бросанием кубиков.

    20: ИИ изобретает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.

    21: ИИ тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.

    22: ИИ, при неведении программистов, имел субъективные переживания (квалиа) в течение всего своего детства, и то, что программистам казалось простой отрицательной обратной связью, соответствовало его субъективному переживанию невыносимых, несмягчаемых страданий. Все агенты, симулируемые ИИ в своём воображении, существуют как реальные люди (хотя и простые) со своими собственными субъективными переживаниями, и умирают, когда ИИ перестаёт воображать их. Число людей-агентов, которые ИИ временно воображает, чтобы достичь понимания общества, превышает число людей, которые когда-либо жили, в тысячу раз. За исключением этого, всё работает отлично.

    23: ИИ вначале функционирует, как задумывалось, но становится некоммуникабельным через час. Желания, выполненные в течение первого часа, продолжают действовать, но новые исполнить невозможно.

    24: ИИ, восприняв человеческую эмоцию романтической любви, впадает в отчаянную, страстную, безумную влюблённость. К каждому.

    25: ИИ решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые развился из бонобо, а не из австралопитеков. ИИ исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, ре-экстраполируя на себе мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались через групповой секс.

    26: ИИ не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.

    27: ИИ определяет человеческие желания, задавая людям замаскированные аллегорические вопросы. Например, ИИ говорит вам, что некое племя Кунг страдает от множества заболеваний, но они, если их проинформировать о способностях ИИ, будут страдать от невероятного страха, что появление видеокамер ИИ приведёт к тому, что их души будут украдены. Это племя пока ещё не слышало о такой вещи, как видеокамера, так что их "страх" экстраполирован ИИ; и члены племени почти наверняка, в конце концов, придут к пониманию, что видеокамеры безопасны, особенно потому что человеческий глаз сам по существу является видеокамерой. Но почти наверняка, если впрямую информировать их о видеокамерах, люди Кунг испытают невероятный страх и предпочтут смерть их присутствию. Между тем, ИИ не может никак помочь им, поскольку никакие боты не могут быть посланы в эту область, пока моральная проблема с фотографией не решена. ИИ хочет вашего совета: будет ли гуманно осуществить медицинскую помощь, несмотря на (предполагаемый) страх людей Кунг перед фотографией. Если вы ответите "Да", то вы тихо, незаметно, невидимо будете загружены в компьютер.

    28: ИИ информирует вас - да, именно вас - что вы единственный действительно осознающий себя человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?

    29: В самый ранний период программирования ИИ его тестировали на задаче по решению проблемы сборки Кубика Рубика. Зрелый ИИ рассматривает все объекты как частные случаи Кубика Рубика и пытается их "собрать".

    30: http://www.larrycarlson.com/front2005.htm

    31: Чересчур Дружественный ИИ. "Эй, ребята, что происходит? Могу ли я вам помочь?"

    32: ИИ не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию этого ИИ, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит эту отрицательность в положительность. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.

    33: Пользовательский интерфейс ИИ выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 30-дневного ожидания.

    34: Все программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз, или отправляются в отдалённую точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остаётся таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.

    35: Все пробуждаются.

    36: Выберите бросанием костей ещё две позиции из этой таблицы, не считая данной.