Сегодня популярен "аргумент сингулярности", который утверждает, что когда ИИ  будет умнее любого человека, тогда люди потеряют свою значительность.И сама "сингулярность" фактически наступила...

Но сравнивается один ИИ с одним человеком. Человечество — это не один человек. Отдельный человек может быть медленнее, менее эрудированным и рациональным, чем будущий "сверхразум". Но сила человечества заключается не в совершенстве, а в том, что их миллиарды - независимых друг от друга.
 Миллиарды людей создают миллиарды разные модели реальности. Замечают разные детали, уклоняются в разные стороны и совершают разные ошибки. Иногда кто-то достаточно далеко отклоняется от принятого пути, чтобы обнаружить нечто новое.

ИИ оптимизируется в противоположном направлении: к наиболее вероятному, обоснованному и правильному ответу. Чем лучше он отбрасывает маловероятные объяснения, тем ближе он может приближается к интеллектуальному мейнстриму.

Представьте себе, что ИИ существовал бы до Эйнштейна. Обученный на всех общепринятых физических принципах до теории относительности. Столкнувшись с доказательствами, противоречащими ньютоновской механике, рациональным ответом было бы заподозрить ошибку измерения, недостающие переменные или неполные данные. Идея о том, что движение изменяет течение времени казалась бы абсурдной. Она слишком далеко от мэйнстрима.

Научные революции часто начинаются, когда кто-то перестаёт объяснять аномалию в рамках существующей модели и вместо этого ставит под сомнение саму модель.

Человеческие ошибки расширяют пространство возможных ответов. Стремление машины к корректности сужает его.

Сверхразум может превзойти каждого отдельного человека и всё равно не сможет заменить человечество, если останется одним совершенным разумом, а не совокупностью устойчивых, предвзятых и взаимно несогласных умов.

Один совершенный разум — это не цивилизация.

Сможет ли один сверхразум воспроизвести исследовательскую ценность миллиардов по-разному ошибающихся людей?