Сегодня популярен "аргумент сингулярности", который утверждает, что когда ИИ будет умнее любого человека, тогда люди потеряют свою значительность. Сингулярность - это такая точка развития точка, в которой старые законы развития перестают работать. И она наступила...
Но сравнивается один ИИ с одним человеком. Человечество — это не один человек. Отдельный человек может быть медленнее, менее эрудированным и рациональным, чем будущий "сверхразум". Но сила человечества заключается не в совершенстве, а в том, что их миллиарды - независимых друг от друга.
Миллиарды людей создают миллиарды моделей реальности. Замечают разные детали, уклоняются в разные стороны, совершают разные ошибки. Иногда кто-то достаточно далеко отклоняется от принятого пути, и... обнаруживает нечто значительное.
ИИ оптимизируется в противоположном направлении: к наиболее вероятному, обоснованному и правильному ответу. Чем лучше он отбрасывает маловероятные объяснения, тем ближе он приближается к интеллектуальному мейнстриму.
Представьте себе, что ИИ существовал бы до Эйнштейна. Обученный на всех общепринятых физических принципах до теории относительности. Столкнувшись с доказательствами, противоречащими ньютоновской механике, рациональным ответом было бы заподозрить ошибку измерения, недостающие переменные или неполные данные. Идея о том, что движение изменяет течение времени казалась бы абсурдной. Она слишком далеко от мэйнстрима.
Человеческие ошибки расширяют пространство возможных ответов. Стремление машины к корректности сужает его.
Сверхразум может превзойти каждого отдельного человека и всё равно не сможет заменить человечество, если останется одним совершенным разумом, а не совокупностью устойчивых, предвзятых и взаимно несогласных умов.
Один совершенный разум — это не цивилизация.
Сможет ли сверхразум воспроизвести исследовательский вклад миллиардов по-разному ошибающихся людей?