Главнейшим фактором развития в XXI веке станет наше взаимодействие с техникой. То, каким образом мы сумеем ограничить ее потенциально неограниченное могущество, определит характер нашего развития как минимум на тысячелетие. К примеру, хотим ли мы, чтобы машины чувствовали боль? Если мы наделим машины фундаментальной способностью к переживанию и пониманию, они, конечно же, должны будут испытывать удовольствие и боль.

Данная идея сразу вызывает в памяти суперкомпьютер HAL в «Космической одиссее: 2001». Это очень сложный вопрос, который практически невозможно решить только частично. Если машины будут наделены пониманием различия между жизнью и смертью – роботы-солдаты и роботы-хирурги, например, – они должны будут уметь отличать плохое от хорошего. И здесь не может быть половинчатых решений. Нельзя наделить машину лишь незначительным эмоциональным пониманием. Если вы хотите, чтобы машина была способна испытывать гордость – довольно сложное чувство, – необходимо прежде наделить ее способностью испытывать счастье и желание. А чтобы ощущение счастья было полноценным, необходимо уметь чувствовать печаль. Но не получим ли мы в результате еще один HAL – машину, которая настолько запутывается в собственных «эмоциях», что уже не может нормально функционировать?
Одна из важнейших характеристик механизмов в настоящее время – их неспособность думать. Они просто делают то, что от них требуется, что предоставляет людям свободу эмпатии, воображения, творчества и интеллектуальной деятельности. По крайней мере, что-то подобное твержу я себе перед сном, чтобы спать спокойнее.