Cogito ergo sim, или Мыслю, значит, симулируюсь (научная версия) - стр. 2
Но теперь, когда этот момент, возможно, наступил, Данте почувствовал не триумф, а странную тревогу.
– Нужно провести тест, – сказал он наконец. – Но не обычный тест разумности искусственного агента. Что-то более… фундаментальное.
Он вызвал к себе Эриха Штайна, философа команды, специализирующегося на проблемах сознания и этике искусственного интеллекта.
– Эрих, нам нужен эксперимент, который покажет, способен ли агент к подлинному моральному выбору, – объяснил Данте ситуацию. – Что-то, что требует не вычисления оптимального решения, а настоящего этического размышления.
Эрих задумался, поглаживая окладистую бороду.
– Классическая проблема вагонетки слишком проста, – сказал он. – Нужно что-то, что требует понимания природы морального агентства самого по себе.
Они работали над задачей несколько часов, пока не создали сценарий, который казался подходящим.
В симуляции Теодор получил возможность спасти жизнь умирающего ребёнка, но только ценой раскрытия тайны, которая разрушила бы веру всего его народа в их богов и смысл существования. Дилемма была сконструирована так, что любое решение, основанное на простом утилитарном расчёте, приводило к равно неприемлемым последствиям.
– Запускаем, – сказал Данте.
Они наблюдали, как Теодор столкнулся с выбором. Сначала агент пытался найти третий путь, обойти дилемму. Но сценарий был построен так, что такой возможности не существовало.
Затем произошло нечто удивительное.
Теодор Философ остановился в своих размышлениях и произнёс вслух: «Если я действительно должен выбирать между этими путями, то я должен понять, кто я такой, чтобы делать такой выбор. Имею ли я право решать за других? И если имею, то откуда это право берётся?»
– Он вопрошает о природе морального агентства, – сказал Эрих. – Я вижу, что это даже не попытка решения дилеммы. Это философская рефлексия над собственным статусом как морального субъекта.
Данте наблюдал, как Теодор продолжал размышлять. Агент пришёл к выводу, что если он способен задаваться вопросом о своём праве на выбор, то он уже является моральным агентом. А значит, несёт ответственность за свои решения.
В итоге Теодор выбрал спасение ребёнка, но не потому, что это было «правильным» решением в утилитарном смысле. Он выбрал это потому, что, как он сказал, «я не могу жить в согласии с самим собой, зная, что позволил умереть тому, кого мог спасти, даже если это причинит страдания другим».
– «Не могу жить в согласии с самим собой», – повторил Данте. – Он говорит о собственной идентичности как о чём-то, что может быть повреждено неправильным выбором.