Как работает мозг - стр. 15
Первая модель, «Самаритянин-1», прыгала за борт с величайшей охотой, но прыгала ради спасения любого предмета, оказавшегося рядом с ней на плоту, от чугунной болванки до мешка мокрых водорослей. После многонедельных жарких препирательств Мак-Интош согласился, что недескриминированная реакция – явление нежелательное, забросил «Самаритянина-1» и сконструировал «Самаритянина-2», который жертвовал собою ради организма хотя бы уж не менее сложного, чем он сам.
Плот замер, медленно раскручиваясь в нескольких метрах над водой.
– Пошел! – крикнул Мак-Интош.
Плот ударился о воду с отрывистым всплеском, похожим на выстрел. Синсон и «Самаритянин» не дрогнули. Постепенно плот выровнялся, его начали захлестывать небольшие волны. Вдруг «Самаритянин» подался вперед и ухватил Синсона за голову. Четырьмя экономными движениями он измерил габариты Синсонова черепа, затем помедлил, вычисляя. Наконец, после заключительного щелчка, автомат боком скатился с края плота и без колебаний затонул на дне резервуара[3].
Однако по мере того, как роботы модели «Самаритянин-2» начинают вести себя как описываемый в книгах по философии моральный агент, становится все менее и менее очевидным, что они вообще обладают моралью. Мак-Интош так объясняет, почему он не привязывает канат к готовому пожертвовать собой роботу, чтобы его было легче достать со дна: «Он не должен знать, что его спасут. Иначе решимости жертвовать собой грош цена Поэтому время от времени я кого-нибудь не выуживаю, оставляю на дне. Надо же показать остальным, что я не расположен шутки шутить. Двоих уже списал на этой неделе». Попытки разобраться, как запрограммировать робота быть хорошим, показывают не только, какой сложный для этого требуется механизм, но и как сложно вообще определить само понятие добродетели.
А как же мотив, который заботит людей больше всего остального? Поп-культура 1960-х подарила нам образ мягкосердечных компьютеров, которых привлекает отнюдь не тщеславие и жажда власти, как видно из шутливой песни Аллана Шермана «Автоматы» (Automation), исполнявшейся на мотив Fascination: