2062: время машин - стр. 30

Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.

Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?

Второй возможный вариант заключается в том, что, даже если цели сформулированы правильно, остается риск непредсказуемых побочных эффектов, которые могут навредить человеку. Любой, кто когда-либо отлаживал компьютерный код, знает, как раздражающе буквально машины воспринимают инструкции. Этот риск исследован в известном мысленном эксперименте, предложенном Ником Бостромом.

Допустим, мы создадим сверхразумную машину и поставим перед ней задачу сделать столько скрепок, сколько возможно. Поскольку машину наделят сверхинтеллектом, она будет очень хорошо выполнять эту задачу. Она начнет строить все больше заводов по производству скрепок. В конце концов весь мир будет производить только их. Машина в точности выполнит ту задачу, которую перед ней поставили, но для человечества это будет иметь не самые желательные последствия.

Бостром, конечно, всерьез не верит, что мы дадим компьютеру подобные указания, учитывая то, что нам известны все риски. Этот пример был избран им лишь для того, чтобы показать, что даже такая обыкновенная и безвредная задача может быть выполнена совершенно неожиданным образом.

Так же, как и аналогия с царем Мидасом, пример со скрепками демонстрирует неспособность машины принимать правильные решения самостоятельно. Разве не должен компьютер понимать, что не стоит так буквально воспринимать поставленную задачу? Да, создай большое количество скрепок, но не ценой окружающей среды и уж точно не ценой человечества.

Третий вариант – это появление у машины таких подзадач, которые противоречат существованию человечества. Предположим, перед ней поставили цель сделать людей счастливее или защитить планету. Почти любая подобная задача потребует от сверхинтеллекта наличия ресурсов, позволяющих ее выполнить. Также она потребует того, чтобы компьютеру ничто не помешало достигнуть поставленной цели.