2062: время машин - стр. 32

Проблема состояла в том, что поиск Google (как и человеческая экосистема, внутри которой он оперирует) – подвижный объект. Часть его улучшений заключалась в том, что Google стал предлагать варианты запросов еще до того, как человек заканчивал печатать. Эти улучшения изменили сам процесс поиска, а потому помешали работе Google Flu Trends. Сделав поиск Google удобнее, мы усложнили процесс прогнозирования эпидемий гриппа.

Пятый вариант – это возможное безразличие ИИ к нам, подобное нашему безразличию к менее разумным формам жизни. При строительстве нового завода никто особенно не интересуется судьбой колонии муравьев, которая располагается на этом месте. Мы не стали бы изо всех сил стараться извести муравьев, но так вышло, что они живут там, где должна быть построена фабрика. Точно так же сверхинтеллект может не интересоваться нашим существованием. Если вдруг мы окажемся у него на пути, он просто нас устранит. Он ничего не имеет против нас – мы всего лишь сопутствующий ущерб.

Опасность такого безразличия возможна при условии, что ИИ не будет от нас зависеть. Мы можем уничтожить колонию муравьев не задумываясь, потому что, скорее всего, это не будет иметь никаких серьезных последствий. Однако уничтожение человечества вполне может привести к таким побочным эффектам, которые не очень выгодны для самого ИИ. Кто поддерживает инфраструктуру, которой он пользуется? Кто обеспечивает работу облачных серверов? Функционирование интернета, соединяющего серверы? Если выполнение этих задач все еще останется за нами, то ИИ не будет к нам безразличен.

Точно так же безразличие сверхинтеллекта к людям исключает возможность того, что он будет покровительствовать нам. Вообще говоря, «покровительствовать» – не самое удачное слово. С одной стороны, с позиции превосходящего интеллекта он может относиться к нам как к детям, которых необходимо опекать. С другой стороны, мы ведь будем его «родителями», которых также нужно опекать в качестве благодарности за то, что мы подарили ему жизнь. Обе стороны этой медали – причины, по которым ИИ вряд ли будет к нам безразличен.

Все эти экзистенциальные риски основываются отчасти на том, что сверхинтеллект будет очень быстро развиваться. В этом случае у нас останется мало шансов распознать угрозу заранее и предотвратить ее. Однако, как мы убедились, есть множество причин верить, что технологическая сингулярность никогда не случится. Если всё действительно так, то ИИ будет развиваться медленно. Мы начнем постепенно создавать все более продвинутые системы. Большинство моих коллег уверены, что до появления сверхинтеллекта у нас еще есть десятки лет, если не века; если они правы, то нам хватит времени подготовиться.