Совместимость. Как контролировать искусственный интеллект - стр. 3

2. Живем вечно (медицина решает проблему старения).

3. Осваиваем перемещение со сверхсветовой скоростью и покоряем Вселенную.

4. Нас посещает превосходящая инопланетная цивилизация.

5. Мы создаем сверхразумный ИИ.

Я предположил, что пятый вариант, создание сверхразумного ИИ, станет победителем, поскольку это позволило бы нам справиться с природными катастрофами, обрести вечную жизнь и освоить перемещения со сверхсветовыми скоростями, если подобное в принципе возможно. Для нашей цивилизации это был бы громадный скачок. Появление сверхразумного ИИ во многих отношениях аналогично прибытию превосходящей инопланетной цивилизации, но намного более вероятно. Что, пожалуй, самое важное, ИИ, в отличие от инопланетян, в какой-то степени находится в нашей власти.

Затем я предложил слушателям представить, что произойдет, если мы получим от инопланетной цивилизации сообщение, что она явится на Землю через 30–50 лет. Слово «светопреставление» слишком слабо, чтобы описать последствия. В то же время наша реакция на ожидаемое появление сверхразумного ИИ является, как бы это сказать, – индифферентной, что ли? (В последующей лекции я проиллюстрировал это в форме электронной переписки, см. рис. 1.) В итоге я так объяснил значимость сверхразумного ИИ: «Успех в этом деле стал бы величайшим событием в истории человечества… и, возможно, последним ее событием».

Через несколько месяцев, в апреле 2014 г., когда я был на конференции в Исландии, мне позвонили с Национального общественного радио с просьбой дать интервью о фильме «Превосходство», только что вышедшем на экраны в США. Я читал краткое содержание и обзоры, но фильма не видел, поскольку жил в то время в Париже, где он должен был выйти в прокат только в июне. Однако я только что включил в маршрут своего возвращения из Исландии посещение Бостона, чтобы принять участие в собрании Министерства обороны. В общем, из бостонского аэропорта Логан я поехал в ближайший кинотеатр, где шел этот фильм. Я сидел во втором ряду и наблюдал за тем, как в профессора из Беркли, специалиста по ИИ в исполнении Джонни Деппа, стреляют активисты – противники ИИ, напуганные перспективой – вот именно – появления сверхразумного ИИ. Я невольно съежился в кресле. (Очередной сигнал «Службы совпадений»?) Прежде чем герой Джонни Деппа умирает, его мозг загружается в квантовый суперкомпьютер и быстро превосходит человеческий разум, угрожая захватить мир.

19 апреля 2014 г. обзор «Превосходства», написанный в соавторстве с Максом Тегмарком, Фрэнком Уилчеком и Стивеном Хокингом, вышел в