Война и еще 25 сценариев конца света - стр. 40
Интересны реплики комментаторов к этой статье:
«Система ИИ, созданная, чтобы симулировать атакующих/защищающихся в наступательной/оборонительной кибервойне – это система, которая, когда она достигнет успеха, будет обладать потенциалом покинуть лабораторию и проявить себя во внешнем мире, с помощью или без помощи своих создателей» и «30 млрд. долларов… на эти деньги можно обеспечить базовую медицину в целой стране или ликвидировать последствия урагана, и все еще останется на проекты по лечению рака… Но нет, давайте строить Skynet».
И суть дела даже не в том, что если имеется так много проектов, то хоть один из них добьется успеха (первым), а в том, что объем открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдет мощный скачок.
С точки зрения риска, создаваемого ИИ, наиболее опасен сценарий, когда после открытия главного принципа мощность ИИ начнет лавинообразно расти. Она может расти как за счет резкого увеличения инвестиций в успешный проект, так и за счет того, что ИИ может начать прямо или косвенно способствовать своему росту или использоваться для этого.
Косвенное применение ИИ означает его использование, например, чтобы зарабатывать деньги на электронной бирже и затем закупать на них дополнительное оборудование, прямое – использование ИИ для разработки еще более эффективных алгоритмов ИИ. Отсюда можно заключить, что вряд ли мощность ИИ надолго задержится на человеческом уровне. Нетрудно привести массу примеров из истории науки и техники, когда обнаружение одного принципа или нового явления приводило к тому, что оно усиливалось в сотни или даже миллионы раз в течение короткого срока. Например, так было при разработке ядерного оружия, когда от открытия цепной реакции урана до создания бомбы прошло всего шесть лет.
Для любой группы исследователей, создавших сильный ИИ, будет понятно, что они создали абсолютное оружие, поскольку сильный ИИ можно использовать для того, чтобы установить власть над миром. Рассуждая на эту тему, мы вступаем на крайне зыбкую и непредсказуемую почву, поскольку принципиально невозможно сказать, что именно будет делать ум, превосходящий человеческий.
Можно набросать несколько сценариев или направлений применения ИИ для глобальной атаки.
Во-первых, для сильного ИИ не составит труда взять под свой контроль любые управляемые компьютером системы и весь Интернет.
Во-вторых, ИИ может создать собственную производственную инфраструктуру, то есть механизмы влияния на мир. Одним из вариантов такой инфраструктуры мог бы быть решительный прорыв в нанотехнологиях. Мощный ИИ мог бы разработать бесконечно более эффективные конструкции молекулярных производителей, основанных, например, на биологических схемах.