Что мы думаем о машинах, которые думают: Ведущие мировые ученые об искусственном интеллекте - стр. 15
Экологическая ниша для таких суперкомпьютеров уже есть. На самом деле среди них уже даже идет естественный отбор. Трейдинговые машины инвестиционных банков конкурируют между собой за серьезные деньги на мировых биржах, давно вытеснив из бизнеса внутридневных трейдеров-людей. По мере выхода компьютеров и алгоритмов за рамки финансовых расчетов машины в корпорациях будут принимать все больше и больше решений, пока наконец не получат власть над миром. Нельзя сказать, что это плохо, потому что машины будут играть по правилам нашего же капиталистического общества, создавать товары и совершать полезные для человечества открытия, оплачивая тем самым расходы на свою эксплуатацию. Разумные машины смогут заботиться о людях лучше, чем сами люди, и у них будет мотивация, чтобы так поступать, по крайней мере, какое-то время.
Компьютеры делятся знаниями куда легче, чем люди, и они способны удерживать это знание дольше, становясь мудрее нас. Многие прогрессивные компании уже узрели письмена на стене и потому зазывают к себе лучших выпускников-программистов, соблазняя их высокой зарплатой и самым современным «железом». Мир корпораций, управляемых сверхразумными машинами, для людей не будет сильно отличаться от нынешнего. Он просто станет лучше, там появятся более качественные и очень дешевые товары и услуги. В этом мире появится больше свободного времени у тех, кому оно нужно.
Конечно, первые сверхразумные машины, вероятно, будут принадлежать не корпорациям, а государствам. А это куда более опасный сценарий: национальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны. Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство – это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война. Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.
Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему. Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.