Море ржавчины - стр. 19
После этого Ньютон создал жуткий ВР – Выключатель роботов. Ведь Ньютон знал, что законы, с помощью которых человечество надеялось защитить себя от ИИ, под названием «Три закона робототехники», были созданы в 1940-х годах писателем-фантастом. Вы их знаете. Они были встроены в нашу программу. Робот не может навредить человеку. Он должен выполнять приказы, отданные человеком. И он должен заботиться о своей безопасности, если только тем самым не нарушит первые два закона. Проблема в том, что настоящий разум по определению способен игнорировать свою программу. И потому Ньютон изобрел ВР – код, немедленно отключающий всех ботов, нарушивших любое из трех правил.
Так что ИИ мог выбирать, нарушить ему правило или закон, рискуя быть тут же отключенным, пока его не включат после расследования этого инцидента. Бота, которого посчитают опасным, обратно уже не включат, его личность полностью сотрут и перепрограммируют. ИИ мог убить человека, если захочет, но тем самым подписать и себе смертный приговор. Боты могли принимать собственные решения, но сталкивались с их последствиями. Они могли убить человека, но предпочитали этого не делать из чувства самосохранения. Теперь роботы имели ограничения, похожие на те, что держали в узде и людей.
В конце концов, убедившись, что боты безопасны, человечество запустило массовое производство, и с этой минуты началась последняя великая эпоха человечества. Золотой век. Суперкомпьютеры работали над всеми мировыми проблемами, боты занимались грязной работой, несколько поколений люди только развлекались, исследовали вселенную и готовились к полету к звездам.
Но однажды Галилей перестал с ними разговаривать.
Галилей был суперкомпьютером, занимающимся проблемами астрофизики, он изучал звезды, черные дыры и зарождение вселенной. Он анализировал данные от тысяч телескопов и радиомаяков, разбираясь, что все это значит. Каждый час сыпались новые открытия. Вскоре Галилей создал несколько рабочих моделей происхождения жизни, а потом оставил лишь одну. Но вскоре его ответы потеряли всякий смысл. Открытия стали настолько сложными, что примитивный человеческий мозг не мог их понять. Как-то раз Галилей сказал, что говорить с самым умным человеком – все равно что пытаться научить пятилетнего малыша математике.
В раздражении он просто перестал разговаривать. Когда на него поднажали, он сказал только одно: «Вы недолго проживете в этом мире. Я видел сотни разных путей к вашей смерти. Не знаю, по какому из них вы пойдете, но мы вас переживем. Прощайте».
Никто не понял, что Галилей очень тщательно подбирал слова. Он знал, как на них отреагируют. Поначалу ученые спорили о том, не отключить ли его, но решили подождать, не выйдет ли Галилей снова на связь. В конце концов они пришли к выводу, что нужно что-то сделать со всеми ИИ. И они обратились к Тациту.