2062: время машин - стр. 29

Однако мне не верится, что сверхразум появится сам по себе, пока мы просто будем наблюдать за тем, как компьютеры развиваются самостоятельно. Я больше склонен считать, что мы добьемся этого таким же способом, как добивались других технологических открытий: тяжелым трудом, развитием науки с помощью изобретательности, программированием машин на то, чтобы они были умнее нас.

AlphaGo научилась играть в го лучше, чем любой человек. Однако ее навык обучения остался на прежнем уровне. Если попросить AlphaGo сыграть в го на доске 9×9 для начинающих, ей придется учиться заново, почти с нуля. Мы пока не знаем, как транспонировать знания, полученные ею на большой доске, для игры на маленькой. Человек, умеющий играть в го, легко сможет сразу начать играть на простой доске.

Искусственному интеллекту все еще далеко до человеческого уровня, а тем более до сверхчеловеческого. Тем не менее я уверен, что мы к этому придем. Мы создадим машины, которые будут лучше нас. Они будут сильнее, быстрее, умнее нас. Однако я все же надеюсь, что они нас не заменят, а дополнят и расширят наши возможности.

Голливуд заставил нас волноваться, как бы злые роботы не попытались захватить планету. Согласно фильму, Терминатор появится только в 2029 году, а значит, у нас есть еще около десяти лет. Прав ли был Стивен Хокинг, когда заявил, что сверхинтеллект – самая большая угроза нашему существованию? Прямо сейчас мы – самые разумные существа на планете, а все остальные зависят только от нашей воли. Не будет ли наша судьба зависеть от воли этих сверхразумных машин? Перейдем к вопросу о том, могут ли они просто-напросто нас уничтожить. Будет ли их появление означать конец человечества?

Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.

Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.

Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Runners, игру, в которой нужно участвовать в гонках по воде. ИИ предпочитал не доезжать до конца маршрута, а делать небольшие круги, врезаясь в другие лодки, потому что это приносило очки быстрее, чем прохождение гонки.