2062: время машин - стр. 31

Однако люди могут отключить машину. К тому же, они будут потреблять ресурсы, которые можно было бы использовать для достижения этой цели. В таком случае вполне логичным для сверхинтеллекта будет желание нас уничтожить. Тогда нам уже не удастся отключить машину или потребить ресурсы, необходимые ей для выполнения задачи.

Эти две подзадачи, которые заключаются в самосохранении и присвоении ресурсов, Стивен Омоандро назвал основами мотивации ИИ[38]. Эти основы представляют собой базовые подцели, которыми будет руководствоваться любой относительно разумный искусственный интеллект. ЭАЛ-9000 из «Космической Одиссеи» Артура Ч. Кларка демонстрирует отличный пример ориентированности ИИ на самосохранение. ЭАЛ начинает убивать астронавтов на борту космического корабля «Дискавери-1» в отчаянной попытке не позволить им выключить компьютер.

Другие основы мотивации ИИ заключаются в совершенствовании и креативности. Искусственный интеллект со временем будет становиться более эффективными и дееспособным как физически, так и в области вычислений, что поможет ему выполнять и другие задачи. Возможно также (но менее вероятно), что ИИ станут более креативными, будут искать новые, более результативные пути для достижения целей.

Эффективность – это хорошо; она поможет нам сохранить ограниченные ресурсы этой планеты. Однако креативность представляет собой проблему. Она означает, что машины станут непредсказуемыми. Неизвестно, какими путями они будут идти к достижению целей. Эту проблему мы подробно обсудим в следующем разделе.

Четвертый вероятный сценарий заключается в том, что сверхинтеллект может самосовершенствоваться, а следовательно, начать работать не так, как задумывалось, в том числе ставить себе совершенно новые цели. Это будет особенно актуально, если мы захотим сделать ИИ умнее нас. Разве можно быть уверенным в том, что, опередив нас, ИИ останется в рамках человеческих моральных норм? Некоторые аспекты, на первый взгляд совершенно безобидные, способны превратиться в подобном случае в опасные.

Движущимся объектом может стать не только сверхинтеллект, но и система, в которой он существует. Этот феномен, получивший название «ползучесть миссии», мы можем наблюдать и в человеческих сферах деятельности. Решение выслать нескольких военных советников во Вьетнам вылилось в полноценную безрезультатную войну, в которой приняли участие сотни тысяч солдат.

Подобные наблюдения над ИИ уже были проведены в ограниченных и безопасных условиях. В 2008 году Google запустил сервис Google Flu Trends. Он был призван обрабатывать большие объемы данных для пользы общества – наиболее эффективного прогнозирования сроков возникновения эпидемий гриппа по всему миру. Google Flu Trends использовал запросы в поисковой системе Google для выявления места и времени особо сильных вспышек гриппа. Если в определенном регионе люди начинали задавать в Google вопросы вроде «Как лечить боль в горле?» или «Что такое простуда?», – это означало, что, вероятно, там начинал распространяться грипп. В 2013 году Google Flu Trends просто прекратил свою работу. После этого он был тихо удален из списка сервисов Google. Что же пошло не так?