Совместимость. Как контролировать искусственный интеллект - стр. 7

Историю развития ИИ движет одно-единственное заклинание: «Чем интеллектуальнее, тем лучше». Я убежден, что это ошибка, и дело не в туманных опасениях, что нас превзойдут, а в самом нашем понимании интеллекта.

Понятие интеллекта является определяющим для нашего представления о самих себе – поэтому мы называем себя Homo sapiens, или «человек разумный». По прошествии двух с лишним тысяч лет самопознания мы пришли к пониманию интеллекта, которое может быть сведено к следующему утверждению:

Все прочие характеристики разумности – восприятие, мышление, обучение, изобретательство и т. д. – могут быть поняты через их вклад в нашу способность успешно действовать. С самого начала разработки ИИ интеллектуальность машин определялась аналогично:

Поскольку машины, в отличие от людей, не имеют собственных целей, мы говорим им, каких целей нужно достичь. Иными словами, мы строим оптимизирующие машины, ставим перед ними цели, и они принимаются за дело.

Этот общий подход не уникален для ИИ. Он снова и снова применяется в технологических и математических схемах нашего общества. В области теории управления, которая разрабатывает системы управления всем, от авиалайнеров до инсулиновых помп, работа системы заключается в минимизации функции издержек, обычно дающих некоторое отклонение от желаемого поведения. В сфере экономики механизмы политики призваны максимизировать пользу для индивидов, благосостояние групп и прибыль корпораций[9]. В исследовании операций, направлении, решающем комплексные логистические и производственные проблемы, решение максимизирует ожидаемую сумму вознаграждений во времени. Наконец, в статистике обучающиеся алгоритмы строятся с таким расчетом, чтобы минимизировать ожидаемую функцию потерь, определяющую стоимость ошибки прогноза.

Очевидно, эта общая схема, которую я буду называть стандартной моделью, широко распространена и чрезвычайно действенна. К сожалению, нам не нужны машины, интеллектуальные в рамках стандартной модели