Хронологии. Современные пророки. Т. 6 - стр. 19

Поскольку конструкция машин является одной из этих интеллектуальных задач, ультраинтеллектуальная машина могла бы разрабатывать еще лучшие машины; Тогда бесспорно был бы «взрыв разведки», и разум человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина является последним изобретением, которое человек должен когда-либо делать, при условии, что машина достаточно послушна, чтобы рассказать нам, как держать ее под контролем.

Писатели, такие как Бостром, используют термин суперинтеллекция вместо ультраинтеллектуала Гуда.

Следуя Вернору Винджу, идея Гуда о взрыве интеллекта стала связана с идеей «технологической сингулярности». Бостром и исследователи из MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, что суперинтеллекция «находится за углом».

Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности, утверждая, что прошлые предсказания прогресса ИИ не были надежными.

Степень надежности и толерантность к ошибкам в ИИ

Документ о приоритетах исследований Института Будущего Жизни (FLI) гласит:

Математические инструменты, такие как формальная логика, вероятность и теория принятия решений, дали значительное представление об основах рассуждений и принятия решений.

Однако в основе рассуждений и решений по-прежнему остается множество открытых проблем. Решения этих проблем могут сделать поведение очень способных систем намного более надежными и предсказуемыми. Примеры исследований в этой области включают рассуждения и решения в рамках ограниченных вычислительных ресурсов à la Horvitz and Russell, как учитывать корреляции между поведением AI-систем и поведением их окружения, агентов, как агенты, встроенные в их среду, или других детерминированных вычислений. Эти темы могут выиграть от совместного рассмотрения, поскольку они кажутся глубоко связанными

Стандартные процедуры принятия решения недостаточно точно определены (например, в отношении контрфактов), для того, чтобы быть оформленными как алгоритмы. Исследователь Machine Intelligence Research Institute Бенья Палленштейн и тогдашний исследователь Нейт Соареш пишут, что теория причинно-следственных решений «неустойчива при отражении» в том смысле, что рациональный агент, следующий за теорией причинно-следственных решений, «правильно идентифицирует, что агент должен изменить себя, чтобы прекратить использовать теорию причинно-следственных решений для принятия решений".

Исследователи идентифицируют «логические теории принятия решений» как альтернативы, которые лучше выполняют общие задачи принятия решений.