НеВенец творения. Всё, что вы боитесь знать о будущем - стр. 68
Она считает, что автономные роботы-убийцы, не управляемые человеком, должны быть запрещены международным договором наподобие тех, которые запрещают химическое или биологическое оружие: «Вероятность катастрофы прямо пропорциональна тому, сколько этих машин будет находиться одновременно в конкретном районе… Может случиться все что угодно, если роботы начнут вести себя неожиданным образом. Поэтому любые передовые системы вооружений должны полностью контролироваться человеком, в противном случае они должны быть запрещены, потому что слишком непредсказуемы и опасны».
Очень хочется надеяться, что такие боевые системы все-таки не будут полностью автономными. Ведь любое вторжение кибертеррористов в системы принятия решений АБС может привести к поистине катастрофическим последствиям – тем более что сетевые злоумышленники с усилением темпов технологического прогресса тоже прогрессируют. В 2019 году на одной из конференций хакеров была продемонстрирована программа, которую было возможно настроить так, чтобы она самостоятельно генерировала вредоносное (вирусное) программное обеспечение.
Программе было достаточно потренироваться на стандартной платформе для обучения искусственного интеллекта Open AI Gym, чтобы довольно быстро научиться прятать вредоносное программное обеспечение от систем защиты. Каким образом? Все оказалось банально и просто: антивирусные системы просто не могли распознать угрозу, настолько успешно алгоритм имитировал нормальное поведение, мимикрируя под обычные, часто используемые пользователем программы.
А ведь если такого рода технологии будут доработаны злоумышленниками и станут широко распространены, это позволит искусственному интеллекту и стоящим за ним хакерам наносить компьютерам пользователей и даже объектам государственной инфраструктуры максимальный урон при минимальных рисках быть обнаруженными. Не хочется даже представлять себе, что в этом случае могут натворить взломанные кибертеррористами Автономные Боевые Системы.
Впрочем, бывает, что искусственный интеллект может наломать дров и самостоятельно, без участия всяких «сетевых злоумышленников». Например, в судебных процессах.
Многие читатели наверняка знают, что нейросети уже несколько лет используются для анализа дел и вынесения рекомендаций (правда, пока необязательных к исполнению) судьям в Соединенных Штатах Америки. Гораздо менее известен другой факт. В 2018 году более 100 общественных и правозащитных организаций США выступили категорически против использования искусственного интеллекта в уголовных судебных процессах. Оказалось, что алгоритмы, изучая дела и характеристики подсудимых в рамках так называемой «оценки рисков», слишком большое значение уделяют социальному происхождению и жизненной истории обвиняемого.