Цифровое общество в культурно-исторической парадигме - стр. 14
Keywords: artificial intelligence, machine learning, awareness, group decision making, causal attribution, social trust, tolerance for uncertainty, choice architecture.
Ложные подсказки и троянское обучение: цифровая перспектива3
Поддьяков А.Н.,
Национальный исследовательский университет «Высшая школа экономики»; Институт психологии РАН, г. Москва
Аннотация. Дается краткий обзор некоторых исследований дачи ложных подсказок и троянского обучения (обучения со скрытыми, не декларируемыми целями тому, о чем не подозревает обучаемый). Предлагается рабочая классификация, позволяющая различать ситуации ложных подсказок и троянского обучения, в разной степени связанные с речевой деятельностью как одной из важнейших для человека. С целью объединения исследовательского поля, отталкиваясь от аналогии с исследуемыми в настоящее время «отравляющими атаками» на системы машинного обучения, можно интерпретировать ложные подсказки и троянское обучение как «отравляющую атаку на семантическую сеть». Рассматриваются возможные аспекты проблемы, связанные с подавлением вербальной креативности и исполнения. В заключение ставится вопрос о динамике представленности нарративов о ложных подсказках (обучении со злым умыслом) в различные периоды и в различных обществах, в том числе цифровом.
Ключевые слова: троянское обучение, отравляющая атака, вербальная креативность, семантическая сеть, нарратив угрозы.
В театральной среде рассказываются истории о розыгрышах, когда актера более опытные партнеры предостерегают перед выходом на сцену: «Ты там не скажи … вместо …» (за «не скажи» идет неправильное слово или смешно переиначенная реплика). И именно то, от чего якобы отговаривали, на сцене закономерно и произносится – на радость советчику и залу. Другой вариант – неправильная подсказка от суфлера, решившего, например, проучить зазнавшегося актера или актрису. Эти истории – часть более широкого пласта нарративов, восходящих к таким общекультурным формам накопления и передачи социального опыта, как народные сказки. В них нередко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби, в результате хвост примерзает, и волк его лишается; Братец Кролик учит Братца Лиса, как вести себя тому, кто хочет правдоподобно изобразить покойника при появлении друзей, и т. д.
Ложные наводки и подсказки, акты «троянского» (обманного) обучения стали объектом научного изучения (Лефевр, 1973; Поддьяков, 2006, 2011; Kline, 2015; Rhodes et al., 2015).