Убийственные большие данные. Как математика превратилась в оружие массового поражения - стр. 21
При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook, эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?
И здесь тоже модель LSI-R легко квалифицировать как один из видов ОМП. Люди, которые создали этот алгоритм оценки в 1990-е годы, несомненно, рассматривали его как орудие правосудия, укрепляющее эффективность юридической системы. Кроме того, этот алгоритм может помочь правонарушителям, не предоставляющим большой угрозы, получить более легкие приговоры. Это можно перевести в большее количество лет свободы для них и огромную экономию для американских налогоплательщиков, которые оплачивают ежегодный тюремный счет в 70 миллиардов долларов. Однако поскольку анкета делает заключение об осужденном на основании пунктов, которые нельзя предъявить как свидетельства на суде, она несправедлива. И пусть она многим принесет пользу, другие от нее пострадают.
Ключевой компонент этого страдания – губительная петля обратной связи. Как мы уже увидели, модели вынесения приговоров, которые оценивают человека по его или ее личным обстоятельствам, помогают создать окружение, которое оправдывает эти допущения. Эта деструктивная петля продолжает затягиваться, в результате модель становится все более несправедливой.
Третий вопрос – есть ли у модели потенциал экспоненциального роста? Как спросил бы специалист по статистике, может ли она масштабироваться? Это может показаться праздной математической задачкой, но масштаб – именно то, что превращает ОМП из местных неприятностей в настоящее цунами, которое будет влиять на нашу жизнь и определять ее границы. Как мы увидим, развитие ОМП в сферах человеческих ресурсов, здравоохранения и банковского дела (и список этим далеко не ограничивается) быстро расширяет границы, в которых к нам применяется сила, очень похожая на неумолимую мощь закона. Если, к примеру, банковская модель отнесет вас в группу заемщиков высокого риска, то мир будет относиться к вам именно так – как к безнадежному неудачнику, даже если в модель вкралась ошибка. А когда эта модель масштабируется, как это уже случилось с кредитной моделью, она начинает оказывать влияние на всю вашу жизнь – удастся ли вам купить хороший дом, найти хорошую работу или приобрести хорошую машину, чтобы до этой самой работы добираться.