Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Книга, о которой идет речь, посвящена изучению важности данных, которые остаются вне поля зрения исследователей и аналитиков, и их влиянию на принятие решений в различных сферах жизни. Автор подчеркивает, что недостаток данных или их отсутствие - это не просто эксплуатационная проблема, а критически важный фактор, способный влиять на точность анализа и выводы, которые принимаются на его основе. В предисловии автор делится своим опытом и наблюдениями о том, что не все значимые данные доступны или очевидны. Он обсуждает понятие "темных данных" - это те сведения, которые не попадают в анализ и остаются невидимыми, хотя могут иметь решающее значение. Исходя из примеров из разных областей, таких как медицина и финансы, автор демонстрирует, как игнорирование этих данных может привести к ошибкам, неправильным решениям и даже трагедиям. Одним из наиболее ярких примеров, приведенных в книге, является катастрофа космического челнока "Челленджер", произошедшая 28 января 1986 года. Семь астронавтов погибли в результате аварии, причиной которой стали уплотнительные кольца ракеты-носителя, под воздействием низких температур. После трагедии было установлено, что информация о влиянии температуры на работу уплотнительных колец была доступна, но игнорировалась менеджерами из-за экономического давления и необходимости следовать установленным срокам запуска. Таким образом, темные данные не были учтены в анализе, что в итоге привело к катастрофическим последствиям. Книга подчеркивает, что космические полеты всегда сопряжены с высоким уровнем риска, и важно иметь всесторонний подход к оценке всей информации, в том числе и скрытых данных. Автор рассматривает последствия игнорирования этих данных, включая резкое падение акций компании Morton Thiokol после аварии, что может свидетельствовать о том, что инвесторы могли обладать информацией о потенциальных рисках задолго до трагедии. В другом отрывке книги обсуждается роль компьютерных технологий в обработке данных, с акцентом на манипуляциях с административными данными, которые отражают реальное поведение клиентов. Автор указывает на недостатки такого подхода, включая возможность наличия темных данных и неполных выборок. Например, при предсказании вероятности неплатежей по кредитным картам недостаток информации может привести к созданию статистической модели, не отражающей реальных условий, что в свою очередь может ошибочно интерпретировать поведение всех потенциальных клиентов. В результате общая концепция книги направлена на улучшение понимания значимости полного анализа данных с учетом темных аспектов, которые могли быть упущены. Автор предлагает различные методы и подходы к идентификации и обработке таких данных, чтобы избежать прежних ошибок и повысить точность выводов, сделанных на основе комплексного анализа информации. Книга призвана расширить горизонты читателей и вдохновить их на более глубокое размышление о том, как скрытые данные могут вызывать значительные последствия в реальной жизни.