Наука о данных. Базовый курс

Джон Келлехер, Брендан Тирни

Наука о данных. Базовый курс

Переводчик Михаил Белоголовский

Научный редактор Заур Мамедьяров

Главный редактор С. Турко

Руководитель проекта А. Василенко

Корректоры Е. Аксенова, Т. Редькина

Компьютерная верстка А. Абрамов

Художественное оформление и макет Ю. Буга

Иллюстрация на обложке shutterstock.com

Права на публикацию на русском языке получены при содействии Агентства Александра Корженевского (Москва).

© 2018 Massachusetts Institute of Technology

© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2020

© Электронное издание. ООО «Альпина Диджитал», 2020

* * *

Предисловие

Цель науки о данных — улучшить процесс принятия решений, основывая их на более глубоком понимании ситуации с помощью анализа больших наборов данных. Как область деятельности наука о данных включает в себя ряд принципов, методов постановки задач, алгоритмов и процессов для выявления скрытых полезных закономерностей в больших наборах данных. Она тесно связана с глубинным анализом данных и машинным обучением, но имеет более широкий охват. Сегодня наука о данных управляет принятием решений практически во всех сферах современного общества. В повседневной жизни вы ощущаете на себе воздействие науки о данных, когда видите отобранные специально для вас рекламные объявления, рекомендованные фильмы и книги, ссылки на предполагаемых друзей, отфильтрованные письма в папке со спамом, персональные предложения от мобильных операторов и страховых компаний. Она влияет на порядок переключения и длительность сигналов светофоров в вашем районе, на то, как были созданы новые лекарства, продающиеся в аптеке, и то, как полиция вычисляет, где может потребоваться ее присутствие.

Рост использования науки о данных в обществе обусловлен появлением больших данных и социальных сетей, увеличением вычислительной мощности, уменьшением размеров носителей компьютерной памяти и разработкой более эффективных методов анализа и моделирования данных, таких как глубокое обучение. Вместе эти факторы означают, что сейчас процесс сбора, хранения и обработки данных стал как никогда ранее доступен для организаций. В то же время эти технические новшества и растущее применение науки о данных означают, что этические проблемы, связанные с использованием данных и личной конфиденциальностью, тоже вышли на первый план. Цель этой книги — познакомить с наукой о данных на уровне ее основных элементов и с той степенью погружения, которая обеспечит принципиальное понимание вопроса.

Глава 1 очерчивает область науки о данных и дает краткую историю ее становления и эволюции. В ней мы также рассмотрим, почему наука о данных стала такой востребованной сегодня, и перечислим факторы, стимулирующие ее внедрение. В конце главы мы развенчаем несколько мифов, связанных с темой книги. Глава 2 вводит фундаментальные понятия, относящиеся к данным. В ней также описаны стандартные этапы проекта: понимание бизнес-целей, начальное изучение данных, подготовка данных, моделирование, оценка и внедрение. Глава 3 посвящена инфраструктуре данных и проблемам, связанным с большими данными и их интеграцией из нескольких источников. Одна из таких типичных проблем заключается в том, что данные в базах и хранилищах находятся на одних серверах, а анализируются на других. Поэтому колоссальное время тратится на перемещение больших наборов данных между этими серверами. Глава 3 начинается с описания типичной инфраструктуры науки о данных для организации и некоторых свежих решений проблемы перемещения больших наборов данных, а именно: метода машинного обучения в базе данных, использования Hadoop для хранения и обработки данных, а также разработки гибридных систем, в которых органично сочетаются традиционное программное обеспечение баз данных и решения, подобные Hadoop. Глава завершается описанием проблем, связанных с интеграцией данных в единое представление для последующего машинного обучения. Глава 4 знакомит читателя с машинным обучением и объясняет некоторые из наиболее популярных алгоритмов и моделей, включая нейронные сети, глубокое обучение и деревья решений. В главе 5 основное внимание уделяется использованию опыта в области машинного обучения для решения реальных задач, приводятся примеры анализа стандартных бизнес-проблем и того, как они могут быть решены с помощью машинного обучения. В главе 6 рассматриваются этические вопросы науки о данных, последние разработки в области регулирования и некоторые из новых вычислительных методов защиты конфиденциальности в процессе обработки данных. Наконец, в главе 7 описаны сферы, на которые наука о данных окажет наибольшее влияние в ближайшем будущем, изложены принципы, позволяющие определить, будет ли данный конкретный проект успешным.

Благодарности

Джон хотел бы поблагодарить свою семью и друзей за их содействие и поддержку в процессе подготовки этой книги и посвящает ее своему отцу Джону Бернарду Келлехеру в знак признания его любви и дружбы.

Брендан хотел бы поблагодарить Грейс, Дэниела и Элеонору за их постоянную поддержку при написании всех его книг (эта уже четвертая), что позволило совмещать работу и путешествия.

Глава 1. Что такое наука о данных?

Наука о данных включает в себя набор принципов, методов постановки задач, алгоритмов и процессов для выявления скрытых полезных закономерностей в больших данных. Многие элементы этой науки были разработаны в смежных областях, таких как машинное обучение и глубинный анализ данных. Фактически термины «наука о данных», «машинное обучение» и «глубинный анализ данных» часто используются взаимозаменяемо. Эти дисциплины объединяет то, что все они направлены на улучшение процесса принятия решений посредством анализа данных. Однако, хотя наука о данных заимствует методы перечисленных областей, она имеет более широкий охват. Машинное обучение фокусируется на разработке и оценке алгоритмов выявления закономерностей в данных. Глубинный анализ данных, как правило, предполагает анализ структурированных данных и часто подразумевает акцент на коммерческих приложениях. Наука о данных учитывает и то и другое, при этом охватывает и другие проблемы: очистку и преобразование неструктурированных веб-данных и информации из социальных сетей, хранение и обработку больших неструктурированных наборов данных и вопросы, связанные с этикой и регулированием.

Используя науку о данных, мы можем выявлять различные типы закономерностей. Например, нам понадобилось выявить закономерности, которые помогут идентифицировать группы клиентов, демонстрирующих сходное поведение и вкусы. На языке бизнеса эта задача известна как сегментация клиентов, а в терминологии науки о данных выявление такого типа закономерностей называется кластеризацией. Или, допустим, нам потребовалось выявить закономерность, которая обнаруживает продукты, которые часто покупают вместе. Опять же, в терминах науки о данных выявление такого типа закономерностей называется поиском ассоциативных правил. Или же нам нужны закономерности, которые выявляют странные или подозрительные события, например мошенничество со страховкой. Идентификация таких типов закономерностей известна как обнаружение аномалий или выбросов. Наконец, мы можем выявлять закономерности, которые помогают классифицировать что угодно. Например, закономерность классификации, выявленная в наборе данных электронной почты, могла бы выглядеть следующим образом: если письмо содержит фразу «легкий заработок» — это, скорее всего, спам. Поиск подобных правил классификации называется прогнозированием. Выбор слова «прогнозирование» может показаться странным, потому что правило не предсказывает, что произойдет в будущем: электронное письмо уже либо является, либо не является спамом. Поэтому правильнее говорить о закономерностях прогнозирования как о прогнозировании недостающего значения атрибута, а не о предсказании будущего. В этом примере мы прогнозируем, должен ли атрибут классификации электронной почты иметь значение «Спам» или нет.

Хотя науку о данных можно использовать для выявления различных типов закономерностей, мы всегда хотим, чтобы они были нетривиальными и полезными. Приведенный выше пример с электронной почтой настолько прост и очевиден, что, если бы это было единственное правило, извлеченное в процессе обработки данных, нас ждало бы разочарование. Этим правилом проверяется только один атрибут электронного письма: содержит ли оно фразу «легкий заработок». Если человек может с такой же легкостью создать шаблон, то, как правило, не стоит тратить время и усилия на использование науки о данных для «обнаружения» закономерности. Как правило, наука о данных становится полезной, когда у нас есть большое количество примеров и когда выявляемые закономерности слишком сложны, чтобы человек мог обнаружить их самостоятельно. В качестве нижней границы мы можем взять такое число примеров, обработка которых становится слишком трудоемкой для человека. Что касается сложности закономерностей, мы тоже можем определить ее относительно человеческих возможностей. Люди неплохо справляются с распознаванием правил, которые связывают один, два или даже три атрибута, но, когда их становится больше трех, мы начинаем перегорать. Наука о данных, напротив, применяется как раз тогда, когда мы хотим найти закономерности среди 10, 100, 1000 или даже миллиона атрибутов.

Закономерности, которые мы выявляем с помощью науки о данных, полезны только в том случае, если они ведут к прозрению, позволяющему что-то сделать для решения проблемы. То, ради чего мы выявляем закономерность, иногда называют «действенные прозрения». Слово «прозрение» подчеркивает, что закономерность должна дать нам важную информацию о проблеме, которая до этого была скрыта. Слово «действенный» говорит о том, что это прозрение должно быть применимо. Например, мы работаем в компании мобильной связи, которая пытается решить проблему оттока клиентов (когда слишком много клиентов переключаются на другие компании). Один из способов, каким наука о данных может помочь в решении этой проблемы, — использование данных бывших клиентов для выявления закономерностей, которые позволят нам выявить среди текущих клиентов группу, наиболее подверженную риску оттока, после чего с этими клиентами можно связаться и постараться заинтересовать их. Закономерности, которые позволят нам идентифицировать вероятную группу оттока, будут полезны только в том случае, если: а) они выявляют клиентов достаточно рано для того, чтобы можно было связаться с ними и предотвратить потенциальное действие с их стороны, и б) компания способна выделить команду для работы с этой группой клиентов. Соблюдение этих параметров необходимо для того, чтобы компания могла действовать в соответствии с полученным прозрением.

Краткая история науки о данных

История термина «наука о данных» начинается в 1990-е гг. Однако области, которые он охватывает, имеют более долгую историю. Одна из них — сбор данных, другая — их анализ. Далее мы рассмотрим, как развивались эти отрасли знаний, а затем опишем, как и почему они сплелись воедино в науке о данных. В этом обзоре будет введено много новых понятий, поскольку он описывает и называет важные технические новшества по мере их возникновения. Для каждого нового термина мы дадим краткое объяснение его значения, однако позже мы еще вернемся ко многим из них и приведем более подробные объяснения. Мы начнем с истории сбора данных, продолжим историей анализа данных и закончим эволюцией науки о данных.

История сбора данных

Первыми из известных нам методов записи данных были зарубки на столбах, вкопанных в землю, чтобы отмечать восходы солнца и узнавать количество дней до солнцестояния. Однако с развитием письменности наша способность фиксировать опыт и события окружающего мира значительно увеличила объем собираемых нами данных. Самая ранняя форма письма была разработана в Месопотамии около 3200 г. до н. э. и использовалась для коммерческого учета. Этот тип учета фиксирует так называемые транзакционные данные. Транзакционные данные включают в себя информацию о событиях, таких как продажа товара, выставление счета, доставка, оплата кредитной картой, страховые требования и т. д. Нетранзакционные данные, например демографические, также имеют долгую историю. Первые известные переписи населения прошли в Древнем Египте около 3000 г. до н. э. Причина, по которой древние правители вкладывали так много усилий и ресурсов в масштабные проекты по сбору данных, заключалась в том, что им нужно было повышать налоги и увеличивать армии. Это согласуется с утверждением Бенджамина Франклина о том, что в жизни есть только две несомненные вещи: смерть и налоги.

В последние 150 лет изобретение компьютера, появление электронных датчиков и оцифровка данных способствовали стремительному росту объемов сбора и хранения данных. Ключевое событие в этой сфере произошло в 1970 г., когда Эдгар Кодд опубликовал статью с описанием реляционной модели данных, которая совершила переворот в том, как именно данные хранятся, индексируются и извлекаются из баз. Реляционная модель позволила извлекать данные из базы путем простых запросов, которые определяли, что нужно пользователю, не требуя от него знания о внутренней структуре данных или о том, где они физически хранятся. Документ Кодда послужил основой для современных баз данных и разработки SQL (языка структурированных запросов), международного стандарта формулировки запросов к базам данных. Реляционные базы хранят данные в таблицах со структурой из одной строки на объект и одного столбца на атрибут. Такое отображение идеально подходит для хранения данных с четкой структурой, которую можно разложить на базовые атрибуты.

Базы данных — это простая технология, используемая для хранения и извлечения структурированных транзакционных или операционных данных (т. е. генерируемых текущими операциями компании). Но по мере того, как компании росли и автоматизировались, объем и разнообразие данных тоже резко возрастали. В 1990-х гг. стало ясно, что, хотя компании накопили огромные объемы данных, они испытывают трудности с их анализом. Частично проблема была в том, что данные обычно хранились в многочисленных разрозненных базах в рамках одной организации. Другая трудность заключалась в том, что базы были оптимизированы для хранения и извлечения данных — действий, которые характеризуются большими объемами простых операций, таких как SELECT, INSERT, UPDATE и DELETE. Для анализа данных компаниям требовалась технология, которая могла бы объединять и согласовывать данные из разнородных баз и облегчать проведение более сложных аналитических операций. Решение этой бизнес-задачи привело к появлению хранилищ данных. Организация хранилищ данных — это процесс агрегирования и анализа данных для поддержки принятия решений. Основная задача этого процесса — создание хорошо спроектированного централизованного банка данных, который тоже иногда называется хранилищем. В этом смысле хранилище данных является мощным ресурсом науки о данных, с точки зрения которой основное преимущество хранилища данных — это сокращение времени выполнения проекта. Ключевым компонентом любого процесса обработки данных являются сами данные, поэтому неудивительно, что во многих проектах бо́льшая часть времени и усилий направляется на поиск, сбор и очистку данных перед анализом. Если в компании есть хранилище данных, то усилия и время, затрачиваемые на подготовку данных, значительно сокращаются. Тем не менее наука о данных может существовать и без централизованного банка данных. Создание такого банка не ограничивается выгрузкой данных из нескольких операционных баз в одну. Объединение данных из нескольких баз часто требует сложной ручной работы для устранения несоответствий между исходными базами данных. Извлечение, преобразование и загрузка (ETL) — это термин, используемый для описания стандартных процессов и инструментов для сопоставления, объединения и перемещения данных между базами. Типичные операции, выполняемые в хранилище данных, отличаются от операций в стандартной реляционной базе данных. Для их описания используется термин интерактивная аналитическая обработка (OLAP). Операции OLAP, как правило, направлены на создание сводок исторических данных и включают сбор данных из нескольких источников. Например, запрос OLAP, выраженный для удобства на естественном языке, может выглядеть так: «Отчет о продажах всех магазинов по регионам и кварталам и разница показателей по сравнению с отчетом за прошлый год». Этот пример показывает, что результат запроса OLAP часто напоминает стандартный бизнес-отчет. По сути, операции OLAP позволяют пользователям распределять, фрагментировать и переворачивать данные в хранилище, а также получать их различные отображения. Операции OLAP работают с отображением данных, называемым кубом данных, который построен поверх хранилища. Куб данных имеет фиксированный, заранее определенный набор измерений, где каждое измерение отображает одну характеристику данных. Для приведенного выше примера запроса OLAP необходимы следующие измерения куба данных: продажи по магазинам, продажи по регионам и продажи по кварталам. Основное преимущество использования куба данных с фиксированным набором измерений состоит в том, что он ускоряет время отклика операций OLAP. Кроме того, поскольку набор измерений куба данных предварительно запрограммирован в систему OLAP, эти системы могут быть отображены дружественным пользовательским интерфейсом (GUI) для формулирования запросов OLAP. Однако отображение куба данных ограничивает типы анализа набором запросов, которые могут быть сгенерированы только с использованием определенных заранее измерений. Интерфейс запросов SQL сравнительно более гибок. Кроме того, хотя системы OLAP полезны для исследования данных и составления отчетов, они не позволяют моделировать данные или автоматически выявлять в них закономерности.

За последние пару десятилетий наши устройства стали мобильными и подключенными к сети. Многие из нас ежедневно часами сидят в интернете, используя социальные технологии, компьютерные игры, медиаплатформы и поисковые системы. Эти технологические изменения в нашем образе жизни оказали существенное влияние на количество собираемых данных. Подсчитано, что объем данных, собранных за пять тысячелетий с момента изобретения письма до 2003 г., составляет около пяти эксабайт. С 2013 г. люди генерируют и хранят такое же количество данных ежедневно. Однако резко вырос не только объем данных, но и их разнообразие. Достаточно взглянуть на список сегодняшних онлайн-источников данных: электронные письма, блоги, фотографии, твиты, лайки, публикации, веб-поиск, загрузка видео, онлайн-покупки, подкасты и т. д. Также не забудьте о метаданных этих событий, описывающих структуру и свойства необработанных данных, и вы начнете понимать, что называется большими данными. Большие данные часто описываются по схеме «3V»: экстремальный объем (Volume), разнообразие типов (Variety) и скорость обработки данных (Velocity).

Появление больших данных привело к разработке новых технологий создания баз данных. Базы данных нового поколения часто называют базами NoSQL. Они имеют более простую модель, чем привычные реляционные базы данных, и хранят данные в виде объектов с атрибутами, используя язык представления объектов, такой как JavaScript Object Notation (JSON). Преимущество использования объектного представления данных (по сравнению с моделью на основе реляционной таблицы) состоит в том, что набор атрибутов для каждого объекта заключен в самом объекте, а это открывает дорогу к гибкому отображению данных. Например, один из объектов в базе данных может иметь сокращенный набор атрибутов по сравнению с другими объектами. В структуре реляционной базы данных, напротив, все значения в таблице должны иметь одинаковый набор атрибутов (столбцов). Эта гибкость важна в тех случаях, когда данные (из-за их разнообразия или типа) не раскладываются естественным образом в набор структурированных атрибутов. К примеру, сложно определить набор атрибутов для отображения неформального текста (скажем, твитов) или изображений. Однако, хотя эта гибкость представления позволяет нам собирать и хранить данные в различных форматах, для последующего анализа их все равно приходится структурировать.

Большие данные также привели к появлению новых платформ для их обработки. При работе с большими объемами информации на высоких скоростях может быть полезным с точки зрения вычислений и поддержания скорости распределять данные по нескольким серверам, затем обрабатывать запросы, вычисляя их результаты по частям на каждом из серверов, а затем объединять их в сгенерированный ответ. Такой подход использован в модели MapReduce на платформе Hadoop. В этой модели данные и запросы отображаются на нескольких серверах (распределяются между ними), а затем рассчитанные на них частичные результаты объединяются.

История анализа данных

Статистика — это научная отрасль, которая занимается сбором и анализом данных. Первоначально статистика собирала и анализировала информацию о государстве, такую как демографические данные и экономические показатели. Со временем количество типов данных, к которым применялся статистический анализ, увеличивалось, и сегодня статистика используется для анализа любых типов данных. Простейшая форма статистического анализа — обобщение набора данных в терминах сводной (описательной) статистики (включая средние значения, такие как среднее арифметическое, или показатели колебаний, такие как диапазон). Однако в XVII–XVIII вв. работы Джероламо Кардано, Блеза Паскаля, Якоба Бернулли, Абрахама де Муавра, Томаса Байеса и Ричарда Прайса заложили основы теории вероятностей, и в течение XIX в. многие статистики начали использовать распределение вероятностей как часть аналитического инструментария. Эти новые достижения в математике позволили выйти за рамки описательной статистики и перейти к статистическому обучению. Пьер-Симон де Лаплас и Карл Фридрих Гаусс — два наиболее видных математика XIX в. Оба они внесли заметный вклад в статистическое обучение и современную науку о данных. Лаплас использовал интуитивные прозрения Томаса Байеса и Ричарда Прайса и превратил их в первую версию того, что мы сейчас называем теоремой Байеса. Гаусс в процессе поиска пропавшей карликовой планеты Цереры разработал метод наименьших квадратов. Этот метод позволяет нам найти наилучшую модель, которая соответствует набору данных, так что ошибка в ее подборе сводится к минимальной сумме квадратов разностей между опорными точками в наборе данных и в модели. Метод наименьших квадратов послужил основой для статистических методов обучения, таких как линейная регрессия и логистическая регрессия, а также для разработки моделей нейронных сетей искусственного интеллекта.

Между 1780 и 1820 гг., примерно в то же время, когда Лаплас и Гаусс вносили свой вклад в статистическое обучение, шотландский инженер Уильям Плейфер изобрел статистические графики и заложил основы современной визуализации данных и поискового анализа данных (EDA). Плейфер изобрел линейный график и комбинированную диаграмму для временных рядов данных, гистограмму, чтобы проиллюстрировать сравнение значений, принадлежащих разным категориям, и круговую диаграмму для наглядного изображения долей. Преимущество визуализации числовых данных заключается в том, что она позволяет использовать наши мощные зрительные возможности для обобщения, сравнения и интерпретации данных. Следует признать, что визуализировать большие (с множеством опорных точек) или сложные (с множеством атрибутов) наборы данных довольно трудно, но визуализация по-прежнему остается важной составляющей науки о данных. В частности, она помогает ученым рассматривать и понимать данные, с которыми они работают. Визуализация также может быть полезна для презентации результатов проекта. Со времен Плейфера разнообразие видов графического отображения данных неуклонно росло, и сегодня продолжаются разработки новых подходов в области визуализации больших многомерных наборов данных. В частности, не так давно был разработан алгоритм стохастического вложения соседей с t-распределением (t-SNE), который применяется при сокращении многомерных данных до двух или трех измерений, тем самым облегчая их визуализацию.

Развитие теории вероятностей и статистики продолжилось в XX в. Карл Пирсон разработал современные методы проверки гипотез, а Рональд Фишер — статистические методы для многомерного анализа и предложил идею оценки максимального правдоподобия статистических заключений как метод, позволяющий делать выводы на основе относительной вероятности событий. Работа Алана Тьюринга во время Второй мировой войны привела к изобретению компьютера, который оказал исключительно сильное влияние на статистику, позволив совершать существенно более сложные вычисления. В течение 1940-х гг. и в последующие десятилетия были разработаны важные вычислительные модели, которые до сих пор широко применяются в науке о данных. В 1943 г. Уоррен Мак-Каллок и Уолтер Питтс предложили первую математическую модель нейронной сети. В 1948-м Клод Шеннон опубликовал статью под названием «Математическая теория связи» и тем самым основал теорию информации. В 1951 г. Эвелин Фикс и Джозеф Ходжес предложили модель дискриминантного анализа (который сейчас более известен как теория распознавания образов), ставшую основой современных алгоритмов ближайших соседей. Послевоенное развитие сферы достигло кульминации в 1956 г. с появлением отрасли искусственного интеллекта на семинаре в Дартмутском колледже. Даже на этой ранней стадии ее развития термин «машинное обучение» уже начал использоваться для описания программ, которые давали компьютеру возможность учиться на основе данных. В середине 1960-х гг. были сделаны три важных вклада в машинное обучение. В 1965 г. Нильс Нильсон опубликовал книгу «Обучающиеся машины»[1], в которой показано, как можно использовать нейронные сети для обучения линейных моделей классификации. Через год Хант, Марин и Стоун разработали систему концептуального обучения, породившую целое семейство алгоритмов, которые, в свою очередь, привели к появлению деревьев решений на основе данных нисходящего порядка. Примерно в то же время независимые исследователи разрабатывали и публиковали ранние версии метода k-средних, который теперь рутинно используется для сегментации клиентских данных.

Область машинного обучения лежит в основе современной науки о данных, поскольку она предоставляет алгоритмы, способные автоматически анализировать большие наборы данных для выявления потенциально интересных и полезных закономерностей. Машинное обучение и сегодня продолжает развиваться и модернизироваться. В число наиболее важных разработок входят ансамблевые методы, прогнозирование в которых осуществляется на основе набора моделей, где каждая модель участвует в каждом из запросов, а также дальнейшее развитие нейронных сетей глубокого обучения, имеющих более трех слоев нейронов. Такие глубокие слои в сети способны обнаруживать и анализировать отображения сложных атрибутов (состоящие из нескольких взаимодействующих входных значений, обработанных более ранними слоями), которые позволяют сети изучать закономерности и обобщать их для всех входных данных. Благодаря своей способности исследовать сложные атрибуты сети глубокого обучения лучше других подходят для многомерных данных — именно они произвели переворот в таких областях, как машинное зрение и обработка естественного языка.

Как уже упоминалось в историческом обзоре баз данных, начало 1970-х гг. ознаменовало приход современной технологии с реляционной моделью данных Эдгара Кодда и последующий взрывной рост генерации данных и их хранения, который в 1990-х гг. привел к развитию хранилищ, а позднее — к возникновению феномена больших данных. Однако еще задолго до появления больших данных, фактически к концу 1980-х — началу 1990-х гг., стала очевидной необходимость в исследованиях, направленных на анализ больших наборов данных. Примерно в то же время появился термин «глубинный анализ данных». Как мы уже отметили, в ответ на это началась разработка хранилищ данных и технологии OLAP. Кроме того, параллельно велись исследования в других областях. В 1989 г. Григорий Пятецкий-Шапиро провел первый семинар по обнаружению знаний в базах данных (KDD). Следующая цитата из анонса этого семинара дает ясное представление о том, какое внимание на нем уделялось междисциплинарному подходу к проблеме анализа больших баз данных:

Обнаружение знаний в базах данных ставит много интересных проблем, особенно когда эти базы огромны. Таким базам данных обычно сопутствуют существенные знания предметной области, которые могут значительно облегчить обнаружение данных. Доступ к большим базам данных недешев — отсюда необходимость выборки и других статистических методов. Наконец, для обнаружения знаний в базах данных могут оказаться полезными многие существующие инструменты и методы из различных областей, таких как экспертные системы, машинное обучение, интеллектуальные базы данных, получение знаний и статистика[2].

Фактически термины «KDD» и «глубинный анализ данных» описывают одну и ту же концепцию; различие заключается только в том, что термин «глубинный анализ данных» более распространен в бизнес-сообществах, а «KDD» — в академических кругах. Сегодня эти понятия часто взаимозаменяются[3], и многие ведущие академические центры используют как одно, так и другое. И это закономерно, ведь главная научная конференция в этой сфере так и называется — Международная конференция по обнаружению знаний и глубинному анализу данных.

Возникновение и эволюция науки о данных

Термин «наука о данных» появился в конце 1990-х гг. в дискуссиях, касающихся необходимости объединения статистиков с теоретиками вычислительных систем для обеспечения математической строгости при компьютерном анализе больших данных. В 1997 г. Джефф Ву выступил с публичной лекцией «Статистика = наука о данных?», в которой осветил ряд многообещающих тенденций, в том числе доступность больших и сложных наборов данных в огромных базах и рост использования вычислительных алгоритмов и моделей. В завершение лекции он призвал переименовать статистику в «науку о данных».

В 2001 г. Уильям Кливленд опубликовал план действий по созданию университетского факультета, сфокусированного на науке о данных{1}. В плане подчеркивалось место науки о данных между математикой и информатикой и предлагалось понимать ее как междисциплинарную сферу. Специалистам по данным предписывалось учиться, работать и взаимодействовать с экспертами из этих областей. В том же году Лео Брейман опубликовал статью «Статистическое моделирование: две культуры»{2}. В ней он охарактеризовал традиционный подход к статистике как культуру моделирования данных, которая предполагает основной целью анализа выявление скрытых стохастических моделей (например, линейной регрессии), объясняющих, как были сгенерированы данные. Брейман противопоставляет это культуре алгоритмического моделирования, которая фокусируется на использовании компьютерных алгоритмов для создания более точных моделей прогнозирования, не объясняющих то, как данные были получены. Проведенная Брейманом граница между статистическими моделями, которые объясняют данные, и алгоритмическими, которые могут их точно прогнозировать, подчеркивает коренное различие между статистиками и исследователями машинного обучения. Споры между этими двумя подходами не утихают до сих пор{3}. В целом сегодня большинство проектов, осуществляемых в рамках науки о данных, соответствует подходу машинного обучения к построению точных моделей прогнозирования и все меньше озабочены статистическим объяснением. Таким образом, хотя наука о данных родилась в дискуссиях вокруг статистики и до сих пор заимствует некоторые статистические методы и модели, со временем она разработала свой собственный, особый подход к анализу данных.

С 2001 г. концепция науки о данных значительно расширилась и вышла за пределы модификаций статистики. Например, в последние 10 лет наблюдается колоссальный рост объема данных, генерируемых онлайн-активностью (интернет-магазинами, социальными сетями или развлечениями). Чтобы собрать эту информацию (порой неструктурированную) из внешних веб-источников, подготовить и очистить ее для использования в проектах по анализу данных, специалистам по данным требуются навыки программирования и взлома. Кроме того, появление больших данных означает, что специалист по данным должен уметь работать с такими технологиями, как Hadoop. Фактически сегодня понятие «специалист по данным» стало настолько широким, что вызвало настоящие дебаты о том, как определить его роль и требуемые опыт и навыки{4}. Тем не менее можно перечислить их, опираясь на мнение большинства людей, как это сделано на рис. 1. Одному человеку трудно овладеть всем перечисленным, и большинство специалистов по данным действительно обладают глубокими знаниями и реальным опытом только в некоторых из этих областей. При этом важно понимать и осознавать вклад каждой из них в проекты по обработке данных.

Специалист по данным должен иметь экспертный опыт в предметной сфере. Большинство проектов начинаются с реальной проблемы и необходимости разработать ее решения. Специалист по данным должен понимать и проблему, и то, как ее решение могло бы вписаться в организационные процессы. Этот экспертный опыт направляет специалиста при поиске оптимального решения. Он также позволяет конструктивно взаимодействовать с отраслевыми экспертами, чтобы докопаться до самой сути проблемы. Кроме того, специалист по данным может использовать его в работе над аналогичными проектами в той же или смежной областях и быстро определять их фокус и охват.

В центре всех проектов науки о данных находятся сами данные. Однако тот факт, что организация имеет доступ к данным, не означает, что у нее есть формальное или этическое право на их использование. В большинстве юрисдикций существует антидискриминационное законодательство и законы о защите персональных данных. Специалист по данным должен знать и понимать эти правила, а также (в более широком смысле) понимать этические последствия своей работы, если хочет использовать данные на законных основаниях и надлежащим образом. Мы вернемся к этой теме в главе 7, где обсудим правовые нормы и этические вопросы, связанные с наукой о данных.

В большинстве организаций значительная часть данных поступает из баз, размещенных внутри самой организации. Но по мере роста архитектуры данных проекты начнут получать их из множества других источников, в том числе из источников больших данных. Данные в этих источниках могут существовать в различных форматах, но, как правило, представляют собой базы на основе реляционной модели, NoSQL или Hadoop. Эти данные должны быть интегрированы, очищены, преобразованы, нормализованы и т. д. Такие задачи могут называться по-разному, например: ETL (извлечение, преобразование, загрузка), подготовка, слияние, уплотнение данных и др. Результаты обработки должны храниться и управляться, как и исходные данные. Для этого также используют базы, чтобы результаты можно было легко распределить между частями организации или обеспечить им совместный доступ. Следовательно, специалист по данным должен обладать навыками взаимодействия с базами данных и обработки содержащейся в них информации.

Понятие «компьютерные науки» используется здесь для обозначения целого ряда навыков и инструментов, которые позволяют специалисту работать с большими данными и преобразовывать их в новую значимую информацию. Высокопроизводительные вычисления (HPC) предполагают агрегацию вычислительных мощностей для достижения большей производительности, чем может дать автономный компьютер. Многие проекты имеют дело с очень большими наборами данных и/или алгоритмами машинного обучения, которые требуют дорогостоящих вычислений. В таких ситуациях важно иметь навыки доступа к ресурсам HPC и их использования. Помимо HPC, мы уже упоминали о задачах сбора, очистки и интегрирования веб-данных, стоящих перед специалистом. Сюда же входит умение обрабатывать неструктурированный текст и изображения. Кроме того, неплохо, если специалист по данным способен сам написать приложение для выполнения конкретной задачи или изменить существующее, чтобы настроить его под конкретные данные и сферу деятельности. Наконец, необходима компьютерная грамотность, чтобы понимать и разрабатывать модели машинного обучения и интегрировать их в производственные, аналитические или внутренние приложения организации.

Графическое отображение данных существенно упрощает их просмотр и понимание. Визуализация применяется на всех этапах процесса. Работая с данными в табличной форме, легко пропустить такие вещи, как выбросы, тренды в распределениях или незначительные изменения данных во времени. Правильное графическое отображение выявляет эти и другие аспекты. Визуализация является важной и растущей областью науки о данных, и мы рекомендуем работы Эдварда Туфта{5} и Cтефана Фью{6} как отличное введение в ее принципы и методы.

В процессе обработки данных (от их первоначального сбора и исследования до сравнения результатов различных моделей и типов анализа) используются статистические и вероятностные методы. Машинное обучение применяет их для поиска закономерностей. Специалист по данным не обязан уметь писать алгоритмы машинного обучения, но должен понимать, как и для чего они используются, что означают сгенерированные ими результаты и на каком типе данных могут выполняться конкретные алгоритмы. Иначе говоря, воспринимать их как «серый ящик» — систему с частично известной внутренней структурой. Это позволит сконцентрироваться на прикладных аспектах и провести тестирование различных алгоритмов машинного обучения, чтобы понять, какие из них лучше всего подходят для конкретного сценария.

Наконец, важным аспектом успешности специалиста по данным является умение рассказать с их помощью историю. Это может быть история прозрения, которое дал анализ, или история о моделях, созданных в ходе проекта, которые идеально впишутся в процессы организации и благотворно повлияют на ее функционирование. В потрясающем проекте по обработке данных нет никакого смысла, если его результаты не будут использованы, но для этого надо сообщить о них коллегам, не имеющим технического образования, в такой форме, чтобы они смогли все понять.

Где используется наука о данных?

Наука о данных определяет принятие решений практически во всех сферах современного общества. В этом разделе мы опишем три тематических кейса, которые иллюстрируют ее влияние на потребительские компании, использующие науку о данных в продажах и маркетинге, на правительства, совершенствующие с ее помощью здравоохранение, правосудие и городское планирование, и на профессиональные спортивные клубы, проводящие на ее основе отбор игроков.

Наука о данных в продажах и маркетинге

Компания Walmart (и другие розничные сети) имеет доступ к большим наборам данных о предпочтениях своих покупателей, собирая их через системы торговых точек, отслеживая поведение клиентов в интернет-магазине и анализируя комментарии о компании и ее продуктах в социальных сетях. Уже более 10 лет Walmart использует науку о данных для оптимизации уровня запасов в магазинах. Хорошо известен пример, когда Walmart пополняла ассортимент пирожных с клубникой в магазинах на пути следования урагана «Фрэнсис» в 2004 г. на основе анализа данных о продажах в период прохождения урагана «Чарли» несколькими неделями ранее. Недавно Walmart использовала науку о данных для увеличения розничных доходов, начав внедрять новые продукты на основе анализа тенденций в социальных сетях, анализировать активность по кредитным картам для составления рекомендаций клиентам, а также оптимизировать и персонализировать взаимодействие с клиентами через официальный сайт. Walmart связывает увеличение объема онлайн-продаж на 10–15 % именно с использованием науки о данных{7}.

В онлайн-мире эквивалентом апселлинга (продажи более дорогих версий товара) и перекрестных продаж являются рекомендательные системы. Если вы смотрели фильмы на Netflix или покупали что-нибудь на Amazon, то знаете, что эти сайты собирают и используют данные, а затем предлагают вам варианты следующих просмотров или покупок. Одни рекомендательные системы направляют вас к блокбастерам и бестселлерам, а другие — к нишевым продуктам, соответствующим вашим вкусам. В книге Криса Андерсона «Длинный хвост: Эффективная модель бизнеса в интернете»{8} утверждается, что по мере удешевления производства и дистрибуции рынки переходят от продажи большого количества небольшого набора хитов к продажам меньшего количества более разнообразных нишевых продуктов. Этот компромисс между стимулированием продаж популярных и нишевых продуктов лежит в основе разработки рекомендательных систем и влияет на алгоритмы обработки данных, используемые в этих системах.

Использование науки о данных государственными структурами

В последние годы государственные структуры осознали преимущества науки о данных. Например, правительство США в 2015 г. назначило математика Дханурджая Патила первым главным специалистом по данным. Некоторые из крупнейших инициатив в области науки о данных, возглавляемых правительством, были связаны со здоровьем. Наука о данных лежит в основе проектов «Раковый прорыв» (Cancer Moonshot) и «Точная медицина» (Precision Medicine)[4]. «Точная медицина» сочетает секвенирование генома человека и науку о данных при разработке индивидуальных лекарств для отдельных пациентов. Одной из его частей является программа «Все мы» (All of Us)[5], которая занимается сбором информации об окружающей среде, образе жизни и биологических параметрах более миллиона добровольцев для создания крупнейших в мире баз данных точной медицины. Наука о данных радикальным образом меняет устройство городов, где она применяется для отслеживания, анализа и контроля экологических, энергетических и транспортных систем, а также при долгосрочном городском планировании{9}. Мы вернемся к здоровью и умным городам в главе 9, когда будем обсуждать перспективы науки о данных на ближайшие десятилетия.

Еще одна инициатива правительства США в области данных направлена на то, чтобы департаменты полиции лучше понимали, как они могут помочь местным сообществам[6]. Наука о данных также способствует прогнозированию очагов преступности и рецидивов преступлений, однако правозащитные группы подвергли критике ее использование в уголовном правосудии. В главе 7 мы обсудим вопросы конфиденциальности и этики, поднятые наукой о данных, и одним из факторов в этой дискуссии станет то, что многие люди имеют разное мнение о приватности информации, в зависимости от области, где она применяется. Если ее использование в медицинских исследованиях, финансируемых государством, находит поддержку, то реакция тех же людей меняется на противоположную, когда речь заходит о деятельности полиции и уголовном правосудии. В главе 7 мы также обсудим использование персональных данных для определения размера выплат при страховании жизни, здоровья, автомобиля, дома и путешествий.

Наука о данных в профессиональном спорте

Фильм 2011 г. «Человек, который изменил все» с участием Брэда Питта продемонстрировал растущую роль науки о данных в современном спорте. Фильм основан на книге «Moneyball»[7] 2004 г., в которой рассказана реальная история о том, как бейсбольный клуб «Окленд Атлетикс» использовал науку о данных для улучшения отбора игроков{10}. С ее помощью было выявлено, что процентное соотношение попадания игрока на базу и упущенных возможностей является более информативным показателем его успешности, чем традиционно принятые в бейсболе статистические данные, такие как средний уровень достижений. Это понимание позволило составить список недооцененных игроков и превзойти возможности бюджета. Успех «Окленд Атлетикс» произвел революцию в бейсболе, и сегодня большинство клубов интегрирует аналогичные стратегии, основанные на данных, в процесс найма.

Эта история — яркий пример того, как наука о данных может дать организации преимущество в конкурентном рыночном пространстве. Но с точки зрения самой науки наиболее важным аспектом здесь является то, что иногда на первый план выходит выявление информативных атрибутов. Распространено мнение, что ценность науки о данных заключается в моделях, которые создаются в процессе. Однако, как только мы узнаем важные атрибуты области определения, можно легко создавать модели, управляемые данными. Ключом к успеху является получение правильных данных и поиск правильных атрибутов. В своей книге «Фрикономика»[8] Стивен Левитт и Стивен Дабнер иллюстрируют важность этого на примере широкого круга проблем, поскольку считают, что ключом к пониманию современной жизни является «знание того, что и как измерять»{11}. Используя науку о данных, мы можем выявить важные закономерности, которые, в свою очередь, помогут идентифицировать нужные атрибуты области определения. Причина, по которой наука о данных используется все шире, заключается в том, что сфера ее приложения не имеет значения: важны только правильные данные и четкая формулировка проблемы.

Почему сейчас?

Есть ряд факторов, способствующих росту науки о данных. Как мы уже говорили, появление больших данных обусловлено относительной легкостью, с которой организации могут собирать информацию. Записи транзакций в точках продаж, клики на онлайн-платформах, публикации в социальных сетях, приложения на смартфонах и прочее — все это каналы, через которые компании теперь могут создавать ценные профили отдельных клиентов. Другим фактором является коммодификация хранилищ данных с экономией на масштабе, что делает хранение информации дешевле, чем когда-либо прежде. На это влияет и колоссальный рост мощности компьютеров. Графические карты и процессоры (GPU) были изначально разработаны для быстрой визуализации графики в компьютерных играх. Отличительная особенность графических процессоров — способность выполнять быстрое умножение матриц, а это полезно не только для рендеринга графики, но и для машинного обучения. В последние годы графические процессоры были адаптированы и оптимизированы для использования в машинном обучении, что способствовало заметному ускорению обработки данных и обучения моделей. Также стали доступны удобные инструменты для обработки данных, которые снизили барьеры для доступа к ним. В совокупности это означает, что сбор, хранение и обработка данных никогда еще не были такими простыми.

За последние 10 лет появились более мощные модели машинного обучения, известные как глубокое обучение, которые произвели революцию в компьютерной обработке данных языка и изображений. Термин «глубокое обучение» описывает семейство моделей многослойных нейронных сетей. Нейронные сети существуют с 1940-х гг., но лучше всего они проявили себя с большими сложными наборами данных и мощными вычислительными ресурсами для обучения. Таким образом, появление глубокого обучения в последние несколько лет связано с ростом больших данных и вычислительной мощности. Тем не менее не будет преувеличением сказать, что влияние глубокого обучения на целый ряд областей исключительно. История AlphaGo[9] от DeepMind является отличным примером того, как глубокое обучение произвело революцию в области исследований. Го — настольная игра, созданная в Китае 3000 лет назад. Играть в го проще, чем в шахматы: игроки по очереди размещают фигуры на доске с целью захвата фигур противника или окружения пустой территории. Однако простота правил и тот факт, что в гo используется доска с бо́льшим числом клеточек, означают и большее число возможных конфигураций, нежели в шахматах. Число возможных конфигураций в го больше, чем число атомов во Вселенной, и это делает го гораздо более сложной игрой для компьютера, чем шахматы, в силу огромного пространства для поиска и сложности в оценке всех возможных конфигураций. Команда DeepMind использовала модели глубокого обучения, чтобы AlphaGo смогла оценивать конфигурации на доске и выбирать следующий ход. В результате AlphaGo стала первой компьютерной программой, которая победила профессионального игрока, а в марте 2016 г. она одержала победу над 18-кратным чемпионом мира по го Ли Седолем в матче, который посмотрели более 200 млн человек во всем мире. Еще совсем недавно, в 2009 г., лучшая компьютерная программа для игры в го оценивалась как соответствующая любительскому уровню, а уже спустя семь лет AlphaGo обыграла чемпиона мира. В 2016 г. в самом престижном академическом журнале Nature была опубликована статья, описывающая алгоритмы глубокого обучения, заложенные в AlphaGo{12}.

Глубокое обучение также оказало огромное влияние на ряд публичных потребительских технологий. В настоящее время Facebook использует глубокое обучение для распознавания лиц и анализа текста, чтобы подбирать людям рекламу на основе их онлайн-разговоров. Google и Baidu используют глубокое обучение для распознавания изображений, титрования и поиска, а также для машинного перевода. Виртуальные помощники Apple Siri, Amazon Alexa, Microsoft Cortana и Samsung Bixby используют распознавание речи на основе глубокого обучения. Huawei разрабатывает виртуального помощника для китайского рынка, в котором также будет использоваться система распознавания речи с глубоким обучением. В главе 4 мы более подробно расскажем об этом. Хотя глубокое обучение является важной технической разработкой, возможно, с точки зрения роста науки о данных наиболее интересным его аспектом будет демонстрация возможностей и преимуществ самой науки о данных и привлечение внимания организаций к результатам таких успешных историй.

Разоблачение мифов

Наука о данных дает много преимуществ современным организациям, но вокруг нее крутится и масса слухов, поэтому важно понять, каковы реальные ограничения науки о данных. Одним из самых больших мифов является вера в то, что наука о данных — автономный процесс, который сам найдет решения наших проблем. Но на деле на всех этапах этого процесса требуется квалифицированный человеческий контроль. Люди нужны для того, чтобы сформулировать проблему, спроектировать и подготовить данные, выбрать, какие алгоритмы машинного обучения являются наиболее подходящими, критически интерпретировать результаты анализа и спланировать соответствующие действия, основанные на выявленных закономерностях. Без квалифицированного человеческого надзора проект по обработке данных не сможет достичь своих целей. Лучшие результаты мы видим, когда объединяются человеческий опыт и компьютерная мощь. Как выразились Линофф и Берри: «Глубинный анализ данных позволяет компьютерам делать то, что они умеют лучше всего, — копаться в куче информации. Это, в свою очередь, дает людям делать то, что лучше всего получается у них, — ставить задачу и осмыслять результаты»{13}.

Широкое и все возрастающее использование науки о данных означает, что сегодня самая большая проблема для многих организаций заключается в найме аналитиков. Человеческий фактор в науке о данных имеет первостепенное значение, и ограниченный ресурс специалистов является основным узким местом в распространении самой науки. Чтобы лучше представить масштаб нехватки специалистов, заглянем в отчет McKinsey Global Institute (MGI) за 2011 г.: прогноз дефицита сотрудников с навыками обработки данных и аналитики в Соединенных Штатах в ближайшие годы — от 140 000 до 190 000 человек; еще больший дефицит — 1,5 млн человек — менеджеров, способных понимать науку о данных и аналитические процессы на уровне, который позволяет им надлежащим образом запрашивать и интерпретировать результаты{14}. Спустя пять лет в своем отчете за 2016 г. MGI по-прежнему убежден, что наука о данных имеет огромный неиспользованный потенциал в расширяющемся диапазоне приложений, а дефицит специалистов сохраняется с прогнозируемой нехваткой 250 000 человек в ближайшей перспективе{15}.

Второй большой миф заключается в том, что каждый проект непременно нуждается в больших данных и требует глубокого обучения. Как правило, наличие большого объема данных помогает, но гораздо важнее, чтобы данные были правильными. Подобные проекты часто ведутся в организациях, которые располагают значительно меньшими ресурсами с точки зрения данных и вычислительной мощности, чем Google, Baidu или Microsoft. Примеры проектов небольшого масштаба: прогнозирование требований возмещения ущерба в страховой компании, которая обрабатывает около 100 заявок в месяц; прогноз отсева студентов в университете, где обучаются менее 10 000 человек; ожидания ротации членов профсоюза с несколькими тысячами участников. Эти примеры показывают, что организации не нужно обрабатывать терабайты информации или иметь в своем распоряжении огромные вычислительные ресурсы, чтобы извлечь выгоду из науки о данных.

Третий миф заключается в том, что современное программное обеспечение для обработки данных легко в использовании и, следовательно, сама наука о данных тоже не представляет собой ничего сложного. Программное обеспечение для обработки данных действительно стало более удобным для пользователя. Однако такая простота может скрывать тот факт, что для получения правильных результатов требуются как соответствующие знания предметной области, так и знания в области науки о данных, касающиеся свойств данных и допущений, лежащих в основе глубинного анализа и алгоритмов машинного обучения. На самом деле никогда еще не было так легко стать плохим специалистом по данным. Как и в любой сфере жизни, если вы не понимаете, что делаете, то будете совершать ошибки. Опасность, связанная с наукой о данных, заключается в том, что людей может отпугивать сложность технологии, и тогда они готовы поверить любым результатам, которые выдает им программное обеспечение. Однако всегда высока вероятность неправильной постановки задачи, неверного ввода данных или ненадлежащего использования методов анализа. В этих случаях результаты, представленные программным обеспечением, скорее всего, будут ответом на неправильные вопросы или окажутся основанными на неверных данных или расчетах.

Последний миф, который мы упомянем, — вера в то, что наука о данных быстро окупается. Истинность этого утверждения зависит исключительно от контекста организации. Внедрение науки о данных может потребовать значительных инвестиций с точки зрения инфраструктуры и найма персонала с опытом соответствующей работы. Более того, наука о данных не даст положительных результатов по каждому проекту. Иногда в данных нет искомого бриллианта или организация не в состоянии использовать прозрение, полученное в результате анализа. Однако в тех случаях, когда бизнес-проблема ясна, а соответствующая информация и человеческий опыт доступны, наука о данных, как правило, обеспечивает действенное понимание, которое дает организации конкурентное преимущество.

Источники

‹1›. Shmueli, Galit. 2010. «To Explain or to Predict?» Statistical Science 25 (3): 289–310. doi:10.1214/10-STS330.

‹2›. Breiman, Leo. 2001. «Statistical Modeling: The Two Cultures (with Comments and a Rejoinder by the Author).» Statistical Science 16 (3): 199–231. doi:10.1214/ss/1009213726.

‹3›. Silver, David, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, et al. 2016. «Mastering the Game of Go with Deep Neural Networks and Tree Search.» Nature 529 (7587): 484–89. doi:10.1038/nature16961.

‹4›. Manyika, James, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, and Angela Hung Byers. 2011. «Big Data: The next Frontier for Innovation, Competition, and Productivity.» McKinsey Global Institute. http://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-thenext-frontier-for-innovation.

‹5›. Henke, Nicolaus, Jacques Bughin, Michael Chui, James Manyika, Tamim Saleh, and Bill Wiseman. 2016. «The Age of Analytics: Competing in a Data-Driven World.» McKinsey Global Institute. http://www.mckinsey.com/business-functions/mckinsey-analytics/ourinsights/the-age-of-analytics-competing-in-a-data-driven-world.

‹6›. Tufte, Edward R. 2001. The Visual Display of Quantitative Information. 2nd edition edition. Cheshire, Conn: Graphics Press.

‹7›. Taylor, David. 2016. «Battle of the Data Science Venn Diagrams.» KDnuggets. http://www.kdnuggets.com/2016/10/battle-data-science-venn-diagrams.html.

‹8›. Cleveland, William S. 2001. «Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics.» International Statistical Review 69 (1): 21–26. doi:10.1111/j.1751–5823.2001.tb00477.x.

‹9›. DeZyre. 2015. «How Big Data Analysis Helped Increase Walmart’s Sales Turnover?» DeZyre. https://www.dezyre.com/article/how-big-data-analysis-helped-increase-walmarts-salesturnover/109.

‹10›. Kitchin, Rob. 2014. The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences. Sage.

‹11›. Anderson, Chris. 2008. The Long Tainame = "note" Why the Future of Business Is Selling Less of More. Revised edition. New York: Hachette Books.

‹12›. Linoff, Gordon S., and Michael JA Berry. 2011. Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. John Wiley & Sons.