Помоги проекту - поделись книгой:
Обратите внимание: многие взлеты и падения настроения, выявленные анализировавшей текст командой, соответствуют ключевым событиям.
Большинство историй имеют более простые структуры. Возьмем, например, трагедию Шекспира «Король Иоанн». В этой пьесе все идет гладко. Короля Иоанна Безземельного просят отказаться от престола. Он отлучен от церкви за неподчинение папе римскому. Вспыхивает война. Его племянник умирает – возможно, в результате самоубийства. Другие люди умирают. И в конце умирает Иоанн, отравленный недовольным монахом.
А вот анализ настроений по ходу пьесы.
Другими словами, просто анализируя текст, компьютер смог показать, что события идут от плохого к худшему и к еще более худшему.
Или рассмотрим фильм «127 часов». Его основной сюжет выглядит следующим образом.
Альпинист идет в поход по национальному парку Каньонлендс в штате Юта. Он знакомится с другими туристами, но затем расходится с ними. Внезапно он поскальзывается и сбивает непрочно стоявший камень, который зажимает его руку. Альпинист пытается различными способами освободиться, но каждый раз терпит неудачу. Он впадает в отчаяние. Наконец он отрезает себе руку и убегает. Позже он женится, заводит семью, но продолжает ходить в горы – хотя теперь не забывает оставить записку, когда уходит.
А вот анализ настроений фильма, опять же, сделанный командой ученых Рейгана.
Так что же мы узнаем, изучив настроение тысяч подобных историй?
Специалисты по анализу данных обнаружили, что огромный процент историй вписывается в одну из шести относительно простых структур, обнаруженных командой Рейгана:
От нищеты к богатству (подъем)
От богатства к нищете (падение)
Человек в яме (падение, потом подъем)
Икар (подъем, потом падение)
Золушка (подъем, потом падение, потом подъем)
Эдип (падение, потом подъем, потом падение)
Возможны небольшие отклонения, не учитываемые простой схемой. Например, фильм «127 часов» относится к категории «Человек в яме», хотя есть моменты, когда эмоциональный фон временно улучшается. Но подавляющее большинство историй вписываются в одну из шести категорий. «Гарри Поттер и дары смерти» является исключением.
Нам еще нужно ответить на множество дополнительных вопросов. Например, как изменялась структура истории с течением времени? Становились ли с годами истории сложнее? Имеются ли культурные различия в типах историй? Какие типы историй люди любят больше всего{62}? Мужчин и женщин привлекают разные структуры историй или одинаковые? А как насчет людей из разных стран?
В конечном счете текст как данные может обеспечить нам беспрецедентное понимание того, что на самом деле хотят зрители. Это понимание может существенно отличаться от мнения писателей и создателей фильмов.
Рассмотрим исследование двух профессоров Уортонской школы – Ионы Бергера и Кэтрин Л. Милкмен. Они выясняли, какие типы историй привлекали людей больше всего, какие – позитивные или негативные – скорее попадут в список, которым делятся активнее всего по электронной почте (по данным «Нью-Йорк Таймс»). Исследователи скачивали каждую статью из «Нью-Йорк Таймс» в течение трех месяцев. Используя программу анализа настроений, профессоры расшифровывали настроение статей. Скажем, «Премия «Тони» за меценатство» оказалась положительной историей. А вот «Слухи в интернете о самоубийстве корейской актрисы» и «Германия: умерла кормилица белого медвежонка» – что неудивительно – имели негативный характер.
Профессоры также фиксировали информацию о том, где именно каждая статья была размещена. На главной странице? Сверху справа? Сверху слева? Кроме того, они записывали информацию о времени выхода статьи. Поздно вечером во вторник? В понедельник утром?
Они могли сравнить две статьи (позитивную и негативную), оказавшиеся на сайте «Нью-Йорк Таймс» на одном и том же месте и вышедшие примерно в одно и то же время – чтобы посмотреть, какой из них люди будут активнее делиться по электронной почте.
Итак, какие статьи имеют больше откликов – позитивные или негативные?
Позитивные. Как заключают авторы исследования, «чем позитивнее контент, тем больше он имеет шансов быть распространенным в интернете».
Обратите внимание на этот неожиданный контраст с обычным журналистским представлением о том, что людей привлекают жестокие истории и рассказы о катастрофах. Действительно, СМИ вываливают на головы людей кучу мрачных статей. Пожалуй, нам есть что обсудить в редакционной поговорке: «Чем больше крови, тем сильнее притягивает». Однако исследование профессоров из Уортонской школы показывает, что на самом деле люди хотят видеть больше веселых историй. Они могут предложить новую поговорку: «Если что-то заставляет улыбаться, люди поделятся этим с другими».
Вот вам и вся правда о грустных и радостных текстах. Как бы вы могли определить, какие слова можно считать либеральными или консервативными? Что это говорит нам о современных СМИ? Это немного сложнее и возвращает нас к Генцкоу и Шапиро. Как вы помните, они были экономистами, заметившими, что браки геев по-разному описывались в двух разных газетах, и в этой связи задавшимися вопросом: не смогут ли они использовать язык для выявления политической предвзятости.
Первое, что сделали эти двое – проверили записи
И такие фразы действительно были. Вот несколько примеров в каждой категории.
Что объясняют эти различия в лексике?
Иногда демократы и республиканцы используют разные формулировки для описания одного и того же понятия. В 2005 году республиканцы пытались сократить федеральный налог на наследство. Они, как правило, называют его «налогом на смерть» (это звучит как поборы с недавно усопших). Демократы же обозначили его как «налог на недвижимость» (что выглядит как налог на богатых). Аналогичным образом, республиканцы пытались превратить социальное страхование в индивидуальные пенсионные счета. Для них это была «реформа». Для демократов же это звучало более угрожающе – «приватизация».
Иногда различия в языке – это вопрос расстановки акцентов. Наверняка и республиканцы, и демократы с большим уважением относятся к Розе Паркс, герою борьбы за гражданские права. Но демократы чаще упоминают ее имя. Кроме того, обе партии считают Саддама Хусейна, бывшего президента Ирака, злым диктатором. Но республиканцы гораздо чаще упоминали его в своих попытках оправдать войну в Ираке. Аналогично, борьба за «права трудящихся» и забота о «бедняках» являются основополагающими принципами Демократической партии. «Право частной собственности» и урезание «госрасходов» – основные принципы республиканцев.
И эти различия в использовании лексики весьма существенны. Например, в 2005 году республиканцы в Конгрессе использовали фразу «налог на смерть» 365 раз, а «налог на недвижимость» – всего 46. У демократов картина оказалась прямо противоположной: 35 фраз «налог на смерть» и 195 – «налог на недвижимость».
Если эти слова могут сказать нам, является ли конгрессмен демократом или республиканцем, то ученые поняли, что их можно использовать и для определения газет правого или левого толка. Консервативные газеты делают на своих страницах примерно то же самое, что и республиканцы в конгрессе: последние предпочитают употреблять выражение «налог на смерть» – для убеждения людей противодействовать ему. Например, относительно либеральная «Вашингтон пост» использовала выражение «налог на недвижимость» в 13,7 раз чаще, чем словосочетание «налог на смерть». А более консервативная «Вашингтон Таймс» употребила фразу «налог на смерть» и «налог на имущество» примерно в одинаковых пропорциях.
Благодаря чудесам интернета Генцкоу и Шапиро смогли проанализировать лексику большинства национальных газет. Ученые использовали два вебсайта – news-library.com и proquest.com, – где имеется оцифрованный архив 433 газет. Затем они подсчитали, как часто там употреблялась тысяча подобных политически заряженных выражений – для определения политической ориентации самих СМИ. Самой либеральной по этому показателю оказалась «
Когда у вас появляются первые обстоятельные мерила пристрастий такого широкого спектра СМИ, вы, пожалуй, можете ответить на самый важный вопрос о прессе: почему одни публикации демонстрируют сдвиг влево, а другие – вправо{63}?
Экономисты быстро сосредоточили свое внимание на одном ключевом факторе: политических настроениях в том или ином регионе. Если он в целом либеральный – как Филадельфия и Детройт, – доминирующая газета, скорее всего, будет либеральной. Если же он более консервативен – как Биллингс и Амарилло, штат Техас, – основная часть газет там будет консервативной. Иными словами, факты убедительно свидетельствуют: газеты склонны давать своим читателям то, чего те хотят.
Вы можете сказать, что владелец газеты имеет влияние на направление взглядов своего издания. Но нет. Как правило, на политическую направленность газеты он влияет меньше, чем мы могли бы предположить. Обратите внимание на то, что происходит, когда один и тот же человек или компания владеет газетами на различных рынках. Рассмотрим компанию «Нью-Йорк Таймс». Генцкоу и Шапиро обнаружили, что она владеет как либеральной «Нью-Йорк Таймс» в Нью-Йорке, где около 70 % населения являются демократами, так и (на момент исследования) консервативной «
Исследование имеет огромное влияние на наше представление о новостных СМИ. Многие люди, особенно марксисты, рассматривали американскую журналистику как нечто, управляемое кучкой богатых людей или корпораций с целью воздействия на массы, для того, чтобы подтолкнуть людей к определенным политическим взглядам. Однако в статье Генцкоу и Шапиро показано: это не основная мотивация владельцев газет. Они, прежде всего, стремятся дать массам то, чего те хотят – чтобы владельцы газет могли стать еще богаче.
Да, есть же еще один вопрос – важный, спорный и, возможно, еще более провокационный. Куда, в среднем, больше склоняются американские СМИ – влево или вправо? Другими словами, СМИ в Америке скорее либеральные или консервативные?
Генцкоу и Шапиро обнаружили, что в основном газеты имеют левый уклон. Средняя газета, по используемым в ней словам, больше похожа на конгрессмена-демократа, чем на конгрессмена-республиканца.
«Ага! – могут завопить консервативно настроенные читатели. – Я же говорил!» Многие консерваторы давно подозревали, что газеты, пытаясь манипулировать массами, пишут предвзято – чтобы поддержать левые взгляды.
Нет, это неверно, отвечают авторы статьи. На самом деле либеральный уклон в газетах хорошо откалиброван и заточен на то, что читатели хотят увидеть. Последние, в среднем, имеют небольшой уклон влево. (У исследователей есть данные об этом). И газеты, в среднем, также имеют небольшой уклон влево – чтобы подать своим читателям ту точку зрения, которую они желают видеть.
В этом нет никакого великого заговора. Есть только капитализм.
Новостные СМИ, по данным Генцкоу и Шапиро, часто действуют как любая другая отрасль на планете. Точно так же, как супермаркеты выясняют, какое мороженое люди предпочитают, и заполняют им свои полки, газеты выясняют, какие оценки люди хотят видеть, и заполняют ими свои страницы. «Это просто бизнес», – сказал мне Шапиро{65}. Вот что вы можете узнать, когда разберете на составные части и количественно оцените такие мудреные явления, как новости, анализ и мнения.
Изображения как данные
Традиционно когда ученые или бизнесмены хотели собрать информацию, они проводили исследования. Данные аккуратно формировались на основе чисел или флажков в окошках опросников. Сейчас все иначе. Дни структурированных, чистых и простых полученных в результате исследований данных закончились. Идя по жизни сегодня, мы повсюду оставляем свои грязные следы, которые и становятся основным источником информации.
Как мы уже видели, слова – это данные. Клики – это данные. Ссылки – это данные. Опечатки – это данные. Бананы во сне – данные. Тон голоса – данные. Хрипы – данные. Сердечный ритм – данные. Размер селезенки – данные. Я утверждаю, что поисковые запросы – наиболее разоблачительные данные.
Оказывается, фотографии – тоже данные.
Так же, как слова, собранные в книгах или в периодике и хранившиеся на пыльных полках, фотографии были вытащены из фотоальбомов и картонных коробок и оцифрованы. Они тоже были превращены в биты и байты и запущены в облако. Как текст может преподать нам урок – продемонстрировав, например, как менялась манера людей излагать свои мысли, – так и фотографии могут показать нам историю США – например, изменением способов позирования перед камерой.
Я считаю гениальным исследование группы четырех ученых-компьютерщиков в университетах Браун и Беркли. Они воспользовались достижением цифровой эпохи: многие вузы отсканировали ежегодные фотографии выпускников{66} и сделали их доступными онлайн. В интернете исследователи нашли 949 ежегодников с фотографиями учеников американских средних школ за период 1905–2013 годов. Это собрание включало десятки тысяч снимков. Используя компьютерные программы, ученые смогли создать по фотографиям «обычное» лицо каждого десятилетия. Другими словами, они смогли выяснить среднее расположение и конфигурацию носа, глаз, губ, волос. Здесь представлены типичные лица более чем за век – с разбивкой по полу:
Ничего не замечаете? Американцы – и особенно женщины – стали улыбаться. В начале XX века они фотографировались почти с каменным выражением, а в конце – просто сияли.
Так в чем причина? Разве американцы стали счастливее?
Нет. Ответить на этот вопрос помогли другие ученые. Причина – по крайней мере, на мой взгляд – просто удивительна. На заре фотографии люди относились к ней, как к живописи{67}. Они не могли сравнить этот процесс ни с чем другим. Таким образом, фотосюжеты были скопированы с сюжетов картин. А поскольку люди, позирующие художнику для картины, не могли сохранять улыбку в течение долгих часов, они принимали серьезный вид. Люди, которых снимал фотограф, также делали серьезные лица.
Что же в итоге заставило их поменять выражение лица? Бизнес, прибыль, маркетинг, конечно. В середине ХХ века Kodak – компания, продававшая пленку и камеры – была расстроена тем, что люди делают не слишком много снимков. Тогда была разработана стратегия приучения людей снимать все больше и больше. Рекламные кампании Kodak стали ассоциировать фотографии с понятием счастья. Их целью было заставить людей приобрести привычку делать фото всякий раз, когда они хотели показать другим, что в их жизни произошло нечто хорошее. Так что улыбки в ежегодниках являются результатом этой успешной кампании (как и большинство фотографий, которые вы видите в Facebook и в Instagram сегодня).
Но данные, полученные на основе фотографий, могут рассказать нам гораздо больше, чем обозначение периода времени, когда старшеклассники начали говорить: «Сы-ы-ыр». Удивительно, но снимки в состоянии поведать нам даже о положении дел в экономике.
Познакомьтесь с одной провокационно озаглавленной научной работой: «Измерение экономического роста из космоса». Когда у документа название вроде такого, можете держать пари: я обязательно прочитаю его. Авторы работы – Вернон Хендерсон, Адам Соригард и Дэвид Н. Вайль – начали с замечания, что во многих развивающихся странах существующие измерения валового внутреннего продукта (ВВП) являются неэффективными. Это происходит потому, что значительная часть экономической активности остается незафиксированной в бухгалтерских книгах, а ресурсы правительственных учреждений, в задачу которых входит измерение производительности экономики, довольно ограничены.
Авторы озвучили неординарную мысль. Они говорят, что могли бы измерять ВВП, исходя из того, насколько светло в этих странах ночью{68} – получив эту информацию из фотографий со спутника ВВС США, который делает полный оборот вокруг Земли 14 раз в сутки.
Почему свет в ночное время может быть хорошим показателем ВВП? В очень бедных частях мира людям трудно заплатить за электричество. В результате при плохих экономических условиях в домах резко уменьшалось количество света, которое жители позволяли себе включать ночью.
В Индонезии в результате Азиатского финансового кризиса 1998 года количество света ночью резко снизилось. А в Южной Корее в период с 1992 по 2008 год объем ночного освещения увеличился на 72 %, что соответствовало исключительно высоким экономическим показателям в тот период. В Северной Корее в то же время количество освещения ночью уменьшилось, что соответствовало удручающим экономическим показателям.
В 1998 году в южной части Мадагаскара было обнаружено большое скопление рубинов и сапфиров. Городишко Илакака из практически стоянки для грузовиков превратился в крупный торговый центр. До 1998 года там почти не было ночного освещения, а после обнаружения месторождения за пять лет количество света в ночное время взрывообразно увеличилось.
Авторы признают, что их оценка экономической активности по уровню ночного освещения далека от идеала. Вы не можете точно оценить состояние экономики только по тому, сколько света улавливает спутник. Авторы не рекомендуют использовать этот показатель для развитых стран, где существующие экономические данные дают более точную картину. И, по правде говоря, они обнаружили, что даже в развивающихся странах оценка количества света ночью столь же бесполезна, как и официальные показатели. Но сочетание ущербных правительственных данных и несовершенных показателей ночного освещения дает более точный результат, чем может обеспечить лишь один источник. Другими словами, с помощью снимков, сделанных из космоса, вы можете просто улучшить свое понимание уровня развития экономик той или иной страны.
Джозеф Райзингер, доктор наук в области информатики, разделяет разочарование авторов идеи о ночном освещении в отношении существующих баз данных с информацией об экономиках развивающихся стран. В апреле 2014 года Райзингер отметил, что Нигерия обновила информацию об объеме ВВП с учетом новых секторов, которые тамошние чиновники, возможно, пропустили при опубликовании предыдущих оценок. По их нынешним оценкам, ВВП Нигерии сейчас на 90 % выше{69}.
«Это крупнейшая экономика в Африке, – сказал Райзингер{70}, и его голос постепенно начал набирать силу. – Мы даже не знаем, какие основные параметры мы хотели бы знать об этой стране».
Он хотел найти способ более четко оценивать различные экономические показатели. Его решение – это отличный пример того, как можно переосмыслить данные и какова их реальная ценность.
Райзингер основал компанию «Premise», в которой работают группы сотрудников из развивающихся стран, вооруженные смартфонами. В чем заключается их работа? Фотографировать интересные происшествия, которые могут иметь какое-либо экономическое значение.
Сотрудники, вооружившись смартфонами, могут делать снимки АЗС или фруктовых корзин в супермаркетах. Они фотографируют одни и те же места снова и снова. Фотографии отправляются в головной офис компании, где вторая группа сотрудников – компьютерщики – превращают фотографии в информацию.
Специалисты компании могут проанализировать все – от длины очередей на заправках до того, сколько яблок лежит в корзине в супермаркете, и до цены этих яблок. На основе самых разных фотографий любых видов деятельности компания может начать оценивать уровень экономической активности и инфляции. В развивающихся странах длинные очереди на АЗС – основной индикатор экономических проблем. Равно как недозрелые яблоки и их отсутствие. Снимки, сделанные в Китае, помогли обнаружить продовольственную инфляцию в 2011 году и продовольственную дефляцию в 2012 году – задолго до появления официальных данных.
«Premise» продает эту информацию банкам или хедж-фондам, а также сотрудничает со Всемирным банком.
Как и многие хорошие идеи, «Premise» продолжает приносить пользу. Недавно Всемирный банк заинтересовался размерами теневой экономики на Филиппинах, связанной с сигаретами. В частности, он хотел знать последствия недавних шагов правительства, включавших случайные рейды против производителей сигарет, не уплачивающих налоги. Что придумала компания «Premise»? Фотографировать табачные киоски на улице. Посмотрим, на скольких из них имеются акцизные марки, которые отличают законные сигареты. Было обнаружено, что эта часть теневой экономики, бывшая достаточно обширной в 2015 году, в 2016-м стала значительно меньше. Усилия правительства принесли результат, хотя для того, чтобы понять объем скрытого товара (нелегальных сигарет), требуются новые данные.
Как мы видели, эпоха цифровых технологий принесла совершенно новое понимание того, что считать данными, и из новой информации было сделано много интересных выводов. Знание причин, заставляющих СМИ смещать тональность своих выступлений влево или вправо, обеспечивающих успех первого свидания и возможность выявления хорошо развивающиейся экономики – это только начало.
Неслучайно на основе этих новых данных было сделано немало денег – начиная с десятков миллиардов господ Брина и Пейджа. Джозеф Райзингер также работает не в убыток себе. Обозреватели подсчитали, что годовой доход «Premise» сегодня составляет десятки миллионов долларов. Недавно инвесторы влили в компанию еще 50 миллионов{71}. Это означает, что некоторые из них считают «Premise» одним из самых выгодных предприятий в мире – в первую очередь, в области создания и использования фотографий. То есть в той же лиге, что и «Playboy».
Другими словами, новые типы данных имеют огромное значение как для ученых, так и для предпринимателей. При этом понятие данных в последнее время значительно расширилось. Сегодня специалисты не должны ограничивать себя узким или традиционным представлением о них. В наши дни фотографии очередей в супермаркетах – ценные данные. Наполнение полок там же – данные. Спелость яблок – данные. Фотографии из космоса – данные. Кривизна линии губ – тоже данные. Любая информация!
И все эти новые сведения мы наконец можем увидеть даже сквозь прикрывающую их ложь.{72}
Глава 4
Цифровая сыворотка правды
Все врут. О том, сколько выпили по дороге домой. О том, как часто ходят в тренажерный зал, сколько стоят эти новые туфли, будут ли читать эту книгу. Они говорят, что больны, когда вполне здоровы. Они говорят, что будут на связи, когда не собираются этого делать. Они утверждают, что говорят не о вас, хотя именно вас они и обсуждали. Они говорят, что любят вас, хотя на самом деле это не так. Они говорят, что счастливы, хотя в действительности хандрят. Они говорят, что им нравятся женщины, тогда как предпочитают мужчин. Люди врут друзьям. Боссам. Детям. Родителям. Они обманывают врачей и мужей. Лгут женам. Они врут сами себе.
И они – я совершенно в этом уверен – врут во время опросов.
Вот вам краткий обзор:
Вы когда-нибудь жульничали на экзамене?
Вы когда-нибудь мечтали кого-нибудь убить?
Вам когда-нибудь хотелось соврать? Многие люди при опросах занижают количество случаев неловкого поведения и дурных мыслей. Они хотят хорошо выглядеть, хотя большинство опросов анонимны. Это называется «социально приемлемое смещение».
Одна серьезная статья 1950 года{73} представила веские доказательства того, как опросы могут пасть жертвой этого явления. Исследователи собрали из официальных источников данные о жителях Денвера: сколько процентов из них голосовали, давали деньги на благотворительность и имеют читательский билет в библиотеке. Затем они сами опросили денверцев – чтобы увидеть, насколько эти показатели совпадают с реальностью. Результаты оказались шокирующими. То, что люди сообщали в анкетах, сильно отличалось от сведений, собранных учеными. Хотя никто не подписывал анкету, все в основном преувеличивали свой регистрационный статус избирателя, стремление голосовать и участие в благотворительности.
Изменилось ли что-либо за 65 лет? В век интернета отсутствие библиотечного читательского билета никого больше не смущает. Но несмотря на изменение представлений о неудобном или нежелательном, стремление людей обманывать социологов остается весьма сильным.
Во время недавнего исследования выпускникам университета Мэриленда задавали различные вопросы об их жизни во время учебы{74}. Ответы сопоставлялись с официальными отчетами. Люди постоянно давали неверную информацию, что позволяло им выглядеть лучше, чем они были на самом деле. Меньше 2 % опрошенных сообщили, что закончили обучение со средним баллом ниже 2,5 (в действительности таких было около 11 %). А 44 % заявили, что в прошлом году они сделали пожертвование университету (в действительности таких было около 28 %).
Вполне возможно, именно ложь сыграла роль в провале опроса{75}, не сумевшего предсказать победу Дональда Трампа в 2016 году. Исследования в среднем недооценивали его поддержку примерно на два процентных пункта. Некоторые люди могли постесняться сказать, что собираются голосовать за него. Другие, возможно, утверждали, что затрудняются ответить, в то время как все время были за Трампа.
Зачем люди дают ложную информацию в ходе анонимных опросов? Я спросил об этом Роджера Туранго, почетного профессора университета штата Мичиган и, возможно, лучшего специалиста в мире по отклонению от социально желательного поведения. «Наша слабость в отношении «белой лжи» является важной частью проблемы, – пояснил он. – В реальной жизни люди врут примерно в трети случаев. Эта привычка переносится и на опросы»{76}.
То есть существует странная привычка – иногда мы лжем сами себе. «Имеет место нежелание признаться самому себе, что, мол, ты облажался как студент», – говорит Туранго.
Поделиться книгой: