Помоги проекту - поделись книгой:
Вполне вероятно, а еще неплохо разбираться в том, что такое распределение. Это первое, о чем я намерен поговорить. И хотел бы заострить на нем внимание, поскольку в этом заключается один из главных уроков статистики87: вещи кажутся безнадежно случайными и непредсказуемыми при рассмотрении их по отдельности, однако в совокупности в них обнаруживается закономерность и предсказуемость.
Возможно, вы видели демонстрацию этого принципа в каком-нибудь научном музее (если нет, видеоролики можно найти в интернете). Типичный экспонат представляет собой приспособление под названием доска Гальтона88, которая чем-то напоминает автомат для игры в пинбол, только без флипперов. Внутри его с равными интервалами располагаются ровные ряды штырьков.
Опыт начинается с того, что в верхнюю часть доски Гальтона запускаются сотни шариков. При падении они сталкиваются со штырьками и с равной вероятностью отскакивают то вправо, то влево, а затем распределяются внизу доски, попадая в отсеки одинаковой ширины. Высота столбика из шариков показывает, с какой вероятностью шарик может оказаться в данном месте. Большинство шариков размещаются примерно в середине, по бокам их уже меньше, и еще меньше — по краям. В общем, картина чрезвычайно предсказуема: шарики всегда образуют распределение в форме колокола, хотя предугадать, где окажется каждый отдельно взятый шарик, невозможно.
Каким образом отдельные случайности превращаются в общие закономерности? Но именно так действует случайность. В среднем столбике скопилось больше всего шариков потому, что, прежде чем скатиться вниз, многие из них совершат примерно одинаковое количество прыжков вправо и влево и в результате окажутся где-то посередине. Несколько одиноких шариков, расположившихся по краям, образуют хвосты распределения — это те шарики, которые при столкновении со штырьками отскакивали всегда в одном направлении. Такие отскоки маловероятны, поэтому по краям так мало шариков.
Подобно тому как местоположение каждого шарика определяется суммой множества случайных событий, многие явления в этом мире являются следствием множества мелких обстоятельств и тоже подчиняются колоколообразной кривой. По этому принципу работают страховые компании. Они с высокой точностью могут назвать количество своих клиентов, которые умирают каждый год. Однако не знают, кому именно не повезет на этот раз.
Или возьмем, к примеру, рост человека. Он зависит от бесчисленного количества случайностей, связанных с генетикой, биохимией, питанием и окружающей средой. Следовательно, велика вероятность, что при рассмотрении в совокупности рост взрослых мужчин и женщин будет представлять собой колоколообразную кривую89.
В одном блоге под названием «Ложные данные, которые люди сообщают о себе в интернете» статистическая служба сайта знакомств OkCupid90 недавно опубликовала график роста своих клиентов или, скорее, указанных ими значений. Обнаружилось, что показатели роста представителей обоих полов, как и ожидалось, образуют колоколообразную кривую. Однако удивительно то, что оба распределения были примерно на два дюйма смещены вправо относительно ожидаемых значений.
Таким образом, либо рост клиентов, опрошенных компанией OkCupid, превышает средний, либо при описании себя в интернете они прибавляют к своему росту еще пару дюймов.
Идеализированной версией подобных колоколообразных кривых является то, что математики называют нормальным распределением. Это одно из важнейших понятий в статистике, имеющее теоретическое обоснование. Можно доказать, что нормальное распределение возникает при сложении большого количества мелких случайных факторов, причем каждый из них действует независимо от других. И многие события происходят именно таким образом.
Но не все. И это второй пункт, на который я хотел бы обратить внимание. Нормальное распределение не такое уж вездесущее, как кажется. На протяжении сотни лет, и особенно в последние несколько десятилетий, ученые и специалисты в области статистики отмечают существование множества явлений, отклоняющихся от этой кривой и следующих собственному графику. Любопытно, что подобные типы распределений практически не упоминаются в учебниках по элементарной статистике, а если и встречаются, то обычно рассматриваются как некие патологии. Это странно. Я попытаюсь объяснить, что многие явления современной жизни приобретают больший смысл при условии понимания этих «патологических» распределений. Это новая нормальность.
Возьмем, к примеру, распределение размеров городов в США. Вместо того чтобы скапливаться вокруг некоей средней величины колоколообразной кривой, подавляющее большинство городов имеют небольшой размер и, следовательно, скапливаются в левой части графика.
И чем больше население города, тем реже такие города встречаются. Иначе говоря, в совокупности распределение будет представлять собой скорее кривую в форме буквы L, чем колоколообразную кривую.
И в этом нет ничего удивительного. Все знают, что мегаполисов гораздо меньше, чем маленьких городов. Хотя это не так очевидно, размеры городов подчиняются простому красивому распределению — если посмотреть на них в логарифмическом масштабе.
Будем считать, что различие между двумя городами одно и то же, если их население отличается в одно и то же число раз (подобно тому как две любые клавиши рояля, отстоящие на октаву, всегда разнятся вдвое по частоте). И сделаем то же самое на вертикальной оси.
Теперь данные располагаются на кривой, представляющей собой почти идеальную прямую линию. Исходя из свойств логарифмов, нетрудно вывести, что исходная L-образная кривая представляет собой степенн
где
Степенн
Этот пример демонстрирует важнейшее свойство распределений степенн
В «черный понедельник», 19 октября 1987 года, промышленный индекс Доу-Джонса упал на 22%. По сравнению с обычным уровнем нестабильности на фондовом рынке это падение составило более двадцати стандартных отклонений. Согласно традиционной статистике (в которой используется нормальное распределение), подобное событие практически невозможно: его вероятность составляет менее чем один случай на 100 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 (10 в 50 степени). Однако это произошло — поскольку колебания цен на фондовом рынке93 не соответствовали нормальному распределению. Для их описания лучше подходят распределения с «тяжелым хвостом».
Подобное происходит с землетрясениями, пожарами и наводнениями, что усложняет страховым компаниям задачу управления рисками. Такая же математическая модель описывает число погибших в результате войн и террористических атак, а также другие, гораздо более мирные вещи, такие как количество слов в романе или число сексуальных партнеров у человека.
Хотя прилагательные, используемые для описания длинных хвостов, выставляют их в не слишком выгодном свете, «хвостатые» распределения гордо несут свои хвосты. Жирный, тяжелый и длинный? Да, это так. Но в таком случае покажите, какой нормальный?
23. Шансы — это…
Вам когда-нибудь снился страшный сон, будто вам нужно сдать экзамен по предмету, который вы не изучали? Преподавателям обычно снятся «противоположные» сны: что они читают лекцию по дисциплине, о которой ничего не знают.
Такое случается со мной, когда я веду курс теории вероятностей94. Меня никогда ей не учили, и то, что мне приходится читать лекции по этому предмету, — страшно, смешно и очень похоже на дом с привидениями в парке развлечений.
Однако чаще всего мое сердце колотится, когда я сталкиваюсь с темой условной вероятности, то есть вероятности того, что некое событие А произойдет при условии, что произойдет некое событие B. Это скользкое понятие легко спутать с вероятностью наступления B при условии A. Однако это разные вещи, и нужно быть очень внимательным при вычислении их вероятностей. В качестве примера рассмотрим следующую задачу.
Прежде чем отправиться на недельный отдых, вы просите приятеля поливать ваши комнатные цветы, которые и так еле живы. Если их не поливать, то вероятность того, что они погибнут, составит 90%. Если поливать регулярно, то вероятность их гибели будет равна 20%. Вероятность того, что ваш друг забудет их полить, составляет 30%. Вопрос А: какова вероятность того, что ваши растения не погибнут за эту неделю? Вопрос В: если по возвращении вы обнаружите, что они засохли, какова вероятность того, что ваш друг забыл их полить? Вопрос С: если ваш друг забыл их полить, какова вероятность того, что они погибнут к вашему возвращению? Хотя вопросы В и С звучат похоже, они разные. В действительности в условии задачи уже содержится ответ на вопрос С — 90%. Однако как учесть все вероятности, чтобы получить ответы на вопросы В и А?95
Естественно, на протяжении нескольких первых семестров преподавания этой темы я засел за книги и стал делать медленные, но верные успехи. И постепенно начал кое-что замечать. Многие мои студенты не использовали теорему Байеса, которой я их обучал, а решали задачу равноценным способом, казавшимся им более простым.
Открытия, год за годом совершаемые изобретательными студентами, стали для меня лучшим способом размышления над условными вероятностями. В предложенных способах решения студенты прибегали к помощи интуиции, вместо того чтобы отвергать ее. Трюк состоял в том, чтобы мыслить натуральными числами, а не абстрактными категориями, такими как процентное соотношение, шансы или вероятности. Как только вы перестроите свое сознание, туман рассеется.
Это главная идея захватывающей книги Calculated Risks («Просчитанные риски») Герда Гигеренцера, когнитивного психолога из Института человеческого развития Макса Планка в Берлине. В ряде исследований, посвященных медицинским и правовым проблемам, от консультаций больных СПИДом до анализа ДНК по отпечаткам пальцев, Гигеренцер изучает заблуждения при подсчетах рисков и неопределенности. Однако вместо того чтобы брюзжать и оплакивать человеческую слабость, он демонстрирует, как избежать заблуждений, переводя задачи условной вероятности на язык натуральных чисел, подобно тому как это делали мои студенты.
В одном из исследований Гигеренцер и его коллеги проводили опрос врачей в Германии и США, в ходе которого просили оценить вероятность того, что женщина с положительной маммографией больна раком груди, даже если она входит в группу с низким уровнем риска, то есть ее возраст от 40 до 50 лет, отсутствуют симптомы и наследственная предрасположенность96. Чтобы конкретизировать вопрос, врачей также просили привести следующую статистику в процентах и степени вероятности: данные о распространенности рака груди среди женщин этой категории, а также о чувствительности маммографии и вероятности ложноположительных результатов.
Вероятность того, что у одной из этих женщин рак груди, составляет 0,8%. Если же женщина действительно больна, то вероятность того, что ее маммография будет положительной, равна 90%. Тем не менее, если женщина здорова, вероятность того, что ее маммография окажется положительной, составляет 7%. Допустим, у женщины положительная маммография. Какова вероятность того, что она действительно больна раком груди?
Гигеренцер описывает реакцию первого опрошенного им врача, заведующего отделением университетского госпиталя, имеющего более тридцати лет профессионального опыта.
Было очевидно, что он очень нервничал, пытаясь проанализировать все цифры. И в конечном итоге пришел к выводу, что вероятность того, что у женщины рак груди, при условии положительной маммографии, составляет 90%. Он нервно добавил: «Боже, полный абсурд. Я не могу с этим согласиться. Попробуйте задать вопрос моей дочери, она учится на врача». Он знал, что его оценка ошибочна, однако не знал, как это аргументировать. Потратив 10 минут на обдумывание ответа, он не смог просчитать, какое заключение сделать из имеющихся вероятностей.
Гигеренцер задал тот же вопрос двадцати четырем немецким врачам; их оценки варьировались от 1 до 90%. Восемь посчитали, что вероятность составляет 10 и менее процентов, еще восемь назвали результат 90%, а предположения еще восьмерых колебались в пределах 50–80%. Представьте, каково было бы пациентке слышать столь противоречивые мнения.
Что касается американских врачей, девяносто пять из ста решили, что вероятность того, что женщина больна, равна примерно 75%.
Правильный ответ: 9%.
Как получилось, что процент столь низкий? Гигеренцер утверждает, что анализ становится практически прозрачным, если перевести исходную информацию из процентного соотношения и вероятностей в натуральные числа возможных исходов.
У восьми женщин из тысячи рак груди, причем у семи из них положительная маммография. Среди оставшихся 992 женщин положительную маммографию будут иметь примерно 70. Возьмем женщин, обследование которых дало положительный результат. Сколько из них действительно больны раком груди?
Так как всего в группу риска попало 77 (7 + 70 = 77) женщин — но только семь из них на самом деле больны раком груди, — вероятность того, что у женщины рак груди, при условии положительной маммографии, составляет 7 из 77, или 1 из 11, то есть примерно 9%.
Отметим два упрощения в приведенных выше подсчетах. Во-первых, мы округлили десятые доли до целых чисел. Так бывает в случаях, подобных тому, где мы сказали «Из восьми женщин, больных раком груди, семь имеют положительную маммографию». В действительности надо было сказать: 90% из 8 женщин, или 7,2. Таким образом, мы немного пожертвовали точностью для большей ясности изложения.
Во-вторых, мы исходили из того, что все происходит именно с той частотностью, которая предполагается данной вероятностью. Например, поскольку вероятность рака груди составляет 0,8%, мы предположили, что им больны именно 8 женщин из 1000 нашей гипотетической выборки. Но эти цифры могут не совпадать с реальностью. События не обязаны соответствовать вероятности своего наступления, ведь, если подбросить монетку 1000 раз, необязательно 500 раз выпадет орел. Но, решив, что так и будет, мы получим правильный ответ для подобных задач.
Обычно такая логика считается несколько сомнительной, поэтому ученые мужи смотрят свысока на данный подход в сравнении с более строгой, но сложной в использовании теоремой Байеса. Однако ясность ответа является достаточным аргументом для его применения. Когда Гигеренцер провел повторный опрос еще среди двадцати четырех врачей, на этот раз используя целочисленные вероятности, практически все ответили правильно.
Хотя перевод данных в натуральные числа возможных исходов оказывает нам огромную услугу, задачи по условной вероятности могут ставить в тупик по другим причинам97. Здесь существует опасность неверной постановки вопроса или подсчета правильной, но вводящей в заблуждение вероятности.
Этим грешили как обвинение, так и защита во время судебного процесса над О. Дж. Симпсоном в 1994–1995 годах98. Обе стороны попросили суд рассмотреть ложную условную вероятность.
Обвинение в течение первых десяти дней процесса доказывало, что Симпсон неоднократно проявлял насилие в отношении своей бывшей жены Николь Браун: регулярно избивал, унижал и прилюдно раздевал, говоря окружающим: «Это принадлежит мне». Однако каким образом эти действия относились к процессу об убийстве? Аргументом обвинения было то, что насилие в семье выступало как мотив убийства. По словам одного из обвинителей, «удар — это прелюдия убийства».
Защитник обвиняемого Алан Дершовиц99 приводил доводы, что даже если бы голословные утверждения о домашнем насилии оказались правдой, они не относятся к делу и, следовательно, недопустимы. Позднее он написал: «Нам необходимо было доказать, что среди тех, кто избивает своих партнеров, лишь ничтожно малое число, менее 1 из 2500, совершают убийство».
В действительности же обе стороны просили суд рассмотреть вероятность того, что Симпсон убил бывшую жену, принимая во внимание тот факт, что при жизни он ее избивал. Однако специалист в области статистики И. Гуд отметил, что для этого не существует верного доказательства, на которое можно было бы сослаться.
Вопрос на самом деле в следующем: какова вероятность того, что муж убил свою бывшую жену, если до убийства он ее бил и она была кем-то убита? Условная вероятность в таком случае очень далека от схемы 1 на 2500.
Чтобы разобраться почему, представим себе выборку из 100 тысяч избитых женщин. Ссылаясь на предоставленные Дершовицем цифры — 1 из 2500, допустим, что примерно сорок из этих женщин были убиты мужьями в этом году (поскольку 100 000 разделить на 2500 равно 40). Можно также предположить, что еще трое из них убиты кем-либо другим100 (эта оценка основана на статистике ФБР, касающейся количества женщин, убитых в 1992 году). Итак, из этих 43 жертв 40 были убиты теми, кто их избивал. Другими словами, в 93% случаев убийцей являлось лицо, избивавшее женщину.
Не путайте это число с вероятностью того, что это сделал Симпсон. Она зависит от множества других обстоятельств, от разных «за» и «против». Например, от заявления защиты о том, что полиция выдвинула Симпсону ложные обвинения, а также от заявления обвинения, что убийца и Симпсон носили одинаковую обувь, перчатки и имели почти одинаковый код ДНК.
Какова вероятность того, что что-нибудь из перечисленного изменит ваше мнение о вынесенном приговоре? Ноль.
24. Распутывание всемирной паутины
В те далекие времена, когда Google еще не существовало, поиск в сети был безнадежным занятием101. Сайты, предлагаемые старыми поисковыми машинами, часто не соответствовали запросу, а те, которые содержали нужную информацию, были либо глубоко запрятаны в списке результатов, либо вообще отсутствовали.
Алгоритмы на основе анализа ссылок решили проблему, проникнув в суть парадокса, подобного коанам дзен: в результате поиска в интернете должны были отображаться лучшие страницы. А что же, кузнечик102, делает страницу лучшей? Когда на нее ссылаются другие не менее хорошие страницы.
Звучит подобно рассуждениям про замкнутый круг.103 Так и есть. Именно поэтому все настолько сложно. Ухватившись за эту идею и превратив ее в преимущество, алгоритм анализа ссылок дает решение поиска в сети в стиле джиу-джитсу.
Этот подход построен на идеях, взятых из линейной алгебры104, изучения векторов и матриц. Если вы хотите выявить закономерности в огромном скоплении данных или выполнить гигантские вычисления с миллионами переменных, линейная алгебра предоставит для этого все необходимые инструменты105. С ее помощью был построен фундамент для алгоритма PageRank106, положенного в основу Google. Она также помогает ученым классифицировать человеческие лица107, провести анализ голосования в Верховном суде108, а также выиграть приз Netflix109 (вручаемый команде, сумевшей улучшить более чем на 10% систему Netflix, на основе которой составляются рекомендации для просмотра лучших фильмов).
Чтобы изучить линейную алгебру в действии, рассмотрим, как работает алгоритм PageRank. А чтобы выявить его сущность без лишней суеты, представим игрушечную паутину, состоящую всего из трех страниц, связанных между собой следующим образом:
Стрелки указывают, что страница X содержит ссылку на страницу Y, однако Y не отвечает ей взаимностью. Наоборот, Y ссылается на Z. Тем временем X и Z ссылаются друг на друга, сцепившись между собой цифровыми лапками.
Какие страницы самые важные в этой маленькой паутине? Вы можете подумать, что это невозможно определить из-за недостатка информации об их содержимом. Но такой способ мышления устарел. Беспокойство по поводу контента вылилось в неудобный способ ранжирования страниц. Компьютеры мало понимают в смысловом наполнении, а люди не справляются с тысячами новых страниц, которые каждый день появляются в сети.
Подход, придуманный Ларри Пейджем и Сергеем Брином, аспирантами университета и основателями Google, состоял в том, чтобы позволить страницам самим ранжироваться в определенном порядке, голосуя ссылками. В приведенном выше примере страницы X и Y ссылаются на Z, благодаря чему Z становится единственной страницей с двумя входящими ссылками. Следовательно, она и будет самой популярной страницей в данной среде. Однако если ссылки поступают со страниц сомнительного качества, они станут работать против себя. Популярность сама по себе ничего не значит. Главное — иметь ссылки с хороших страниц.
И здесь мы снова оказывается в замкнутом круге. Страница считается хорошей, если на нее ссылаются хорошие страницы, но кто изначально решает, какие из них хорошие?
Это решает сеть. Вот как все происходит. (Далее я буду пропускать некоторые подробности, изложенные в примечании 110.)
Алгоритм Google назначает для каждой страницы дробное число от 0 до 1. Это численное значение называется PageRank и измеряет «важность» страницы по отношению к другим, высчитывая относительное количество времени, которое гипотетический пользователь потратит на ее посещение. Хотя пользователь может выбирать более чем из одной исходящей ссылки, он выбирает ее случайно с равной вероятностью. При таком подходе страницы считаются более авторитетными, если они чаще посещаются.
А поскольку индексы PageRank определяются как пропорции, их сумма по всей сети должна составлять 1. Этот закон сохранения предполагает другой, возможно, более осязаемый способ визуализации PageRank. Представьте его как жидкое вещество, текущее по сети, количество которого уменьшается на плохих страницах и увеличивается на хороших. С помощью алгоритма мы пытаемся определить, как эта жидкость распределяется по интернету на протяжении длительного времени.
Ответ получим в результате многократно повторяющегося следующего процесса. Алгоритм начинается с некоего предположения, затем обновляет все значения PageRank, распределяя жидкость в равных частях по исходящим ссылкам, после этого она проходит несколько кругов, пока не установится определенное состояние, при котором страницы получат причитающуюся им долю.
Изначально алгоритм задает равные доли, что позволяет каждой странице получить одинаковое количество PageRank. В нашем примере три страницы, и каждая из них начинает движение по алгоритму со счетом 1/3.
Начальные значения PageRank
Затем счет обновляется, отображая реальное значение каждой страницы. Правило состоит в том, что каждая страница берет свой PageRank с последнего круга и равномерно распределяет его по всем страницам, на которые ссылается. Следовательно, обновленное значение страницы X после прохождения первого круга по-прежнему равно 1/3, поскольку именно столько PageRank она получает от Z, единственной страницы, которая на нее ссылается. При этом счет страницы Y уменьшается до 1/6, так как она получает только половину PageRank от X после предыдущего круга. Вторая половина переходит к странице Z, что делает ее победителем на данном этапе, поскольку она добавляет себе еще 1/6 от страницы X, а также 1/3 от Y, и всего получается 1/2. Таким образом, после первого круга мы имеем следующие значения PageRank:
Значения PageRank после одного обновления
В последующих кругах правило обновления остается прежним. Если обозначить через
где штрихи говорят о том, что произошло обновление. Подобные многократно повторяющиеся вычисления удобно выполнять в электронной таблице (или вручную, если сеть маленькая, как в нашем случае).
После десяти повторений обнаружим, что от обновления к обновлению цифры практически не меняются. К этому моменту доля X составит 40,6% от всего PageRank, доля Y — 19,8%, а Z — 39,6%. Эти значения подозрительно близки к числам 40, 20 и 40%, что говорит о том, что алгоритм должен к ним сходиться.
Так и есть. Эти предельные значения алгоритм Google и определяет для сети как PageRank.
Предельные значения PageRank
Вывод для данной маленькой сети такой: страницы X и Z одинаково важны, несмотря на то что у Z в два раза больше входящих ссылок. Это и понятно: страница X равна Z по значимости, поскольку она получает от нее полное одобрение, однако взамен дает ей лишь половину своего одобрения. Вторая половина отправляется Y. Это также объясняет, почему Y достается только половина от долей X и Z.
Интересно, что эти значения можно получить, не прибегая к многократным итерациям. Надо просто подумать над условиями, определяющими стационарное состояние. Если после очередного обновления ничего не меняется, то
при решении которой
Давайте на мгновение вернемся назад и посмотрим, как все это вписывается в широкий контекст линейной алгебры. Приведенное выше уравнение стационарного состояния, так же как и уравнения обновления, содержащие штрихи, — типичные примеры линейных уравнений. Они называются линейными, поскольку описывают прямые линии: переменные
Линейные уравнения, в противоположность уравнениям, содержащим нелинейные члены, например
Однако самой существенной победой линейной алгебры, с точки зрения ее роли в повседневной жизни, безусловно, стало решение парадокса дзен-буддизма для ранжирования страниц. «Страница хороша в той мере, в какой хорошие страницы ссылаются на нее». Переведенный в математические символы, этот критерий становится алгоритмом PageRank.
Поисковик Google стал тем, чем он есть сегодня, после решения уравнения, которое и мы с вами только что решили, но с миллиардами переменных — и, соответственно, с миллиардными прибылями.
25. Самые одинокие числа
Как поется в знаменитой песне 1960-х годов, один — самое одинокое число111, хотя, вдвоем порой бывает еще хуже, чем одному. Возможно, так и есть, но и с простыми числами тоже все непросто.
Поделиться книгой: