Люди этого ожидают, это несложно выполнить. Защита личной информации человека в данном случае — ваш долг.
ГЛАВА 4 Стратегии сплит-тестирования
Некогда дегустация вслепую была очень популярной телевизионной рекламой. Возможно, самой известной из них была реклама Pepsi, но дегустация вслепую применялась и для мексиканского пива, и для кетчупов, и даже шоколадного печенья. Возможно, вы даже сталкивались со слепой дегустацией парфюма и кондиционеров для белья.
Мой папа использовал эту же технологию для меня в детстве, убеждая, что желтый американский сыр точно такой же на вкус, как и белый. Я был относительно придирчивым едоком и совсем не любил желтый сыр. У меня очень развито визуальное восприятие, поэтому как еда
В маркетинге сплит-концепция берет начало в слепом тестировании, но современные технологии в интернете сделали эту идею проще, доступнее и ценнее. Сегодня сплит-тест не намного отличается от прямого слепого тестирования. В случае с сыром я знал, что прохожу тест, и мой «пользовательский контекст» отличался от предстоящего опыта в реальной жизни (со сливочным сыром). Сплит-тест позволяет проверять многих посетителей, даже не подозревающих об этом. Именно этот факт кардинально увеличивает точность результатов.
С другой стороны, надо помнить конечную цель тестирования. Слепые исследования обычно используются в маркетинговых целях или научных изысканиях. Цель состоит в том, чтобы сделать манипуляции с брендами доступными для понимания. Назначение бренда — всего лишь получение эффекта от слепого тестирования: если бренд узнаваем, люди удостоят его вниманием.
Сплит-тестирование используется для объединения данных,
Вот как это работает
Скажем, вы переделали одну из страниц на своем сайте и думаете, что это увеличит конверсии. Неважно, насколько хороша страница, — вы все равно хотите протестировать ее и убедиться, что она лучше предыдущей. Вы проводите сплит-тестирование, сравнивая старую и новую версии страницы: вводите адреса URL для обеих версий в специальную тестовую программу.
Рис. 4.1 наглядно показывает, как это выглядит. Вы будете удивлены, узнав, как много людей изменили свои страницы без тестирования, в результате чего пострадали их конверсии. Скажем, за определенный отрезок времени к вам на сайт приходят 1000 посетителей. Если у вас два варианта страницы, программа автоматически делит трафик и отправляет 500 человек на одну страницу и 500 — на другую. Вы устанавливаете конечную конверсию и хотите ее измерить (например, продажи), затем программа отслеживает число сконвертированных посетителей на каждой странице. Все это происходит автоматически, поэтому от вас требуется только ждать и наблюдать, какой из вариантов окажется выигрышным.
Рис. 4.1. Сплит-тестирование — это стратегия разделения вашего трафика, когда одну часть посетителей вы отправляете на действующую страницу, а другую — на новую ее версию, чтобы посмотреть, какая даст лучшие результаты. Это позволит измерить истинное поведение вместо того, чтобы предполагать или догадываться
Большинство программ сплит-тестирования подсчитывают, достаточно ли у вас информации для выявления победителя. Затем вы просто устанавливаете эту версию страницы на действующем сайте. Иногда определение победившей страницы может занять много времени (самое долгое тестирование для маленького сайта я наблюдал в течение двух месяцев). Но иногда это происходит за минуты, например на сайтах с тысячной дневной конверсией. Важно понимать: все, что для этого нужно, — как можно больше посетителей. Небольшое количество сведений не позволяет выполнить точный подсчет. Когда вы подкидываете монетку, статистический шанс для нее приземлиться решкой — 50%. Но если вы подбросите ее только четыре раза, есть вероятность, что она все четыре раза опустится решкой. Вам нужно больше данных. Если подбросить монетку 100 раз, то, возможно, она 48 раз приземлится решкой вверх и 52 раза — решкой вниз. Теперь статистика будет близка к 50%. Когда вы тестируете веб-страницы, максимальный сбор данных очень важен.
Точно так же как с подбрасыванием монетки: А-версия страницы может дать 10 конверсий подряд. Вы решите, что это и есть победитель, и прекратите тестирование. Но если вы продолжите и соберете больше данных, то, возможно, обнаружите, что победила версия В. К счастью, большинство программ помогают, если вы будете иметь достаточное количество информации. Вам нужно собрать больше информации, чтобы получить то, что называют
Рис. 4.2 показывает, что ранние победители не подтверждают своего преимущества при долгом тестировании. Сплит-тестирование по-настоящему увлекает. Как только вы точно определите победителя, можете начинать создавать нечто более совершенное. Это затяжной процесс улучшения, использующий статистические данные для подстраховки ваших решений. Вот почему оптимизация уровня конверсии работает так эффективно: все тестируется и отслеживается. Традиционная оптимизация уровня конверсии в первую очередь смотрит на результаты сплит-тестирования страниц сайта, поэтому мы сейчас концентрируемся на этом. Как только вы поймете принцип сплит-тестирования, сможете использовать его для тестирования ваших email-рассылок, рекламы за клик — почти для всего, что захотите. Возможно, вы решите применить несколько другие технологии тестирования или иное программное обеспечение, но идея останется прежней.
Рис. 4.2. Чтобы получить точные результаты сплит-тестирования, необходима статистическая значимость — высококлассное измерение достоверности результатов
Что такое A/B-тестирование
A/B-тестирование означает, что у вас есть два решения: A и B. К примеру, у вас два различных заголовка на главной странице и вы хотите их протестировать, чтобы понять, какой конвертирует лучше. Может показаться глупым называть это A/B- вместо сплит-тестирования, но существуют и более сложные сплит-тесты, которые вы можете использовать. Вскоре мы подойдем к ним.
Есть несколько путей проведения тестирования A/B на веб-странице.
К примеру, у вас есть две версии страницы на разных адресах URL (например, адреса сайтов типа www.yoursite.com). Вы можете ввести эти адреса в бесплатную тестовую программу, такую как Google Content Experiments. Или использовать платную программу, например Optimizely или Visual Website Optimizer, предоставляющую возможность работать с визуальным редактором. С такой опцией вы сможете вводить адрес URL действующей страницы и вносить изменения напрямую в тестовой программе, используя простую функцию перетаскивания в визуальном редакторе (операция drag-and-drop). Эта опция хороша для небольших изменений.
Для кардинальных преобразований проще размещать страницу на другом адресе URL. Если в компании нет веб-дизайнеров, графический редактор — отличное решение. Не нужно быть специалистом в программных кодах: вы просто вносите небольшие изменения в визуальном редакторе, и программа автоматически печатает их на специальную тестовую страницу. Для маленьких сайтов и компаний это отличное решение, чтобы быстро начать сплит-тестирование.
Возможно, вы удивитесь, насколько большими должны быть тесты. Нужно ли немедленно тестировать маленькую идею, например изменение заголовка или изображение, или же анализировать только крупные изменения, такие как полная реконструкция страницы? Я бы сказал, что все зависит от цели и опыта. Если вы тестируете множество изменений сразу, то можете достичь больших успехов за короткий промежуток времени. Однако сложно сказать, какие именно поправки принесут желаемый эффект. С другой стороны, если вы тестируете одно изменение, то значительный рост может потребовать большего времени. Но так проще понять, какое именно изменение привело к конверсии.
Исходя из опыта, я предпочитаю делать большие и сложные изменения максимально быстро. А прежде чем взять на себя большие риски, я предпочитаю начинать с маленьких поправок, чтобы удостовериться в верности предположений. Если вы новичок, то, возможно, захотите начать с малого и протестировать одно или два изменения за раз. Чем больше у вас трафика и продаж, тем больше маленьких изменений окажут весомый эффект. Обычно с крупными клиентами мы обсуждаем варианты стратегий и вместе решаем, какой курс действий лучше в каждой отдельной ситуации.
Когда необходимо тестировать
A/B-тестирование стоит применять при любых изменениях на сайте, спланированном под конверсию. Одна из самых больших ловушек конверсии срабатывает, когда осуществляется непроверенная, порой фатальная идея. Но я больше сталкиваюсь с неудачной реализацией, чем с плохими идеями. К примеру, у вас появилась мысль изменить сайт, но в новом дизайне сайта кнопка «Заказать сейчас» находится в самом низу страницы. Идея свежего оформления неплохая, но положение кнопки оказывается катастрофическим. И если вы осознали, что это и есть фатальная ошибка, — вы сделали первый шаг к победе. Все становится очевидным после теста.
Одни из самых больших ошибок, которые я когда-либо видел, происходят из-за того, что новый сайт не тестировали на сравнение с прежним. К примеру, мы говорим о существующей мультимиллионной компании. Она действительно намучилась с ребрендингом. Управление провело исследования на удобство использования: в итоге новый сайт выглядит достаточно привлекательным и современным, с массой всяческих ненужных функций, которые только мог придумать дизайнер. С точки зрения наглядности это смотрится великолепно. Но никто не провел сравнительного тестирования старого и нового сайтов. В результате продажи компании резко упали — на 300% в месяц, а восстановление прежнего уровня заняло много месяцев. Посетители просто не могли найти правильную страницу или нужную информацию, чтобы сделать заказ. Одна эта ошибка обошлась владельцам компании в миллионы долларов упущенной прибыли. Однако все можно было быстро исправить простым A/B-сплит-тестированием. Поэтому поднимите свою правую руку и повторяйте за мной:
Что такое многомерное тестирование
Тестирование двух версий и более, в противовес простому двойному А/В, называется
Существует несколько видов многомерного тестирования. Первый мы называем A/B/C/D-тестированием, или A/B/n. A/B/C/D-тестирование — в действительности A/B/n-тест четырех страниц, на каждой проверяется что-то свое. Вы одновременно тестируете все страницы в сравнении с другими. Представим, что у вас есть целевая страница и вы не знаете, как улучшить конверсии. Вы нанимаете четырех дизайнеров, чтобы реконструировать одну и ту же страницу, а затем с помощью тестовой программы просто сравниваете их друг с другом и со старой.
В этом случае вы выполняете A/B/C/D/E-тестирование, не сильно отличающееся от A/B-тестирования, о котором мы говорили ранее. Все просто: существует четыре дополнительные версии страницы. Оригинальная версия — А, известная как контрольная, а B/C/D/E — новые дизайны. Четыре здесь не магическое число. Вы можете протестировать на сравнение любое количество страниц. Это могут быть A/B/C/D/E, A/B/C/D/E/F и т. д. Вы уловили суть. Рис. 4.3 иллюстрирует многомерный тест с четырьмя вариантами и текущей версией страницы в качестве контрольной.
Рис. 4.3. Многомерный тест позволяет проводить сплит-тестирование с большим количеством страниц. «Многомерный» — означает, что вы можете тестировать более двух вариантов
Другой тип многомерного тестирования — именно то, о чем думает большинство, впервые услышав эту фразу. Я называю это многомерным комбинированным тестом. Скажем, у вас есть сайт и вы хотите провести тестирование по пяти различным элементам — основному изображению, заголовку, двум разным местам с мотивировкой действия и сноске боковой панели. Вы можете протестировать каждый из этих элементов по отдельности, используя A/B/n-тестирование, но это только поможет определить, какой лучше. Такой анализ ничего не скажет по поводу
Вы можете получить много конверсий с этими тремя элементами. Но тестировали ли их все одновременно? Что если две идеи работают, а одна нет? Как вы узнаете, какая не работает? Если вы поместили все новые идеи на одну страницу и провели A/B-тестирование на сравнение со старой версией страницы, как определите, что происходит? Если тестирование будет неудовлетворительным, то как вы узнаете, почему? Если результат будет положительным, вы также не узнаете, почему. Если две идеи хороши, а одна неудачна, то подавляют ли они друг друга? Уменьшат ли они ваш коэффициент конверсии?
Чтобы создать комбинированный тест, необходимо выделить различные идеи в комбинированные группы, например группы
A C E B C E
A C F B C F
A D E B D E
A D F и т. д.
Как видите, это сбивает с толку. Здесь есть над чем подумать. К счастью, существует программа, которая все может решить за вас.
Как и когда использовать комбинированное тестирование
У многомерного комбинированного тестирования есть значительный недостаток. Для этого теста необходимо огромное количество трафика, иначе проверка займет много времени. Если у вас большая компания или более тысячи посещений сайта в день, то несложно получить необходимое количество людей для построения статистической значимости и достоверности результатов. Но что делать, если всего сто посетителей в день и вы рассматриваете девять или более вариантов теста? Помните, что трафик равномерно распределяется между всеми вариантами страницы. Разделение этой сотни людей на восемь вариантов означает, что для построения статистической достоверности вам потребуется намного больше времени. Другими словами, придется долго определять победителя, потому что в день только около девяти человек будут посещать каждую версию страницы. И у этих девяти, возможно, окажется плохой день. Чтобы определить действительно выигрышную комбинацию, понадобится большое количество данных. И если на вашем сайте нет постоянного трафика, можете ждать результатов комбинированного тестирования много недель или месяцев. Конечно, есть шанс немного сократить время, исключив однотипные или наименее выигрышные комбинации — то есть сузив выбор. Как правило, комбинированное тестирование больше всего подходит компаниям или сайтам с приличным количеством трафика. В ином случае желательно прибегнуть к улучшению маленьких участков, применяя A/B-сплит-тест.
В итоге: если у вас много трафика — используйте комбинированное тестирование, с его помощью вы определите наилучшую комбинацию элементов для улучшения конверсий. Также вы получите б
Рис. 4.4. В этой программе сплит-тестирования вы можете отслеживать различные типы диаграмм, чтобы прийти к выводу: кривая распределяется равномерно
Рис. 4.5. Две эти диаграммы отображены также на рис. 4.4
Рис. 4.6. Эта диаграмма показывает, что сплит-тестирование началось нечетко, но затем линии отделились друг от друга и определился победитель, так как была получена статистическая достоверность
Другой тип многомерного тестирования применяет похожие стратегии, основанные на методе Тагучи. Я называю их
Они используются для получения статистической достоверности тестирования и того уровня надежности, который вам нужен. Эти методы позволяют протестировать большое количество вариантов без обязательного наличия большого трафика. К сожалению, мои любимые инструменты сплит-тестирования пока не применяют эти развитые концепции. В «Лаборатории опытов» я более подробно затрону эту тему, исследуя некоторые варианты использования концепции наряду с ее разрушением. Понимание A/B-, A/B/n- и многомерного комбинированного тестирования поможет в изучении многоразмерного тестирования.
Лучшие современные инструменты тестирования
Секрет хорошего сплит-теста — в программном обеспечении. Вам нужно что-нибудь надежное и простое в использовании, обеспечивающее точные и легкие в понимании данные. Хотя существует великое множество сплит-тестовых программ, у меня есть несколько предпочтений, которые мы сейчас и обсудим.
В течение многих лет одним из наиболее распространенных инструментов сплит-тестирования был «Оптимизатор сайтов Google» (Google Website Optimizer), который с тех пор включен в Google Analytics. Теперь это называется Google Analytics Content Experiments. Причина популярности этого программного обеспечения в том, что Google Analytics — широко используемый продукт, более того — бесплатный. Когда вы объединяете возможности сплит-тестирования с данными в Google Analytics, вам становятся доступны решения всей хост-системы, которые можно изменять и использовать для улучшения коэффициентов конверсии. Лично мне Content Experiments не очень нравится, потому что она довольно новая, но это отличное место старта, если вы работаете с бесплатным программным обеспечением. Я очень надеюсь, что в будущем эта программа предложит больше инструментов. Зная Google, скажу — это возможно. Рис. 4.7 иллюстрирует пример, как будет выглядеть отчет Google Analytics Content Experiments на экране.
Рис. 4.7. Google Analytics Content Experiments — прекрасный инструмент, в большей степени потому что бесплатный и включает простое A/B-тестирование. Эта иллюстрация — пример отчета тестирования для выявления абсолютного победителя
Visual Website Optimizer (рис. 4.8) — еще одна довольно хорошая программа. Компания, продолжительное время работавшая в сфере конверсии, постоянно улучшала ее, поэтому она теперь быстро работает и проста в использовании.
Рис. 4.8. Visual Website Optimizer — инструмент сплит-тестирования, дополненный большим количеством встроенных инструментов, включая возможность создавать собственные варианты напрямую в программе с помощью компоновщика «перетаскивание»
Предрасположенным к визуальному восприятию пользователям эта программа нравится, потому что в собственном сплит-тестировании не нужно разбираться с программным языком HTML или другим кодированием.
В буквальном смысле вы можете кликать на веб-страницу в Visual Website Optimizer, менять заголовок, изменять текст и кнопки — все то, что я уже описывал, и без знаний каких-либо языков программирования.
Вы можете задумывать какие угодно изменения, но многие шаги настолько легко выполнять, что становится просто интересно пробовать новое в сплит-тестировании. Программа позволяет создавать разные версии, разделять трафик, определять выигрышные и проигрышные варианты и даже оповещает, когда пришла пора выявить лидера. Как только вы внесли желаемые изменения, вы можете проводить тестирование и не обращаться к команде технологов. Программа может даже автоматически запускать в работу лучший вариант, и в результате вы даже не потеряете деньги в ожидании декодирования страницы. Это одно из наиболее весомых достоинств Visual Website Optimizer, но далеко не единственное. Мне также нравится качественная информация, получаемая от его тепловой карты кликов: вы можете наблюдать, как люди взаимодействуют с вашей веб-страницей. Меня интересуют и более продвинутые инструменты, такие как геотаргетинг. И все эти преимущества доступны по разумной цене — вот что делает Virtual Website Optimizer моей любимой программой. Кстати, я нередко останавливаю на ней свой выбор для работы с предприятиями малого бизнеса.
Optimizely — новая блестящая игрушка, которая быстро превратилась в мой самый любимый инструмент. По своей функциональности она очень похожа на Visual Website Optimizer. У Optimizely тоже есть редактор перетаскивания, но он сделан проще, а также по умолчанию в нем меньше компонентов. Например, вам необходимо интегрироваться с третьей тепловой картой кликов программы, чтобы использовать эти компоненты. Но она предоставляет данные в более удобном для пользователя интерфейсе, поэтому все, что может быть сделано в Visual Website Optimizer, на один шаг проще в Optimizely, по моему мнению. На момент написания этой книги Optimizely была еще и дешевле.