Ответ
Почему A/B тестирование не дает результат Опции темы
Старый 29.08.2014, 14:33
  #1
Tallulah
 
Регистрация: 23.07.2014
Сообщений: 74

Почему A/B тестирование не дает результат
В 2013 году eConsultancy & RedEye провели исследование, в котором участвовало почти 1 000 маркетологов, работающих в крупных компаниях и корпорациях, а также в различных агентствах. Результаты исследования показали, что в 60% случаев сплит-тестирование оказалось «довольно ценным» для бизнеса.

Тем не менее лишь четверть (28%) были удовлетворены уровнем конверсии.





Любопытно, но другое исследование от VWO выявило, что только 1 из 7 A/B тестов является статистически значимым.





Мы провели свое исследование на Convert.com, в котором проанализировали 700 экспериментов и снова выявили, что 1 из 7 экспериментов (14%) оказал положительное влияние на уровень конверсии для всех клиентов, не являющихся агентством.

Но здесь начинается самое интересное … для клиентов, которые обращались к агентству, специализирующемуся на оптимизации конверсии, 1 из 3 (33%) тестов привел к статистически значимому результату.

Вы все правильно поняли: многие агентства по оптимизации конверсии добились почти в 3 раза лучшего результата от сплит-тестирования, чем другие клиенты, пользующиеся аналогичными инструментами сплит-тестирования.

Почему эти агентства оказались в более выигрышной ситуации? Я поделюсь с вами всем, что нам удалось выявить в ходе исследования. Дело в том, что если результат статистически значимый, это еще не означает полную победу. Это всего лишь значит, что вероятность того, что больше людей предпримут желаемое действие, если им представят этот конкретный вариант.

Пип отметил, что «конверсия» сама по себе – довольно пустая метрика. Если у вас есть вариация, которая показывает скидку 90% от полной стоимости, конечно вариация «выиграет», но если это не приведет к дополнительной прибыли, то эта метрика полная ерунда.

В свете результатов моего исследования (см. статью о тестировании фреймворков для конверсии), показывающих, что только 13% компаний основывают свое тестирование на обширных исторических данных, уверен, что вы еще сможете узнать огромное количество полезной информации из этой статьи.

A/B тестирование – это только 20% процесса конверсии

Будучи руководителем Convert.com я изучаю исключительно всю статистику каждого теста.

Могу сказать откровенно, клиенты, приходящие за нашим инструментом и ожидающие, что сплит-тестирование платформы сотворит для них чудо, вряд ли вообще замечают какой-либо успех.

Само по себе сплит-тестирование – это самая последняя часть всего процесса. Оно не стоит на первом месте. Поэтому, прежде чем становиться клиентом A/B платформы, имейте хотя бы этот минимальный набор:

• Любой инструмент юзабилити-тестирования
• ПО для построения тепловых карт сайта
• Некоторый уровень понимания своей аналитики





Только поняв поведение сайта, у вас появится возможность внедрить более успешные тесты. Вот как проводят время лучшие клиента Convert:

• 60% от общего времени по оптимизации конверсии посвящается управлению проектом и изучению внутренней политики клиента.
• 20% времени отводится на понимание проблемы на странице сайта и детального изучения поведения посетителя.
• 20% времени отводится на разработку, тестирование и отчеты.

Последние 20% времени включают в себя A/B тестирование и фактическую настройку тестирования. Хотелось бы попросить вас не слишком увлекаться, когда такие люди как Пип или я дают оценку целевым страницам на конференциях или Page Fights.

Все это хорошо, но это только поверхностное изложение того, что на самом деле включает в себя фактический процесс оптимизации конверсии. Мнения критиков и экспертов призваны привлечь внимание клиентов к теме оптимизации уровня конверсии, но они работают против нас, когда дело заходит о практическом внедрении процесса. Все не так красиво и радужно, как это описывают.

Оптимизация уровня конверсии – это процесс, который, преимущественно, включает в себя аналитику, просмотр тепловых карт сайта и анализ пользовательских сеансов. Так выглядит изучение сеансов при помощи такого инструмента, как mouseflow.



Впечатляет, правда? Вот, что делают самые успешные агентства, чтобы получить такие результаты:

Понимание аналитики

Когда MarketingSherpa выпустили свой E-commerce Benchmark, мое внимание привлек один график.

Из 1657 исследованных, пять из шести групп с наибольшим доходом, улучшившие свою прибыль, в два раза увеличили шансы на успех оптимизации, используя обширные исторические данные, в отличие от тех, кто действовал по интуиции. То же самое исследование MECLabs показало, что вероятность успеха выше при использовании исторических данных и это наилучшая практика для оптимизации. Однако только 135 компаний полагаются на исторические данные в своей стратегии тестирования. В этом блоге можно найти огромное количество примеров компаний, которые используют аналитические данные для проведения успешного тестирования.





Один из выделяющихся примеров описан в статье Кэйси Армстронга о снижении ухода посетителей. Groove использовали метрики, которые они назвали «Красным флагом», чтобы выявить поведение ухода с сайта и проактивно вернуть клиентов, как только они начинают проявлять признаки тех, кто только что покинул сайт.





Вывод: Для агентств, которые проводят более удачные тесты, этот успех в основном объясняется тем, что тест стал прямым ответом на полученные данные в конкретных сегментах трафика сайта.

Более подробно об аналитике читайте ЭТИ СТАТЬИ:

10 отчетов Google Analytics, которые скажут вам, куда утекают ваши деньги
7+ аналитических отчетов, не получивших должного внимания
10 экспертов в области оптимизации делятся своими любимыми отчетами Google Analytics

Понимание рынка





Вы удивитесь, какое количество компаний не знают, кто их клиенты. Конечно, вы знаете, по каким ключевым словам они к вам пришли. Но знаете ли вы:

• Почему они выбрали вас, а не конкурентов?
• Почему ваше представление ценности сделало вас уникальными в представлении клиентов?
• Почему большинство лояльных клиентов продолжают возвращаться к вам?
• Почему новые клиенты уходят?

Более того, вы изучали социальные медиа, чтобы понять, существует ли проблема, которую вы пытаетесь решить? Вы рассматриваете всю доступную информацию, чтобы понять, как потенциальные клиенты на вашем рынке описывают проблему? Джен Хэйвиц говорит об это довольно подробно в своей статье.

Вот здесь нужно глубоко копать, чтобы понять, что продукт отличный, но это также и один из способов сформулировать гипотезу теста, которая просто так ниоткуда не появится.

Вывод: Многие наиболее успешные агентства используют нашу платформу, чтобы исследовать поведение потребителя и понять, что для него самое важное и почему имеет место определенное поведение.

Таким образом, когда они проводят исследование, они уже примерно понимают, что будет работать и почему. То есть, они не запускают тест вслепую в надежде на положительный исход. Для лучшего понимания этой темы, рекомендую ознакомиться со следующими статьями:

Как определить свой целевой рынок (и больше продавать онлайн)
14 инструментов для понимания, почему ваши посетители уходят с сайта
Как писать убедительно, если у вас нет аудитории

Позвоните клиентам и спросите «Почему» 5 раз





Я фанат Эрика Райса и его концепции бережливого стартапа, а также книги автора Эш Мауриа «Бизнес налегке» (Ash Maurya, Running Lean). Это отличные инструменты для понимания клиентов. Важная часть бережливой методологии – спросить «почему» 5 раз, чтобы понять проблему и посмотреть, есть ли у вас подходящее решение. Этот способ – адаптация методологии, разработанной Таичи Оно из компании «Тойота».

В этой статье Эрик показывает примеры того, как это работает:

«Сталкиваясь с проблемой, вы когда-нибудь останавливались и спрашивали себя 5 раз, почему это произошло? Это трудно сделать, хотя звучит все очень просто. Например, предположим, что машина перестала работать :

1. Почему остановилась машина? (была перегрузка и перегорел предохранитель).
2. Почему произошла перегрузка? (подшипник был плохо смазан).
3. Почему подшипник был плохо смазан? (насос подачи смазки плохо работал).
4. Почему насос плохо работал ? (износился привод насоса).
5. Почему износился привод? (не был присоединен фильтр и в насос попали металлические частицы)».

Применяя такую структуру 5 «почему» к проекту конверсии, я предлагаю взять телефон, встретиться с клиентами лично и запланировать звонки по Skype, чтобы узнать прямо от них, почему они выбрали именно вас, а не конкурентов.

Также можно детально изучить сервис звонков от клиентов (если он у вас есть), чтобы выяснить, почему клиенты отменяют сделки и отказываются от покупки.

Вывод: Аналогично предыдущему разделу статьи, многие агентства, которые пользуются нашим инструментом, делают все возможное, чтобы лично встретиться с реальными клиентами и найти корень проблемы. Что интересно, во время личных встреч вы можете заметить одинаковые позы или жесты, характерные именно для ваших клиентов.

Такие небольшие дополнительные намеки можно использовать для создания общей тональности сайта. Такой эмоциональный дизайн может охватывать все от материалов, изображений, структуры сайта и так далее.

Более подробно о том, как понять поведение клиента:

Необходимы ли эмоции для увеличения продаж
26 ресурсов, которые помогут вам отточить мастерство интервью с клиентами
Это не проблема конверсии, это проблема работы с клиентами

Опросы для лучшей формулировки гипотезы





Так как интервью с клиентами трудно измерить, разумно разослать клиентам опросники с вопросами, требующими развернутого ответа.

Отт написал отличную статью о сборе качественных отзывов. Больше всего мне понравилось, как он рекомендует шифровать ответы, чтобы получить мгновенное общее представление об отзыве.

Конечно, правильно разработанный опросник поможет вам придумать такие вопросы, на которые раньше вы не знали ответа. Например, авторы блога и эксперты в области конверсии выявили, что многие потенциальные клиенты считали, что предложение «слишком хорошее, чтобы быть правдой», что, конечно, в итоге попало в вариацию теста.

Вывод: Читая причины сомнений потенциальных клиентов в отношении регистрации и подписки, вы сможете разработать тесты, которые непосредственно обращаются к проблемам клиентов. Больше об опросах клиентов можно узнать из следующих статей:

Все, что вам нужно знать о качественных опросниках
10 обязательных тактик для создания ценного опросника клиента

Создаем макеты





Собрав и проанализировав как можно больше исследований, многие агентства, с которыми я разговаривал, создают макеты страниц сайта, аналогичные настоящим страницам. Так, клиенты смогут получить представление, как будет выглядеть сайт.

В некоторых случаях эти макеты можно показать клиентам, которые захотят увидеть основы юзабилити-тестирования. Пройдясь по макету с клиентами, агентство сможет выявить потенциальные проблемы с дизайном и устранить их до того, как будут вложены деньги в дорогостоящий дизайн и процесс разработки.

Вывод: Вместо того, чтобы тратить время и ресурсы, внедряя новое дизайнерское решение, которое может и не сработать, умные агентства тестируют свои гипотезы на раннем этапе. Создание макетов – это быстрое и более гибкое решение, которое даст всем участвующим в процессе осязаемые результаты.

Еще больше статей на тему создания макетов:

20 шагов к лучшим макетам
35 отличных ресурсов для создания макетов
Журнал макетов

A/B тестирование





Только после сбора и анализа как можно большего числа исследований и после выдвижения основной гипотезы тестирования на макетах, агентства приступают непосредственно к сплит-тестированию.

Можно многое сказать о правильном проведении A/B тестирования. Но это будет уже отдельная статья.

А пока можно ознакомиться с этими материалами:

12 ошибок A/B тестирования
Обманчиво простое A/B тестирование убивает показатели конверсии
7 грубых ошибок A/B тестирования, которые допускают даже эксперты

Вывод

Мы нашли много причин, почему агентства получают лучшие результаты конверсии. Но в этой статье я хотел обратить особое внимание на подготовку перед началом тестирования.

Не существует секретной формулы оптимизации показателей конверсии, нет и волшебного инструмента по управлению большими данными. Это тяжелая работа, множество исследований, и только потом непосредственно само A/B тестирование.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Почему рекламщики вызывают у нас слезы Tallulah Магазины 0 24.07.2014 09:58
Опыт новичка - результат моей работы franklin Файлообмен 40 16.09.2013 12:17
Влияет ли выбор доменной зоны на результат выдачи? stomatolog Статьи 0 02.08.2013 16:10
Почему контент становится вирусным 0pium Аналитика 0 06.02.2013 16:58
Почему нельзя использовать домены .ru? Илья Файлообмен 19 01.11.2011 15:18

Метки
конверсия, макеты, сплит-тестирование, юзабилити


Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
 
Опции темы

Быстрый переход


Текущее время: 16:25. Часовой пояс GMT +3.