Ответ
Как анализировать результаты A/B тестирования с GA Опции темы
Старый 28.12.2014, 03:51
  #1
Nataly
 
Регистрация: 30.07.2014
Сообщений: 474

Как анализировать результаты A/B тестирования с GA
Инструменты A/B тестирования, такие как Optimizely или VWO упрощают процесс тестирования, но не более того. Эти инструменты созданы для проведения тестов и совсем не предназначены для осуществления анализ результатов испытаний.

Большинство инструментов для проведения тестов стали лучше за эти годы, но по-прежнему им не хватает того, что вы можете сделать с помощью Google Analytics.
При выполнении теста, пока вы не достигли достоверности (не то же самое, что значимость), вам нужно сделать анализ результатов испытаний, чтобы определиться относительно дальнейших действий. То, что предлагается в сводке на картинке ниже будет не достаточно:





Используйте эти быстрые обзоры, чтобы проверить каким является текущий статус теста. Но вам не следует ограничиваться этим, когда тест уже будет «готов». Тест может иметь три результата:

1. Вариант А победил
2. Никакой разницы
3. Вариант В победил

Даже когда инструмент тестирования говорит, что это окончательный результат, на этом наша работа не заканчивается. Необходимо проведение анализа результатов испытаний. И в большинстве случаев вам нужно сделать то, что находится за пределами инструмента тестирования. Уверен, что Optimizely позволяет увидеть результаты в пределах заранее определенных сегментов, но этого не достаточно.

Необходимо интегрировать каждый тест с Google Analytics

И VWO и Optimizely имеют встроенные возможности интеграции с Google Analytics, а также данные для каждого теста должны быть отправлены в Google Analytics. Это нужно не только для того, чтобы расширить возможности анализа, но для того, чтобы быть увереннее в данных.

Ваш инструмент тестирования может записывать данные неправильно, и если у вас нет другого источника тестовых данных, вы никогда не сможете быть уверенными, стоит ли доверять этим данным или нет. Создайте несколько источников данных. В Optimizely настройка интеграции находится в разделе Project Settings:





Вам определенно следует использовать Universal Analytics вместо классического Google Analytics. Если вы еще не осуществили этот переход, сделайте это как можно скорее. Ведь вы не только сможете воспользоваться новыми функциями GА, но получите возможность оправлять данные в Google Analytics от 20 параллельных A/B тестов. В старой версии GA это число ограничивается 5. И как только вы это сделаете, вам нужно выбрать слот для каждого теста:





Убедитесь в том, что несколько тестов не используют один и тот же слот в Специальных параметрах в GA. Ведь в этом случае они будут перезаписывать данные друг друга, и вы больше не сможете быть уверенными в их достоверности. Один тест на слот.

В руководстве Optimizely есть пошаговые инструкции для такой интеграции, в том числе, как настроить специальные параметры. После этого вы сможете посмотреть любой результат теста в Google Analytics с помощью Custom Reports. Вы можете сделать так, чтобы отчет показывал вам любые данные, которые вы хотите:





Некоторые варианты имеют больший размер дохода на одного пользователя? Почему так происходит? Хорошо, давайте посмотрим на среднюю стоимость корзины или среднее количество купленного товара - эти данные могут пролить свет на ситуацию. Используйте любые показатели, которые будут полезными в вашем конкретном случае.

Проведите пользовательский отчет, который используется в данном примере. Обратите внимание, что Google Analytics не будет рассказывать вам о статистической значимости (p-значение), уровнях мощности, погрешности и так далее. Вам необходимо будет экспортировать данные в Excel/Google Таблицы, где вы сможете автоматически вычислить эти параметры. Не начинайте анализ в GA, пока все данные не будут готовы. Убедитесь, что имеется достаточный размер выборки, рассчитаны значимость и уровни мощности.

Отправьте варианты как события, чтобы использовать расширенные сегменты

Встроенная интеграция Google Analytics не является стопроцентно надежной.

Иногда данные не передаются, то есть имеются от 20% до 50% расхождения - где-то какая-то часть данных теряется. Этому может быть множество объяснений и причин.

Мой хороший друг Ton Wesseling научил меня «трюку», который я теперь использую для любого теста: отправляю событие в Google Analytics каждый раз, когда загружается вариант. Все, что вам нужно сделать, это добавить одну строку в тест Global Javascript, а также добавить строку в код отслеживания событий в качестве последней строки для каждого варианта теста. Эту строку вы должны добавить в консоль командной строки Global Experiment Javascript:

window.ga=window.ga||function(){(window.ga.q=windo w.ga.q||[]).push(arguments);};window.ga.l=+new Date();

Это гарантирует, что трекер GA получит всю информацию, как только она загрузится. Вот как это можно сделать в Optimizely: сначала откройте настройки при редактировании теста:





И теперь выберите Experiment Javascript. Добавьте сюда код:





И теперь вы должны добавить строку кода отслеживания событий в конце каждого варианта (включая оригинал). Вам нужно просто изменить идентификационный номер эксперимента (Experiment ID) и имя варианта:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});

Итак, код отправляет событие в GA, где категория события - Optimizely, действие - идентификационный номер эксперимента и ярлык - Variation1 (может также быть Original, Variation 2 и т.д.). Отсутствие взаимодействия означает, что взаимодействие не зафиксировано. В противном случае показатель отказов для экспериментальной страницы будет составлять 0%. Вот где вы добавляете код в Optimizely:





Теперь вы сможете создавать сегменты в Google Analytics для каждого из вариантов. Настройка сегмента:





Создавайте отдельные сегменты для каждого варианта и применяйте их в любом отчете, который вы хотите. Вы получите что-то вроде этого:





То же самое можно, конечно, осуществить со Специальными параметрами. Просто убедитесь, что ваши данные согласованы – сравните посещения страницы с благодарностью, величину доходов и т.д. между результатами Optimizely и специальными параметрами GA или отчетом События.

Нет никакой разницы между вариантами теста. И что теперь?

Допустим, вы получили результат «нет существенной разницы» между вариантами. Следует перейти на что-то другое? Не так быстро. Учитывайте две следующие вещи:

1. Ваша тестируемая гипотеза может быть верной, но реализация подвела.

Допустим, качественные исследования говорят, что забота о безопасности -это проблема. Сколькими способами можно усилить безопасность? Бесконечными. Возможно, вы напали на верный след, просто способ, которым вы сделали что-то, оказался не удачным. Если у вас есть данные, которые поддерживают вашу гипотезу, попробуйте несколько итераций.

2. Просто потому, что нет никакой разницы в целом, вариант B может превосходить вариант А в одном или двух сегментах.

Если вы наблюдаете увеличение числа старых посетителей и мобильных посетителей, но сокращение числа новых посетителей и пользователей ПК, то эти сегменты могут уравновешивать друг друга, и кажется, что нет «никакой разницы». Проанализируйте ваш тест в ключевых сегментах, чтобы убедиться в этом. Посмотрите на результаты тестов, по крайней мере, в пределах этих сегментов (убедитесь, что каждый сегмент имеет достаточный размер выборки):

• ПК и планшет/мобильный телефон
• Новые и вернувшиеся посетители
• Трафик, который перешел напрямую на тестируемую страницу и трафик, который перешел через внутреннюю ссылку.

Если нет никакой разницы, но вы предпочитаете вариант B варианту А

Все мы люди, и у нас есть личные предпочтения. Так что если ваш тест говорит о том, что нет существенной разницы между вариантами, но В нравится вам больше, действительно нет никаких оснований не выбрать вариант B. Если вариант B подразумевает улучшение юзабилити или представляет образ марки в лучшем свете, выберите его. Если же результаты В оказались хуже, указанные выше причины не говорят о том, что нужно выбирать данный вариант.

Вывод

Не полагайтесь на один источник данных, а проведите более глубокий анализ, не ограничиваясь лишь общими результатами. Вы найдете больше выгод и больше данных для принятия решений. Интегрирование инструмента тестирования с Google Analytics - отличный способ сделать это.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
3 фреймворка для тестирования конверсии luxurious Аналитика 0 29.08.2014 09:26
Как получить лучшие результаты от социальных медиа Atom Статьи 0 30.09.2013 21:32

Метки
a/b тестирование, google analytics, optimizely, анализ результатов тестов, пользовательские отчеты, сегменты, специальные параметры


Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
 
Опции темы

Быстрый переход


Текущее время: 23:28. Часовой пояс GMT +3.