A/B тестирование для измерения эффективности подсказок

Недавно мы решили провести A/B тестирование для измерения коэффициента конверсии благодаря подсказкам на сайте кулинарной тематической сети Ням.ру. Настроив отображение подсказок лишь половине всех посетителей сайта, удалось обнаружить интересные результаты о целевых действиях. Отчет сделан на основе данных Google Analytics.

 

 

 

 

Характеристика сайта, для которого проводилось тестирование

Тематика: nyam.ru - кулинарная социальная сеть, существует с 2012 г.
Ценность: предоставляет широкий набор возможностей как для начинающих, так и квалифицированных кулинаров.
Посещаемость: около 20 000 посетителей в сутки.
Источник переходов: поисковые сети (organic search).

Цель A/B тестирования

Определить коэффициент конверсии на сайте при показе подсказок.

Условия проведения тестирования

  • в основе анализа использовалась метрика целевых действий (регистрации);
  • подсказки отображались для 50% посетителей сайта;
  • тестирование проходило в течение 2 календарных недель;
  • данные собирались с помощью сервиса Google Analytics.

Схема размещения подсказок

Всего на сайте было размещено более 10 различных подсказок.
Подсказки были установлены на страницах конверсионной воронки сайта, которая имеет следующую структуру:

  • посетители приходят с поиска по тематическим запросам, например, «вторые блюда», на страницу рецепта;
  • при просмотре открывшейся страницы посетителям предлагается сохранить рецепт в личном кабинете (добавить на кухню);
  • тем пользователям, которые желают поделиться своим опытом, предлагается возможность опубликовать рецепт;
  • чтобы все возможности стали доступны — необходимо зарегистрироваться.

Подробнее о схеме их размещения подсказок мы рассказали в нашем первом кейсе, опубликованном на сайте cossa.ru.

Рис. 1. Пример подсказки на странице рецептов.

 

Выполненные задачи для проведения тестирования

  • был создан скрипт, регламентировавший правило отображения подсказок только для 50% посетителей;
  • в системе Google Analytics был настроен учет пользовательских действий по подсказкам (событие hints);
  • создана цель «регистрация»;
  • настроена возможность создавать пользовательские отчеты custom variable.

Результаты тестирования

Распределение данных в отчете:

  • по идентификатору «1» сообщались результаты, полученные при условии показа подсказок;
  • по идентификатору «0» сообщались результаты, полученные при условии, что подсказки не были показаны.

Динамика посещений:

  • на протяжении анализируемого периода (с 11 по 24 февраля включительно) количество посещений сайта было относительно равномерным;
  • количество новых и вернувшихся посетителей, которые просмотрели подсказки, было практически одинаковым: 49,99% (1) и 50,01% (0), погрешность составила 0,02% в сторону группы посетителей, для которых отображались подсказки;
  • количественные данные основаны на 94,29% от общего числа визитов (по данным Google Analytics).

 

График 1. Динамика посещений сайта с 11 по 24 февраля 2014 г.

Регистрации

Коэффициент конверсии при показе подсказок составил 0,43% (соотношение количества регистраций к общему количеству посещений), что в 2,26 раз больше, чем при отсутствии подсказок.

 

График 2. Статистика данных о коэффициенте конверсии (Goal 1 Conversion Rate).

Цветными линиями  визуализирован коэффициент конверсии:

* Оранжевый (1): подсказки показывались посетителям - 0,43%.
* Зеленый (0): подсказки не показывались — 0,19%.
* Синий — среднее значение — 0,31%.

Сокращение отказов и рост лояльности

Количество отказов со стороны посетителей, которым отображались подсказки, меньше на 7,07%, по сравнению с группой пользователей, которым они не были видны.

Посетители первой группы выполнили 13 054 целевых действий (регистрации, сохранение и публикация рецептов, отметка «я готовил», рекомендации друзьям и т.д), в то время как во второй группе количество целевых действий было меньше — их всего 12 254 (разница в 800 действий).

Продолжительность сессий и глубина просмотров при этом почти одинаковы (разница на уровне погрешности всего 0,03%).  Это говорит о том, что равное количество посетителей на протяжении одинакового количества времени выполнили различное кол-во целевых действий. Больше целевых действий выполнили те, кому были показаны подсказки.

Выводы

  • подсказки сыграли роль триггеров, усилив воздействие на целевую аудиторию; подтверждение этому — увеличение количества регистраций более чем в 2 раза;
  • краткие инструкции, легко воспринимаемые и доступные по первому требованию — помогли увеличить лояльность со стороны посетителей, это объясняется большим количеством целевых действий и сокращением отказов.

Инструменты, которые использовались для проведения тестирования:

  1. Система веб-аналитики Google Analytics.
  2. Онлайн-сервис для создания пошаговых инструкций и подсказок Hintarea.

Дополнительные источники:

  1. Триггеры – «спусковые крючки» принятия решений // CMS Magazine, 17.04.2014
  2. Откуда взялась мантра о простоте в интерфейсах // Интернет-издание для маркетологов Cossa.ru, 04.03.2014
  3. 10 правил юзабилити на все времена // Блог компании «Ру-Медиа»
  4. Как настроить воронку конверсии Google Analytics? // Блог LP Generator, 21.01.2013