Суть А/В тестирования в том, что аудитории, поделенной на 2 части, показывают 2 варианта продукта (страниц сайта, лендингов, писем и т.д.) и оценивают, какой вариант сработал лучше — показал более высокий процент конверсионных, то есть, полезных, действий (покупка, регистрация, взаимодействие с наполнением страницы) за один промежуток времени.
Например, вы предположили, что новая опция «Купить в один клик» поможет вам увеличить продажи. Вам кажется, что это сработает, ведь это так просто и удобно. Тем не менее, дешевле и эффективней протестировать даже такое очевидное в эффективности решение, чем сначала запуститься, а потом понять, что не угадали.
Обычно рекомендуют тестировать что-то одно (например, цвет кнопки «заказать»), так вы поймете, что именно цвет повлиял на результат. Но тестировать можно и более кардинальные изменения – например, полностью новый лендинг для одного объявления контекстной рекламы. Но в таком случае вы не поймете, что конкретно повлияло на пользователя, а получите более общий ответ на вопрос, какой лендинг работает лучше.
Три примера успешных А/В тестов от торговой площадки Prom.ua
1. Тестирование писем
Цель: получить как можно больше заказов на уникальный дизайн для сайтов в результате рассылки
Инструмент: А/В тесты темы письма на «открываемость» и контента письма на «кликабельность»
Шаг 1. Тестирование темы — рациональная или эмоциональная?
Два одинаковых письма с разными темами были отправлены 2-м сегментам клиентов.
Тема А: {Имя}, примерьте новый дизайн к своему сайту.
Тема B: {Имя}, вот так выглядит незабываемый сайт!
Результат: эмоциональная тема воспринимается лучше. Выиграла тема B.
Для того, чтобы убедиться в правильности результатов, эксперимент был повторно проведен на другом сегменте клиентов и повторно выиграла тема В.
Шаг 2. Тестирование содержания письма — фотографии против текста.
Клиентам из двух других выборок были отправлены разные письма с уже победившей темой. В одном письме акцент был сделан на текстовое описание преимуществ нового дизайна, а в другом были большие изображения сайтов с новым дизайном.
По кликабельности (по количеству переходов на ключевое действие) письма выиграл вариант А с большими изображениями, на которых можно было рассмотреть детали.
После тестирования, уже на всех подписчиков было отправлено письмо с победившей комбинацией Тема и Контент, что помогло добиться максимальных результатов.
Проводя множество тестов писем, мы пришли к интересному выводу: что интернет-предприниматели лучше реагируют на эмоциональные темы, а вот покупатели — на рациональные.
2. Тестирование лендингов
Цель: увеличение числа регистраций с лендинга
Инструмент: А/В тесты старого/нового лендинга
Старый лендинг — вариант А
На обновленном лендинге (вариант В) мы переместили информационные блоки, добавили яркую кнопку «Зарегистрировать компанию» и картинки, которые наглядно показывали преимущества регистрации на Prom.ua. А также оставили форму регистрации исключительно для продавцов.
Новый лендинг — вариант В
В данном случае A/B тестирование показало, что конверсия с новой страницы выше на 16%. И конечно же, мы обновили страницу регистрации.
3. Тестирование конверсионных элементов в каталоге Prom.ua
Цель: увеличение конверсии в заказы
Инструмент: А/В тесты кнопки «Перезвоните мне»
Мы регулярно используем А/В тесты для повышения конверсии в заказы. Например, проверяли гипотезу «ленивый пользователь». В одном варианте показывали только кнопку «Перезвоните мне», по клику на которую открывалось поле для введения номера телефона. А во втором, рядом с кнопкой «Перезвоните мне» уже отображали номер пользователя, если он зарегистрирован.
В итоге вариант В выиграл и увеличил конверсию на 35%.
Правила А/В тестирования
Для того, что бы А/В тесты были статистически правильными и результативными для вас, важно четко соблюдать ряд правил.
1. Аудитория, на которой вы проверяете гипотезы, должна быть однородной.
2. Тестирование должно проводиться для двух сегментов одновременно.
3. Помимо анализа статистики в период теста, также важно собрать статистику до проведения теста и после него на протяжении равных промежутков времени. Например: проанализировать неделю до A/B теста, 1 неделя — проводим тест, и после проверяем данные еще 1 неделю с победившим вариантом.
4. Если у вас есть сомнения в однородности аудитории и верном ее разделении, то стоит сначала провести А/А тестирование — показать двум сегментам одинаковый вариант продукта и сравнить показатели. Так вы сведете на нет недостоверные данные по результатам А/B теста.
5. Учитывайте внешние обстоятельства: сезонность вашего бизнеса, праздники и другие события, которые могут повлиять на поведение пользователя в сети.
6. Проверяя гипотезы не забывайте о главном действии, которое вам нужно от пользователя, и проверяйте всю воронку продаж. Изменение, которое покажет рост эффективности на первом этапе (например, на регистрации) не должно негативно влиять на продажи. То есть увеличение регистраций не означает увеличение продаж, и вы своими действиями могли увеличить количество некачественных лидов, что означает увеличение затрат.
7. Всегда тщательно проверяйте данные статистики. Особенно внимательно следует проверить корректность показателей, если они кардинально отличаются от статистики в исходном варианте.
А/В тестирование в повседневной жизни и в офлайне
Многие маркетологи ошибочно полагают, что в офлайне применить А/В тестирование невозможно, и даже не пытаются использовать его принципы для тестирования своих идей. Поэтому мы решили поделиться своими идеями по проведению сплит-тестов в повседневной жизни.
Например, можно провести А/В тестирование на кассах в магазине, что бы понять, как формулировка предложения кассиром влияет на результат акции. Часть кассиров говорит один текст, а часть — другой. Собираете результаты и делаете выводы.
А/В тестирование можно применять в ресторанном и отельном бизнесе. Например, проверить гипотезу, как влияет небольшой подарок клиенту на количество чаевых. Для ее проверки можно провести тестирование — поделить зал ресторана пополам, и гостям из первой половины добавлять презент к счету, а из второй — нет. А в конце дня сравнить насколько больше чаевых оставили гости, которые получили подарочек и подсчитать, покроет ли эта разница ваши затраты на внедрение изменений. А потом можно еще и протестировать варианты подарков. В общем, все зависит от вашей фантазии и бюджета на эксперименты.
Используйте принципы А/В тестирования в развитии онлайн-, и оффлайн-бизнеса, чтобы сократить расходы маркетингового бюджета и полноценно внедрять только те изменения, которые на практике покажут свою эффективность именно для вашей целевой аудитории. Но будьте внимательны! Специалисты Prom.ua предупреждают, что стоит только начать использовать А/В тесты в работе над проектом, как вы уже не сможете остановиться. Зачем действовать вслепую, если можно провести эксперимент и на практике доказать его эффективность.