Семь заблуждений об A/B-тестировании в email-маркетинге

Семь заблуждений об A/B-тестировании в email-маркетинге

Замечание Джона Ванамейкера, что половина его рекламы не работает, но он не знает, какая именно, разделяли маркетологи мира более ста лет. Наступила эра интернет-маркетинга, где все замеряется и проверяется, и яркое высказывание потеряло актуальность. Теперь можно с точностью до 99 процентов сказать, какая реклама не работает.

Интернет-маркетинг вооружил рекламистов точными метриками и инструментами, с помощью которых идеи тестируются еще до запуска в массы. Одним из них является сплит-тестирование, или A/B-тестирование.

Иной раз на ресурсах для маркетологов появляются фантастические примеры, где по результатам A/B-тестирования компания заменила лишь одно слово в кнопке, а это привело к росту CTR на 90 процентов. Правда это или хвастовство перед коллегами, мы никогда не узнаем. Но то, что A/B-тестирование увеличивает конверсию, — неоспоримый факт.

Не все маркетологи готовы тестировать письма из-за нескольких распространенных заблуждений.

Заблуждение № 1: интуиция подскажет лучше всяких тестов

Маркетологу не привыкать опираться на интуицию и накопленный опыт. Но даже профессионалам трудно просчитать все факторы, которые оказывают влияние на поведение людей.

Когда специалисты агентства Location3 Media запускали A/B-тест для своего клиента, они были уверены, что упоминание сертификата безопасности данных в форме для сбора лидов увеличит количество регистраций. Предположение маркетологов звучало убедительно: люди охотнее оставляют адреса, если знают, что это безопасно.

Для проверки предположения половине посетителей сайта показывали регистрационную форму со значком eTrust, а другой — обычную форму. Маркетологи выждали некоторое время и оценили количество регистраций с каждой из них.

Оказалось, что форма с eTrust не оправдала ожиданий: в ней регистрировалось на 13 процентов меньше людей, чем в обычной форме. Сертификаты безопасности ассоциируются у пользователей с платежными системами, поэтому люди опасались регистрироваться. Маркетологи не учли это обстоятельство при разработке гипотезы. Такие тонкие нюансы вскрываются при A/B-тестировании. Тесты позволяют изучать аудиторию и в будущем точнее прогнозировать ее реакцию.

Заблуждение № 2: чужой опыт лучше тестирования

Запускать ли свое тестирование, если кто-то уже установил, что зеленая кнопка работает лучше красной, а короткие тексты эффективнее длинных?

Правда в том, что зеленая кнопка сработала лучше для определенного бизнеса и его аудитории. В вашем случае тот же самый тест может показать иные результаты. Если у кого-то лучше работают длинные тексты, это может говорить о специфике продукта, для продажи которого нужно больше информации.

Чужие кейсы не ответят на вопрос, как отреагирует именно ваша аудитория, если вы прибегните к аналогичным экспериментам. Но чужой опыт полезен для вдохновения и поиска идей. Пытайтесь понять, почему другая компания получила такие результаты, и используйте ее маркетинговую логику для выбора элемента тестирования.

Заблуждение № 3: если тестировать, то все

Тестировать каждую мелочь не всегда целесообразно. Представьте, как медленно вы будете двигаться к идеальному варианту письма, учитывая то, что одна рассылка может тестировать только один элемент. Конечно, если речь идет о долгосрочной перспективе, к такой стратегии стоит прибегнуть. Маркетологи хотят улучшить показатели именно текущей рассылки. Для этого надо искать ключевой элемент в письме, изменение которого приведет к росту конверсии.

Чужой опыт может подсказать, что может стать этим ключевым элементом. Загляните в свои старые рассылки — обратите внимание на то, какие из них демонстрировали хорошие результаты. Если чувствуете какую-то связь высокой конверсии с оформлением, содержанием, временем отправки, проверьте по очереди предположения на A/B-тесте.

Заблуждение № 4:выбирать лучший вариант по двум метрикам

По каким метрикам выбирать победителя в тестировании, зависит от того, какие элементы вы тестируете. Если тему письма — оценивайте Open Rate, кнопку в письме — CTR.

Open Rate и Click Rate являются распространенными метриками для оценки привлекательности писем. Если перед вами стоит задача оценить то, насколько письмо побудило к целевому действию (регистрации, переходу в каталог, оформлению заказа), нужны дополнительные метрики.

Профессиональные email-маркетинговые платформы могут фиксировать совершение целевого действия и путь, который подписчик прошел к нему. Система собирает информацию со счетчиков, установленных на страницах сайта, и закрепляет данные за соответствующим подписчиком, который относится к той или иной тестируемой группе. Оценив поведение после клика в письме, вы поймете, какой вариант более эффективен.

Заблуждение № 5: результатам тестирования всегда можно доверять

Оказывается, не всегда, а лишь когда соблюдены три условия достоверного результата.

Условие первое: оптимальный размер выборки

Чтобы полученные на тестовой группе результаты можно было распространить на всех подписчиков, нужно рассчитать, сколько подписчиков из всей совокупности следует выбрать для теста. Для расчета используют формулы или созданные на их основе онлайн-калькуляторы Их можно найти по запросу «расчет размера выборки».

Условие второе: репрезентативность

Важно отобрать адреса для тестирования произвольно, чтобы алгоритм выбора не повлиял на результат. Перед тестированием очистите базу от несуществующих адресов, адресов с ошибками доставки. Желательно учесть все факторы, влияющие на отклик: так, если в группу A попадет больше пользователей мобильных устройств, чем в группу B, это исказит результаты из-за разного отображения письма на устройствах.

Условие третье: одна переменная

Варианты A и Б должны различаться только одним элементом, иначе невозможно понять, что именно повлияло на конверсию. Любое дополнительное расхождение, к примеру, отправка писем в разное время, повлияет на результаты.

Заблуждение № 6: тестирование сразу поможет выбрать лучший вариант

Бывает так, что один из вариантов превосходит в результативности второй всего на несколько процентов. Это не повод считать, что вы уже нашли лучший вариант письма, а сигнал к тому, что надо продолжать эксперименты. Например, специалисты Appsumo.com признались, что в среднем из восьми сделанных A/B-тестов успешным оказывается один.

Подобные трудности останавливают многих маркетологов на середине пути. Но тот тест, который все-таки окажется успешным, может значительно поднять конверсию. Так и получилось у Appsumo.com: удачный тест помог увеличить конверсию в пять раз и поднять продажи.

Заблуждение № 7: провести A/B-тестирование технически сложно

В email-маркетинге — нет. Профессиональные решения предлагают запускать тестирование писем прямо в интерфейсе сервиса. Это очень удобно: не нужно искать дополнительные сервисы или привлекать программистов. Для полноценного тестирования понадобится несколько ключевых опций:

• создание двух версий письма с возможностью задать разное содержание и тему;

• возможность отложить отправку каждого варианта на определенную дату и время для экспериментов с временем рассылки;

• произвольная выборка указанного количества подписчиков для тестовой группы;

• выбор критерия для определения победителя: открытия или переходы;

• функция автоматического выбора победителя и отправки основной рассылки остальным подписчикам;

• возможность выбрать победителя вручную для случаев, когда необходимо изучить все показатели для принятия решения.

Если вы до сих пор пользуетесь самописным решением для рассылки и страдаете без полезных инструментов, переходите на профессиональную платформу, где обо всем этом уже позаботились. Например, Sendsay, SmartFocus, Expertsender, UniSender.

Наталия Жеребенкова