A/B-тест

A/B-тест — эксперимент, где две версии чего-либо (объявление, лендинг, email) показываются разным случайным группам аудитории. Затем сравнивается, какая версия дала лучший результат по выбранной метрике (CTR, CR, выручка).

В моих проектах A/B-тест — основа любого изменения. Я не выкатываю «новую версию» лендинга — я выкатываю A/B-тест между старой и новой. Это спасает от провалов.

Правила, которые соблюдаю всегда:

• Минимальный статистический объём — 1000+ конверсий на каждый вариант для надёжных выводов
• Минимальный срок — 7+ дней (учитывает дневные циклы)
• Только одна переменная за раз — иначе невозможно понять, что именно сработало
• Фиксированная гипотеза до запуска — «вариант B даст больше CR на 15%». Без этого — fishing expedition

Часто маркетологи делают A/B-тесты неправильно: маленький sample size, преждевременные выводы, тест 2-х дней с p=0.3 («ну вроде B лучше»). Это не A/B-тест, это самообман.

Практический пример из моей практики — в кейсе -20% к плану квартала я как раз провалился, потому что сразу выкатил новое сегментирование на 100% бюджета вместо A/B-теста на 30%. Урок: всегда контрольная группа.