Вариант Б выиграл 12 кликов: почему этого мало для решения по рассылке
Редакция отправила два варианта темы по десяти тысячам подписчиков. В первом было 212 целевых кликов, во втором 224. Разница выглядит как победа варианта Б: плюс двенадцать действий, или около 5,7 процента относительно результата А. Но доли равны 2,12 и 2,24 процента, абсолютная разница - всего 0,12 процентного пункта. При таком числе событий она легко может быть случайным колебанием.
A/B-тест не является конкурсом двух цифр. Это заранее описанный способ проверить гипотезу на случайно разделенной аудитории. Если правила меняются после просмотра отчета, красивый результат уже нельзя интерпретировать так же уверенно.
Начните с решения, а не с варианта
Формулировка проверим две темы слишком слабая. Запишите, какое решение последует. Например: если конкретная тема увеличивает долю переходов к статье минимум на 15 процентов без роста отписок, используем этот прием в еженедельном дайджесте.
Минимальный полезный эффект нужен до расчета выборки. Улучшение на 0,02 процентного пункта может быть статистически обнаружимым на огромной базе, но не окупать работу. И наоборот, тест на тысяче адресов может не заметить практически важную разницу.
Меняйте одну главную вещь
Если у варианта Б одновременно другая тема, имя отправителя, время отправки и кнопка, результат не скажет, что помогло. Оставьте одну основную переменную. Дополнительные элементы тестируют отдельными экспериментами.
Группы формируются случайно из одной подходящей аудитории. Нельзя отправить А активным читателям, а Б спящим и затем сравнить доли. Проверьте баланс по важным признакам: давность подписки, устройство, регион, тип клиента и предыдущая активность.
Один адрес должен видеть один вариант. Повторная отправка неоткрывшим с другой темой уже создает другой эксперимент: аудитория выбрана по поведению после первого письма.
Выберите одну основную метрику
Для темы письма кажется естественным открытие, но автоматическая загрузка изображений и защита приватности искажают этот сигнал. Если цель выпуска - чтение материала, основной метрикой может быть уникальный переход с последующим просмотром страницы. Если письмо продает билет - завершенная покупка.
Отписки и жалобы задайте как защитные показатели. Вариант не должен считаться победителем, если дал больше кликов ценой заметного роста отказов. Не выбирайте после отправки ту метрику, где Б случайно выглядит лучше.
Размер выборки зависит от четырех величин
Для сравнения долей нужны базовая конверсия, минимальный обнаруживаемый эффект, уровень значимости и статистическая мощность. NIST показывает, что выборка рассчитывается из ожидаемых долей и размера изменения, которое тест должен обнаружить. Чем реже событие и меньше желаемая разница, тем больше адресов требуется.
Возьмем базовую конверсию 2 процента. Редакции важно обнаружить относительный рост на 20 процентов, то есть до 2,4 процента. При обычных настройках 95 процентов значимости и 80 процентов мощности калькулятор может потребовать десятки тысяч наблюдений на вариант. Точное число зависит от метода. Тест по тысяче писем не становится убедительным только потому, что отчет подсветил один столбец зеленым.
Если база мала, увеличьте минимальный эффект, который готовы искать, или накапливайте наблюдения на повторяемых выпусках с одинаковой логикой. Нельзя компенсировать нехватку данных снижением требований уже после результата.
Не заглядывайте каждую минуту ради остановки
При фиксированном дизайне размер выборки и срок задают заранее. Остановка в момент, когда показатель впервые пересек порог, повышает вероятность ложной победы. Если платформа использует последовательный или байесовский метод, следуйте именно его правилам, а не смешивайте их с обычным тестом.
Длительность должна охватывать типичный цикл поведения. Победитель первых тридцати минут может проиграть по покупкам через сутки. С другой стороны, растягивание теста на недели способно смешать рабочие дни, праздники и изменение новостного интереса.
Разберите числовой результат честно
В примере 212 против 224 кликов сначала рассчитайте доли, абсолютную и относительную разницу. Затем постройте доверительный интервал для разницы либо используйте заранее выбранный статистический тест. Интервал показывает диапазон эффектов, совместимых с наблюдениями. Если он включает ноль, данные не исключают отсутствие преимущества.
Фраза статистически незначимо не доказывает, что варианты одинаковы. Возможно, выборка слишком мала. Поэтому отчет должен включать запланированный размер, фактическое число доставленных писем и число событий, а не только процент.
Повторение важнее красивой победы
Тема с конкретной новостью может выиграть один раз из-за самого события. Проверьте принцип на нескольких выпусках: конкретная польза против общего обещания, короткая формулировка против длинной. Не переносите результат аудитории утренней деловой рассылки на вечерний развлекательный дайджест без нового теста.
Карточка эксперимента
- Гипотеза и решение после теста.
- Одна изменяемая переменная.
- Основная и защитные метрики.
- Базовая доля и минимальный полезный эффект.
- Размер групп, срок и правило остановки.
- Результат с интервалом неопределенности.
Двенадцать дополнительных кликов могут оказаться ценными, но сама разница еще ничего не гарантирует. Хороший тест не обещает победителя в каждом выпуске. Он позволяет отличить полезный сигнал от шума и спокойно записать данных недостаточно, когда именно это показал эксперимент.