A/B-тесты без самообмана: как правильно читать результат
Вариант выиграл на 3%, но можно ли уже выкатывать его всем? До запуска A/B-теста зафиксируйте метрику, срок и правило остановки — иначе случайный всплеск, повторные проверки и десятки сегментов легко превратят шум в «победу».
Вариант B поднял конверсию на 3%, а через день разница исчезла. Это не редкая аномалия: если часто проверять результаты, менять метрики по ходу теста или выбирать удачный сегмент постфактум, шум легко принять за эффект. Чтобы A/B-тест помог принять решение, а не подтвердить желаемое, заранее задайте метрику, длительность и правила анализа.
До запуска: запишите, что будет считаться победой
Начните не с интерфейса экспериментов, а с короткого плана. В нём должны быть гипотеза, единица рандомизации, основная метрика, защитные метрики и критерий остановки. Сохраните план до просмотра результатов: иначе задним числом появится соблазн объявить главной именно ту метрику, которая выросла.
- Гипотеза. Например: сокращение формы регистрации повысит долю пользователей, завершивших регистрацию. Не «новый дизайн будет лучше», а конкретное изменение и ожидаемый эффект.
- Единица рандомизации. Обычно это пользователь или аккаунт, а не отдельный визит. Один и тот же человек не должен случайно видеть то A, то B: такое смешение размывает эффект.
- Одна основная метрика. Если проверяете регистрацию, заранее решите, что именно считаете: отправку формы или подтверждённую регистрацию. Остальные показатели оставьте диагностическими или защитными.
- Защитные метрики. Проверьте, что улучшение не сопровождается ухудшением важных показателей: например, больше регистраций — но меньше подтверждённых аккаунтов или больше ошибок.
- Критерий завершения. Определите минимальный эффект, необходимый для внедрения, нужный объём наблюдений и период эксперимента. Расчёт выборки зависит от базовой конверсии, ожидаемого эффекта, разброса данных и заданных статистических требований. Универсального числа пользователей нет.
Сноска. p-value — вероятность получить такие же или более необычные данные при условии, что нулевая гипотеза верна и соблюдены предположения теста. Это не вероятность того, что вариант B проиграл или выиграл.
Выберите правило остановки, а не удобный момент
Если проверять результат каждый день и заканчивать тест в тот момент, когда B оказался впереди, вероятность ложной «победы» растёт. Обычный статистический тест рассчитан на заданный план анализа; многократные просмотры без поправки меняют его свойства.
| Подход | Как работает | Цена и риск |
|---|---|---|
| Фиксированный горизонт | Заранее задаются размер выборки или срок; основной вывод делают после достижения условия. | Просто объяснить и проверить. Нужно дождаться конца, даже если промежуточный график выглядит убедительно. |
| Последовательный тест | Результаты проверяют по заранее выбранному правилу, рассчитанному на повторные просмотры. | Можно раньше заметить эффект или бесперспективность, но метод и границы остановки надо выбрать до запуска. |
| Байесовский подход | Решение принимают по заранее заданному правилу на основе распределения вероятностей эффекта. | Позволяет формулировать выводы о величине эффекта, но выбор модели, априорных предположений и порогов влияет на решение. Сам по себе не делает произвольные проверки безвредными. |
Для команды без опыта безопаснее начать с фиксированного горизонта: он дисциплинирует и упрощает разбор. Если продукт требует постоянно запускать и останавливать эксперименты, внедряйте последовательный метод вместе со статистиком или проверенной платформой. Не смешивайте правила разных методов в одном тесте.
Если вы не можете назвать правило остановки до запуска, результат пока нельзя интерпретировать как подтверждение гипотезы.
Не путайте наблюдение с причинным эффектом
Проверьте распределение участников
Сначала посмотрите, сколько пользователей попало в A и B и как работает распределение. Если при сплите 50/50 группы заметно различаются по численности, это сигнал остановиться и разобраться, а не сразу сравнивать конверсии. Причиной могут быть ошибки назначения, фильтрации или сбора событий. В индустрии такую проверку часто называют SRM — sample ratio mismatch, несоответствие фактического распределения ожидаемому. Пока причина не найдена, результат теста ненадёжен.
Дайте данным пройти полный цикл
Пользователь может зарегистрироваться в один день, а совершить покупку позже. Если закрыть эксперимент до того, как успеет проявиться целевое действие, вы измерите не эффект, а неполноту наблюдения. Учитывайте обычный цикл поведения аудитории и техническую задержку событий. Период должен покрывать типичные колебания по дням недели; при сезонной кампании нельзя переносить результат на обычный период без оговорок.
Не превращайте сегменты в лотерею
Если проверить двадцать сегментов и в одном найти рост, это ещё не значит, что вариант работает именно для этой аудитории. Чем больше сравнений, тем выше шанс случайного совпадения. Сегменты, которые важны для решения, определите заранее. Остальные используйте для поиска гипотез, а не для объявления победителя: результат нужно подтвердить новым тестом или корректно учесть множественные сравнения.
Что ломается в реальном эксперименте
- Меняют продукт посреди теста. Если в B обновили цену, текст или логику формы, непонятно, какое изменение повлияло на результат. Зафиксируйте версии или перезапустите эксперимент с новым планом.
- Считают визиты вместо пользователей. Частый посетитель может попасть в обе группы и получить больший вес. Единица анализа должна соответствовать единице назначения, либо различие нужно отдельно обосновать.
- Теряют события. Проверьте, одинаково ли аналитика фиксирует целевое действие в A и B, нет ли задержек или дублей. Сбой измерения легко выглядит как изменение поведения.
- Смотрят только на относительный рост. Рост на 10% звучит заметно, но без исходного уровня и абсолютного изменения непонятно, насколько он важен для продукта. Смотрите на обе величины и интервал неопределённости.
- Выкатывают B из-за статистической значимости. Даже надёжно измеренный маленький эффект может не покрыть цену разработки, поддержки или ошибок для пользователей. Заранее задайте минимальный эффект, который оправдывает внедрение.
Отдельная ловушка — отрицательный результат. Если различия не обнаружили, это не доказывает, что варианты одинаковы. Возможно, тесту не хватило данных, чтобы заметить полезный для вас эффект. Сравните интервал возможных значений с минимальным эффектом, ради которого стоило запускать эксперимент.
Когда чему доверять
Фиксированное правило остановки подходит для разового изменения, если можно дождаться нужной выборки. Последовательный тест разумен, когда решение нужно принимать по мере поступления данных и команда умеет соблюдать заданные границы. Байесовский анализ удобен, если бизнесу важны вероятности и диапазон возможного эффекта, но он не отменяет плана эксперимента.
Во всех случаях проверьте распределение групп, качество событий и согласованность единицы рандомизации с единицей анализа. Если эксперимент затрагивает цену, разные устройства, повторные покупки или взаимодействие между пользователями, простого сравнения двух конверсий может быть недостаточно: сначала уточните дизайн теста.
Что делать дальше
Перед следующим запуском сохраните одностраничный план эксперимента и назначьте человека, который проверит назначение групп и сбор событий до анализа результата. После завершения запишите не только победителя, но и размер эффекта, неопределённость, нарушения плана и решение команды. Затем сравните эффект с затратами на внедрение и продолжайте следить за защитными метриками в проде. Если проверка уже началась без зафиксированного правила остановки, не выбирайте удобный момент задним числом: отметьте результат как исследовательский и подтвердите его отдельным экспериментом.
Проверка рекламы на риски: Что в макете вызовет вопросы ФАС: превосходные степени, сравнения, обещания результата, маркировка.
Спросить за 40 ₽Источники: Microsoft Research: Experimentation Platform, NIST/SEMATECH e-Handbook of Statistical Methods
Частые вопросы
Можно ли остановить A/B-тест, когда график уже показывает победителя?
Что делать, если тест не показал статистически значимой разницы?
Нужно ли проверять несколько метрик?
Сколько должен идти A/B-тест?
Можно ли анализировать результат отдельно для мобильных пользователей?
Если группы A и B получились разного размера, тест бесполезен?
Материал носит информационный характер и подготовлен редакцией «Агентуры». Он не является офертой, рекламой или индивидуальной консультацией. Упомянутые продукты, компании и торговые знаки принадлежат их правообладателям. Перед принятием решений, влекущих юридические или финансовые последствия, обратитесь к профильному специалисту.