Содержание 12 разделов ↘
Конверсия была 2,0%, стала 2,4%. На слайде это выглядит убедительно: рост на 20%. Но если в каждом варианте было по 400 посетителей, речь идёт примерно о восьми и десяти целевых действиях. Два дополнительных события легко могут появиться случайно.
Та же разница на 20 тысячах посетителей в каждой группе выглядит иначе: 400 действий против 480. Процент тот же, но неопределённость намного меньше. Поэтому вопрос «конверсия выросла или нет» нельзя решать только сравнением процентов.
Что мы смоделировали
RAF провёл вычислительный эксперимент для сравнения двух независимых конверсий. Мы задали шесть базовых уровней — 0,5%, 1%, 2%, 5%, 10% и 20% — и для каждого рассчитали необходимую выборку для относительного улучшения на 10%, 20% и 30%. Всего 18 сценариев.
В расчёте использован двусторонний тест двух долей с уровнем значимости 5% и мощностью 80%. Группы предполагаются равными по размеру, наблюдения — независимыми, а целевое событие — бинарным: произошло или нет.
Уровень значимости 5% означает, что при отсутствии реального различия процедура допускает ограниченный риск ложного положительного вывода. Мощность 80% означает, что если заданный эффект действительно существует, тест должен обнаруживать его примерно в восьми случаях из десяти при многократном повторении аналогичного эксперимента.
Это не универсальная настройка для любого бизнеса. Более дорогая ошибка может требовать меньшего alpha или большей мощности. Мы выбрали распространённую базовую конфигурацию, чтобы сравнить сценарии на одной шкале.
Чтобы обнаружить небольшой прирост, нужна большая выборка
| Базовая конверсия | Цель +10% | Выборка / вариант | Цель +20% | Выборка / вариант | Цель +30% | Выборка / вариант |
|---|---|---|---|---|---|---|
| 0,5% | 0,55% | 327 921 | 0,60% | 85 862 | 0,65% | 39 885 |
| 1% | 1,1% | 163 095 | 1,2% | 42 693 | 1,3% | 19 827 |
| 2% | 2,2% | 80 682 | 2,4% | 21 109 | 2,6% | 9 798 |
| 5% | 5,5% | 31 234 | 6,0% | 8 158 | 6,5% | 3 780 |
| 10% | 11% | 14 751 | 12% | 3 841 | 13% | 1 774 |
| 20% | 22% | 6 510 | 24% | 1 683 | 26% | 772 |
Самый сильный результат таблицы — не конкретное число, а порядок величины. При низкой исходной конверсии небольшой относительный эффект требует очень большого числа наблюдений. Чтобы отличить 2,0% от 2,2% при выбранных параметрах, нужно около 80,7 тысячи наблюдений на вариант. Для роста 2,0% → 2,4% — около 21,1 тысячи. Для 2,0% → 2,6% — около 9,8 тысячи.
Это объясняет, почему на малом B2B-трафике попытка еженедельно «доказывать» улучшение конверсии на 5–10% превращается в шум. Если сайт получает тысячу подходящих посетителей в месяц, формальный тест такого маленького эффекта может занимать годы.
Один и тот же рост 2,0% → 2,4% даёт разные выводы
Мы отдельно проверили одинаковое изменение при разных объёмах трафика.
| Наблюдений на вариант | Контроль | Тест | p-value | 95% интервал разницы | Интерпретация |
|---|---|---|---|---|---|
| 400 | 8 / 400 = 2,0% | 10 / 400 = 2,5% | 0,634 | −1,56…+2,56 п.п. | Данных почти нет |
| 5 000 | 100 / 5 000 = 2,0% | 120 / 5 000 = 2,4% | 0,173 | −0,17…+0,97 п.п. | Разница неубедительна |
| 20 000 | 400 / 20 000 = 2,0% | 480 / 20 000 = 2,4% | 0,006 | +0,11…+0,69 п.п. | Разница уже отделяется от нуля |
Первый пример намеренно содержит 2,5%, а не ровно 2,4%: при 400 наблюдениях невозможно получить 9,6 события. В реальных малых выборках конверсия меняется скачками, потому что каждое отдельное событие сильно двигает процент.
На 400 посетителях восемь конверсий дают 2%, девять — 2,25%, десять — 2,5%. Один дополнительный человек меняет метрику на 0,25 процентного пункта. Поэтому красивые относительные проценты на таком объёме особенно опасны.
Статистическая значимость не равна бизнес-значимости
Большая выборка способна сделать статистически различимым очень маленький эффект. Если интернет-магазин получает миллионы визитов, изменение конверсии на несколько сотых процентного пункта может иметь низкий p-value. Это ещё не означает, что изменение стоит разработки, риска и поддержки.
Решение должно отвечать двум вопросам отдельно:
- Есть ли достаточно данных, чтобы отличить эффект от случайного колебания?
- Достаточно ли велик эффект в деньгах или другом бизнес-результате?
Например, увеличение конверсии с 10,00% до 10,05% при огромном трафике может быть статистически обнаружимо. Но если изменение требует дорогой персонализации, ухудшает средний чек или создаёт нагрузку на поддержку, оно может не иметь экономического смысла.
Обратная ситуация тоже возможна: эффект очень ценен для бизнеса, но трафика пока мало, чтобы доказать его классическим A/B-тестом. Тогда проблема не исчезает — просто менеджеру нужно принять решение в условиях большей неопределённости и использовать другие доказательства.
Минимально обнаружимый эффект нужно выбирать до теста
Одна из главных ошибок эксперимента — сначала запустить тест, а потом ждать, пока «разница станет статистически значимой». Правильнее заранее определить минимальный эффект, ради которого изменение вообще имеет смысл. В аналитике его часто называют MDE — minimum detectable effect.
Допустим, текущая конверсия — 2%. Улучшение до 2,05% ничего не меняет в экономике проекта, а рост до 2,4% уже окупает разработку. Тогда именно 0,4 процентного пункта — разумный ориентир для расчёта выборки. Если требуемые 21 тысяча наблюдений на вариант собираются за два месяца — тест реалистичен. Если за два года — нужен другой способ принятия решения.
MDE связывает статистику с бизнесом. Без него команда может потратить месяцы на доказательство эффекта, который в лучшем случае добавит несколько продаж и не окупит сам эксперимент.
Ежедневная проверка результата повышает риск ложного победителя
Типичный сценарий: тест запущен в понедельник. Во вторник вариант B ведёт на 25%, в среду — на 8%, в четверг снова на 18%. Как только интерфейс показывает «95% уверенности», команда останавливает тест.
Проблема в том, что обычный фиксированный тест предполагает заранее заданное правило остановки. Если проверять результат много раз и завершать эксперимент в первый удачный момент, вероятность случайно поймать красивое отклонение растёт.
Есть статистические методы последовательного тестирования, которые допускают промежуточные проверки, но их правило должно быть выбрано заранее. Если компания использует обычный A/B-калькулятор, безопаснее заранее определить длительность, требуемую выборку и минимальный эффект, а затем не менять критерий по ходу эксперимента.
Второе правило — пройти хотя бы один полный бизнес-цикл. Если поведение понедельника отличается от выходного, тест на двух рабочих днях может быть большой выборкой и при этом плохим экспериментом. Достаточное N не исправляет систематическую разницу условий.
Что делать, если трафика мало
Низкий трафик не означает, что сайт нельзя улучшать. Он означает, что небольшие улучшения трудно отличить от случайных колебаний.
В таких проектах разумнее:
- тестировать более крупные гипотезы, где ожидаемый эффект выше;
- не дробить аудиторию на множество вариантов;
- использовать данные поведения, интервью, записи сессий и анализ ошибок как источник гипотез, а не как замену причинному тесту;
- проверять более ранний показатель только если он действительно связан с бизнес-результатом;
- собирать результат дольше и не делать недельные рейтинги вариантов;
- для очевидных UX-проблем исправлять дефект без ненужного A/B-теста, если цена ошибки мала.
Особенно осторожно нужно относиться к переходу на более частое промежуточное событие. Например, вместо покупки начать тестировать клик по кнопке. Выборка вырастет, но оптимизация может научиться увеличивать клики без роста покупок. Промежуточная метрика полезна только при подтверждённой связи с конечной.
Как принимать решение по изменению конверсии
Мы предлагаем четыре статуса вместо бинарного «победил / проиграл».
| Статус | Что известно | Что делать |
|---|---|---|
| Данных мало | Интервал широкий, событий немного | Продолжать сбор или отказаться от слишком мелкого теста |
| Эффект не отделён от нуля | Выборка уже заметная, но разница всё ещё совместима со случайностью | Не объявлять победителя; проверить MDE и ценность продолжения |
| Разница статистически различима | Данные поддерживают отличия между вариантами | Проверить размер эффекта и экономику |
| Разница значима для бизнеса | Эффект достаточно велик и экономически оправдан | Внедрять и контролировать результат после запуска |
Такой язык полезнее, чем «тест показал рост на 20%». Он разделяет данные, статистический вывод и управленческое решение.
Относительный рост без абсолютной базы искажает восприятие
Фраза «конверсия выросла на 20%» звучит одинаково для 0,5% → 0,6% и 20% → 24%. Но абсолютная разница в первом случае — 0,1 процентного пункта, во втором — четыре. Требования к выборке, экономический эффект и риски совершенно разные.
Поэтому в отчёте полезно всегда писать оба числа: было 2,0%, стало 2,4%; +0,4 п.п., или +20% относительно базы. Процентные пункты показывают абсолютный сдвиг, относительный процент — масштаб изменения относительно текущего уровня. Ни один из вариантов не нужно выбирать вместо другого.
Это особенно важно при низких конверсиях. Рост с 0,5% до 0,6% — те же +20%, но требует порядка 85,9 тысячи наблюдений на каждый вариант при параметрах нашего расчёта. Причина проста: целевое событие редкое, и случайные колебания числа событий относительно велики.
Для бизнеса редкая конверсия может быть очень ценной — например, заявка на сложный промышленный проект. Тогда правильный вывод не «эксперименты невозможны», а «мелкие эффекты этой метрики невозможно быстро доказать». Гипотезы должны быть крупнее, а доказательства — шире: качество лидов, промежуточные сигналы, исследования поведения и накопленный результат нескольких периодов.
Хорошая статистика не исправляет плохой дизайн эксперимента
Можно собрать идеальную выборку и всё равно получить бесполезный вывод. Например, вариант B запустить только на мобильном трафике, а A — на всех устройствах; поменять рекламные кампании в середине теста; одновременно изменить цену; допустить, чтобы один пользователь видел оба варианта.
Статистический тест сравнит две доли, но не покажет, какая часть разницы связана именно с проверяемым изменением. Поэтому до расчёта выборки нужно проверить сам дизайн:
- каждый пользователь на всём протяжении теста видит один закреплённый за ним вариант;
- распределение случайное и группы получают сопоставимый трафик;
- одновременно не меняется другой крупный фактор, который действует только на одну группу;
- целевая метрика определяется одинаково;
- эксперимент проходит полный недельный или бизнес-цикл;
- правило остановки выбрано заранее.
В e-commerce стоит отдельно следить за выручкой и средним чеком. Изменение может увеличить конверсию за счёт более дешёвых товаров и одновременно уменьшить валовую прибыль. В лидогенерации рост формы может ухудшить качество обращений. Поэтому основная метрика теста должна быть связана с задачей, а защитные метрики — показывать нежелательные побочные эффекты.
Чем больше вариантов и метрик, тем легче найти случайную победу
Если команда одновременно проверяет пять вариантов страницы и десять показателей, вероятность увидеть где-нибудь красивую случайную разницу выше, чем в одном заранее определённом сравнении. Это называется проблемой множественных проверок.
На практике защита начинается не со сложной математики, а с дисциплины: выбрать одну основную метрику и ограниченное число защитных; заранее зафиксировать главный вариант сравнения; не объявлять успех по второстепенному показателю только потому, что основной не изменился.
Для большого experimentation-продукта нужны формальные поправки и специализированная статистическая система. Для большинства маркетинговых команд уже полезно отказаться от подхода «посмотрим все графики и найдём, где зелёное». Исследование должно проверять заранее сформулированную гипотезу, а не искать удачную историю после завершения.
То же правило относится к сегментам. Если общий тест нейтрален, а затем аналитик перебирает двадцать аудиторий и находит рост только у пользователей Safari из одного города, такой результат скорее гипотеза для следующего теста, чем готовое доказательство.
Ограничения исследования
Расчёты предполагают независимые наблюдения и фиксированную вероятность конверсии внутри каждого варианта. В реальном маркетинге на результат влияют источники трафика, устройства, сезонность, повторные визиты и изменение состава аудитории. Если один и тот же пользователь попадает в обе группы или трафик распределён неслучайно, простая модель может быть неприменима.
Нормальное приближение для двух долей плохо работает при очень малом числе событий. В таких случаях нужны точные или другие статистические методы. Таблица выборок — плановый ориентир, а не замена проверке конкретного дизайна эксперимента.
Мы также не утверждаем, что alpha 5% и мощность 80% оптимальны для любого бизнеса. Если ложный запуск очень дорог, пороги стоит сделать строже. Если эксперимент дешёвый и обратимый, компания может сознательно принять больший риск.
Главный вывод исследования не зависит от конкретной настройки: процент изменения нельзя интерпретировать без числа наблюдений и событий. Чем ниже базовая конверсия и чем меньше эффект, который бизнес хочет различить, тем больше данных потребуется.
