Содержание 7 разделов ↘
Что вводить
Исходная конверсия — доля участников, совершивших выбранное целевое действие. MDE — минимальный относительный рост, который экономически интересен: от 3% при MDE 20% получается 3,6%, не 23%. Трафик — только доступные уникальные участники, суммарно на два варианта.
Размер выборки
Используем приближённую формулу двухстороннего z-теста двух независимых пропорций с распределением 50/50. Под нулевой гипотезой применяется общая доля p̄=(p₁+p₂)/2, под альтернативой — дисперсии p₁(1−p₁) и p₂(1−p₂). Уровень значимости и мощность задают два критических квантиля нормального распределения. Итог округляется вверх на вариант.
Как оценивать длительность
Минимальные дни по трафику = округление вверх (2 × выборка на вариант / доступные посетители в день). В плановом ориентире используется минимум 14 календарных дней, чтобы не ограничиваться частью недельного цикла. При сезонных провалах, неравномерном распределении и пропусках дни будут другими.
Не проверяйте результат до набора выборки
Фиксируйте критерий успеха, единственную основную метрику и продолжительность заранее. Ежедневный просмотр p-value с ранней остановкой при «значимости» увеличивает вероятность ложноположительного вывода. Для нескольких вариантов/метрик и последовательного дизайна нужны другие расчёты.
Вопросы и ответы
Это калькулятор фактической статистической значимости?
Нет. Он планирует объём выборки до эксперимента. Для анализа результатов потребуются реальные конверсии и наблюдения по двум группам.
Почему уменьшение MDE так увеличивает сроки?
Требуемая выборка примерно обратно пропорциональна квадрату абсолютного эффекта: вдвое меньшая разница может потребовать примерно вчетверо больше трафика.
Когда нормальное приближение неприменимо?
При очень редких событиях, малой ожидаемой численности конверсий, зависимых наблюдениях и кластеризации. Нужен альтернативный дизайн либо отдельная статистическая оценка.
