Запишите план эксперимента заранее
| Поле | Пример для оффера конструктора сайта |
|---|---|
| Гипотеза | Пояснение тарифа рядом с кнопкой уменьшит ошибочные переходы |
| Контроль и вариант | Обычная страница и та же страница с пояснением |
| Распределение | Случайно между двумя версиями, повторный посетитель видит ту же |
| Основная метрика | Подтверждённые действия на число назначенных пользователей |
| Диагностика | Клики по кнопке, отображение версии и время загрузки |
| Завершение | Запланированное число наблюдений и время для проверки действий |
GeekBrains описывает базовый принцип тестирования лендинга в одинаковых условиях. Для партнёрского лендинга важно дополнительно разделить переходы по версиям, дождаться подтверждений и избежать преждевременного выбора по кликам. Зафиксируйте один период запуска и правила остановки. Если объём мал, оформляйте результат как предварительный. Нужный размер выборки зависит от исходной конверсии и эффекта, который имеет смысл обнаружить.
Проверьте, что эксперимент действительно работает
До старта откройте обе версии на телефоне. Проверьте метки на пути к рекламодателю и запись основной метрики. Если источник или программа не поддерживает разделение подтверждений по варианту, сначала решите проблему измерения. В начале теста посмотрите, соответствует ли реальное распределение запланированному. Если почти все посетители попадают в один вариант, проверьте настройку прежде, чем сравнивать цифры.
В учебном примере 1 000 назначенных пользователей в каждой версии. У контроля 100 кликов и 12 подтверждений, у варианта 80 кликов и 15 подтверждений. По переходам контроль выше, по основной метрике получилось 1,2% против 1,5%. Разница составляет 0,3 процентного пункта. Эти цифры без оценки неопределённости и заранее выбранной цели теста не подтверждают, что эффект воспроизведётся.
Как прочитать итог
После окна проверки выгрузите все статусы, включая ожидающие и отклонённые. Сравните подтверждения за один период и отдельно посмотрите диагностические метрики. Если версия набрала меньше кликов, но выглядит лучше по подтверждениям, проверьте, не изменилось ли качество источника или время обработки. Если разница слишком мала для решения, сохраните проверенные наблюдения и продолжите сбор по согласованному плану либо завершите тест как неопределённый.