Выбираем контроль и один порог
В настройках веб-блока РСЯ есть автоматическая стратегия максимального дохода и ручной порог CPMV. Яндекс указывает, что порог может уменьшить заполняемость. Сохраните действующую стратегию как контроль. В эксперименте задайте один порог, выбранный с опорой на собственные данные. Проверьте, что в обеих группах одинаковые место, формат, настройки контейнера и ограничения тематик. Для вариантов назначьте разные идентификаторы блока, чтобы корректно собрать вознаграждение.
Распределяйте посетителей одновременно между группами и сохраняйте назначение при повторных визитах. Это особенно важно, если трафик сильно различается по дням недели. Проверьте распределение по устройствам, источникам и ключевым страницам. Если изменение касается одного места, не меняйте одновременно другие блоки, заголовки и дизайн. Укажите период, метрику результата и причины для остановки перед тем, как смотреть на первые цифры.
Проверяем экономику на исходных числах
Учебный пример: по 10 000 визитов и 20 000 запросов в каждой группе. В контроле сеть подобрала 17 000 объявлений, из них набралось 12 000 видимых показов. При CPMV 100 ₽ доход составил 1 200 ₽. В тесте с более высоким порогом получилось 12 000 подборов и 8 000 видимых показов. При CPMV 140 ₽ доход составил 1 120 ₽. Цена тысячи видимых показов выросла на 40%, а доход на тысячу визитов снизился со 120 до 112 ₽. Заполняемость снизилась с 85 до 60%.
В отчёте сохраните визиты, запросы, подборы, видимые показы, CPMV и вознаграждение. Посмотрите, что произошло на каждом этапе. Снижение заполнения не всегда означает проигрыш, если рост цены и видимости его перекрывает. В примере этого не произошло. Для страницы с несколькими блоками проверяйте также общую выручку всех мест. Дополнительная цена в одном месте может сопровождаться меньшим результатом на остальных.
Принимаем решение после проверки
Сверьте качество данных и долю визитов по вариантам. Если выигрыш виден только на одном необычном дне или устройстве с несколькими визитами, сначала наберите больше наблюдений. Если расходятся количество запросов и показов из-за ошибки внедрения, устраните ошибку и повторите тест. Перенос результата на другой формат или регион оформляйте отдельной проверкой.
Яндекс публикует пример эксперимента с порогами на «Бэби.ру» с использованием Varioqub. Его полезно читать как способ поставить сравнение, потому что результат зависит от состава аудитории и размещений. После окончания внесите решение, срок перепроверки и прежнее значение в журнал. Это поможет вернуться к контролю, если аукцион или трафик изменится.