Развести удержание людей и денежные показатели
Для удержания определите первое и повторное события. Например, пользователь входит в группу по дате первой подтверждённой операции, а повтор фиксируется только по заранее определённому событию. Сохраните период наблюдения и возраст когорты. Денежные показатели держите отдельно. Один человек может дать крупную долю оборота, но в удержании он остаётся одним участником.
Учебный пример: из 100 человек в первую полную неделю вернулись 15. Если у одного из них крупное значение оборота, доля возврата всё равно равна 15%. В среднем обороте его вес может быть заметен. Сравните среднее с медианой, а рядом покажите долю самого крупного значения. Не удаляйте его из отчёта молча: отдельный срез помогает понять чувствительность вывода.
Сравнить только группы одинакового возраста
Не смешивайте даты первого события и даты поступления денег. При анализе седьмого дня исключите группы, которые ещё не успели достичь этого возраста. Если окно определяется календарной неделей, явно укажите это. Если оно начинается с момента первого действия, сохраните это правило для всех групп. Возврат именно на седьмой день и возврат в течение семи дней — разные расчёты.
Сверьте часовой пояс и определения событий. Один пользователь может иметь несколько записей об операции. Для доли людей пересчитайте уникальные идентификаторы, не включая повторное событие дважды. При корректировках ведите отдельный статус. Учебная когорта из 100 человек не должна расти задним числом только потому, что один платёж изменил статус.
Проверить устойчивость наблюдения
Покажите результат на всей группе и в дополнительном срезе без самого крупного значения, явно подписав оба. Если среднее меняется вдвое, а медиана почти прежняя, вывод про типичного участника по одному среднему неверен. Для доли возвратов отдельно проверьте, что изменилось число людей, а не объём действий небольшой группы.
Редактору полезно хранить рядом размер группы, период и перечень исключений. В отчёте избегайте сведений, по которым можно узнать человека. Определение high roller используйте для объяснения статистического эффекта, а не для советов по работе с конкретным человеком. Если меняете порог сегмента, покажите, как это влияет на итог, и не сравнивайте новый сегмент со старым как будто правила одинаковы.
В контрольном отчёте запишите число участников с полным окном наблюдения. Если из двух групп до нужного дня дошла только одна, не заменяйте пропуски нулями. Сначала дождитесь одинаковой зрелости и только после этого сопоставьте доли.
Документация: Документация Amplitude об удержании, Gambling Commission о защите пользователей.