Doppy · PostHog A/B Experiment · Feature Flag

ANDROID_POST_REGISTRATION_DEEPLINK

Период: 18–30 июня 2026 (12 дней) Сплит: 50 / 50 Статус: DRAFT — флаг активен, эксперимент не запущен официально Метод: PostHog Events + ClickHouse (posthog_events_message)
Пользователей control
9 799
balance экран
Пользователей test
9 613
wallet/streak экран
Сессий / юзер
+4.3%
4.18 → 4.36
WhyBuyGlasses slides / юзер
+125%
21.9 → 49.3
Publish_Tap
+11.5%
4 589 → 5 117
Market Checkout Buy
−15.6%
826 → 697 событий
Control
deeplink → "balance"
После регистрации — экран баланса кошелька
Юзеров9 799
Событий2 229 021
Событий / юзер227.5
Test
deeplink → "wallet/streak"
После регистрации — экран streak-трекера
Юзеров9 613
Событий2 299 718
Событий / юзер239.3
Вовлечённость
общие показатели активности
Метрика Control Test Δ
Событий / юзер 227.5 239.3 +5.2%
Сессий / юзерSession_Start 4.18 4.36 +4.3%
Feed открытий / юзерFeed_Open 7.99 8.87 +11.0%
Media_View / юзер 77.1 77.5 +0.5%
Earn_Tap / юзер 2.41 2.43 +0.8%
Создание контента
видеозапись и публикация
Метрика Control Test Δ событий Δ / юзер
VideoCapture_Appear 21 671 24 108 +2 437 +13.6%
Publish_Appear 4 645 5 196 +551 +14.9%
Publish_Tap 4 589 5 117 +528 +13.7%
Create_Tap 5 949 6 435 +486 +9.8%
Воронка WhyBuyGlasses
ключевой сигнал теста
+125%
Одинаковое число юзеров, в 2.25× больше слайдов
До экрана WhyBuyGlasses доходит практически одинаковое число уникальных пользователей в обеих группах (924 vs 922). Но тестовая группа просматривает 49.3 слайда в среднем против 21.9 в контроле. Streak-контекст делает оффер очков более релевантным — пользователи глубже изучают ценностное предложение.
Событие Control (события) Control (юзеры) Test (события) Test (юзеры) Δ событий
WhyBuyGlasses_Appear 1 654 924 1 824 922 +10.3%
WhyBuyGlasses_SlideView 19 781 903 44 531 904 +125%
WhyBuyGlasses_Swipe 18 177 801 42 763 821 +135%
Slides / engaged user 21.9 — 49.3 — +125%
WhyBuyGlasses_Close_Tap 795 563 938 619 +18.0%
Монетизация (Market & Offer)
воронка покупки бустов
Событие Control (события) Control (юзеры) Test (события) Test (юзеры) Δ юзеров
Market_Appear 11 565 — 11 137 — −3.7%
MyProfile_Boost_Appear 8 860 — 9 865 — +11.3%
Market_Checkout_Appear 2 031 885 (9.0%) 2 179 968 (10.1%) +9.4%
Market_Checkout_Buy_Tapобщее число нажатий «купить» 826 418 (4.3%) 697 444 (4.6%) +6.2% юзеров
Offer_Glasses_Appear 1 839 818 1 747 844 +3.2% юзеров
Offer_Glasses_Buy_Tap 1 189 570 1 141 620 +8.8% юзеров
Streak активность
геймификация серий
Событие Control (события) Control (юзеры) Test (события) Test (юзеры) Δ / юзер
LongStreak_Banner_Tap 3 432 1 044 3 429 1 114 ≈0%
LongStreak_Watch_Tap 2 760 926 2 753 969 +1.5%
ShortStreak_Widget_Tap 2 776 1 261 2 988 1 253 +9.9%
Onboarding_StreakWarning_Appear 1 926 983 2 005 1 015 +6.1%
Onboarding_Congratulations_Appear 1 907 1 853 1 890 1 827 ≈0%
Retention D1 / D3 / D7
когорта 19 июня (835 vs 858 юзеров) — daily_active_ids DevEvents
+4 pp
D7-удержание значимо выше в тесте (32.3% vs 28.3%)
Когорта 19 июня: 835 control-юзеров и 858 test-юзеров. Тест ведёт по всем трём точкам. На D7 это +14% в относительном выражении — сигнал, что streak-экран после регистрации строит привычку возвращаться. Важно: это существующие пользователи, а не новые регистрации, поэтому абсолютные значения высокие (28–55%).
День Control (835 юзеров) Control % Test (858 юзеров) Test % Δ (п.п.) Δ (относит.)
D0 (19 июн) 835 100% 858 100% — —
D1 (20 июн) 438 52.5% 477 55.6% +3.1 pp +5.9%
D3 (22 июн) 368 44.1% 409 47.7% +3.6 pp +8.2%
D7 (26 июн) 236 28.3% 277 32.3% +4.0 pp +14.1%
Реальные покупки (PayGate / транзакции)
DevEvents.L3_doppy_fct_marketplace_purchases · Jun 18–29 · is_fraud=0, дедуп по transaction_id · CR/ARPU от дошедших до маркета (Market_Appear): 2 916 / 2 867 · вся арм-популяция 8 364 / 8 208
−33%
Revenue в тесте ниже несмотря на большую вовлечённость в WhyBuyGlasses
Control: 98 покупателей, $772 выручки. Test: 75 покупателей, $518 выручки. CR от дошедших до маркета 3.36% vs 2.62% (−0.74 п.п., p=0.096 — статзначимости нет). Balance-экран (контроль) чаще триггерит покупку — пользователь видит баланс и идёт пополнять. Streak-экран вовлекает глубже в onboarding-контент, но к кассе ведёт реже. Данные очищены от фрода (is_fraud=0) и дедуплицированы (в марте была 4× репликация строк) — абсолюты ~в 6× ниже прежней версии, но направление control>test держится.
Метрика Control (~2 916 дошли до маркета) Test (~2 867 дошли до маркета) Δ
Уникальных покупателей 98 75 −23.5%
CR покупки (buyers / дошли до маркета) 3.36% 2.62% −0.74 pp · p=0.096 н/з
Выручка (fiat) $772.48 $517.73 −33.0%
ARPU (выручка / дошедшего до маркета) $0.265 $0.181 −31.8%
Первичных покупок (is_initial_fiat) 88 64 −27.3%
Повторных покупок 19 12 −36.8%
Разбивка по категории продукта
Категория Control — кол-во Control — выручка Test — кол-во Test — выручка
regularстандартный буст 81 $717.41 68 $497.71
specialпромо / подарочный SKU 23 $55.07 8 $20.02
DAU по дням
уникальные пользователи в каждой группе
Control (balance) Test (wallet/streak)

Выводы

01
Retention: тест убедительно выигрывает. D1 +3.1 pp (55.6% vs 52.5%), D3 +3.6 pp, D7 +4.0 pp (+14% относительно). Данные из DevEvents.L1_doppy_daily_active_ids по когорте 19 июня. Streak-экран формирует привычку возвращаться — это главный сигнал теста.
02
Реальные покупки: контроль впереди по деньгам, но статзначимости нет. Balance-экран конвертирует лучше: 98 покупателей vs 75, CR от дошедших до маркета 3.36% vs 2.62% (Δ−0.74 п.п., p=0.096). ARPU/дошедшего $0.265 vs $0.181. Тест вовлекает в onboarding-контент, но к кассе ведёт реже. Ключевой разрыв — "special" SKU: 23 покупки в control vs 8 в test. Цифры на is_fraud=0 + дедуп.
03
WhyBuyGlasses: одинаковый охват, x2.25 глубина просмотра. До экрана доходит одинаковое число юзеров (924 vs 922). Но тест просматривает 49.3 слайда vs 21.9 в control. Streak-контекст делает оффер релевантным — пользователь понимает, зачем ему очки. Это знание работает в retention, но не конвертирует сразу.
04
Создание контента: тест сильнее. Publish_Tap +14%, VideoCapture_Appear +14%. Streak-механика мотивирует снимать видео. Если приоритет — UGC-supply и creator pipeline, тест очевидно лучше.
05
Итоговый trade-off. Тест → лучше retention (+14% D7) + больше контента (+14% публикаций) + глубже изучает ценностное предложение. Контроль → выше monetization ARPU (−32% в тесте, на очищенных от фрода данных) — balance-экран это прямой триггер покупки. Ни один вариант не доминирует по всем осям.
06
Осторожно с интерпретацией. Флаг применён ко ВСЕМ пользователям (не только новые регистрации). Retention-данные — когорта существующих активных юзеров с June 19, а не cohort install. Реальный эффект на новые регистрации невозможно изолировать без разделения new vs returning.
Источники данных: PostHog events → DoppyEvents.posthog_events_message (флаг + события, Jun 18–30). Retention → DevEvents.L1_doppy_daily_active_ids (когорта Jun 19). Покупки → DevEvents.L3_doppy_fct_marketplace_purchases (Jun 18–29, is_fraud=0, дедуп по transaction_id; арм-сплит distinct_id→backend uid, базы 8 364 / 8 208). Официальный эксперимент в PostHog — статус Draft (start_date = null). PostHog Query API заблокирован Cloudflare WAF (error 1010). CH-реплика PostHog устарела (до мая 2026).