A/B: ANDROID_POST_REGISTRATION

Вовлечённость

общие показатели активности

Метрика	Control	Test	Δ
Событий / юзер	675.8	672.3	−0.5%
Сессий / юзерSession_Start	17.11	17.25	+0.8%
Feed открытий / юзерFeed_Open	26.67	26.20	−1.8%
Media_View / юзер	193.8	186.3	−3.9%
Earn_Tap / юзер	6.10	5.86	−3.9%

Создание контента

видеозапись и публикация

Метрика	Control	Test	Δ событий	Δ / юзер
VideoCapture_Appear	44 205	47 133	+2 928	+6.6%
Publish_Appear	9 296	9 994	+698	+7.5%
Publish_Tap	9 139	9 872	+733	+8.0%
Create_Tap	11 357	12 181	+824	+7.3%

Воронка WhyBuyGlasses

ключевой сигнал теста

+107%

Одинаковое число юзеров, в 2.1× больше слайдов

До экрана WhyBuyGlasses доходит практически одинаковое число уникальных пользователей в обеих группах (1 590 vs 1 531). Но тестовая группа просматривает 44.1 слайда в среднем против 21.3 в контроле. Эффект устойчиво держится всё время теста: streak-контекст делает оффер очков более релевантным — пользователи глубже изучают ценностное предложение, но в покупки это по-прежнему не конвертирует.

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ событий
WhyBuyGlasses_Appear	3 048	1 590	3 242	1 531	+6.4%
WhyBuyGlasses_SlideView	33 416	1 569	66 905	1 517	+100%
WhyBuyGlasses_Swipe	30 432	1 415	63 746	1 375	+110%
Slides / engaged user	21.3	—	44.1	—	+107%
WhyBuyGlasses_Close_Tap	1 504	1 032	1 640	1 016	+9.0%

Монетизация (Market & Offer)

воронка покупки бустов · % — доля от дошедших до маркета (Market_Appear uniq)

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ юзеров
Market_Appear	22 751	4 577	21 597	4 595	+0.4% юзеров
MyProfile_Boost_Appear	18 899	2 203	20 302	2 145	−2.6% юзеров
Market_Checkout_Appear	3 995	1 736 (37.9%)	4 216	1 798 (39.1%)	+3.6% юзеров
Market_Checkout_Buy_Tapобщее число нажатий «купить»	1 672	941 (20.6%)	1 481	941 (20.5%)	0.0% юзеров
Offer_Glasses_Appear	3 635	1 663	3 549	1 688	+1.5% юзеров
Offer_Glasses_Buy_Tap	2 380	1 252	2 325	1 274	+1.8% юзеров

Streak активность

геймификация серий

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ / юзер
LongStreak_Banner_Tap	6 544	1 848	6 396	1 867	−2.3%
LongStreak_Watch_Tap	3 168	1 033	3 118	1 048	−1.6%
ShortStreak_Widget_Tap	4 380	2 035	4 631	2 100	+5.7%
Onboarding_StreakWarning_Appear	2 181	1 120	2 286	1 163	+4.8%
Onboarding_Congratulations_Appear	3 024	2 920	2 981	2 872	−1.5%

Retention D1 / D3 / D7 / D14

когорта 19 июня (1 089 vs 1 109 юзеров) — Firebase user_pseudo_id → backend uid, strict day-N + rolling (R20), любое событие = активность

+2.4 pp

Небольшой плюс теста на strict — но rolling его не подтверждает, значимости нет

Когорта 19 июня: 1 089 control и 1 109 test. По strict day-N тест выше на всех горизонтах — D1 +2.4 пп (z=1.14), D3 +0.4 пп, D7 +0.4 пп (z=0.21), D14 +1.3 пп (z=0.67) — но ни одна дельта не значима. По rolling («вернулся хотя бы раз к дню N») разница почти исчезает: rD7 control даже чуть выше (81.1% vs 80.8%), rD14 обе ≈87–88%. Значимого эффекта на удержание тест не даёт. Firebase-экспорт полон по 08.07 — для когорты 19 июня зрелы все окна, включая D14 (03.07).

День	Control (1 089 юзеров)	Control %	Test (1 109 юзеров)	Test %	Δ (п.п.)	Δ (относит.)
D0 (19 июн)	1 089	100%	1 109	100%	—	—
D1 (20 июн)	612	56.2%	650	58.6%	+2.4 pp · н/з	+4.3%
D3 (22 июн)	505	46.4%	519	46.8%	+0.4 pp · н/з	+0.9%
D7 (26 июн)	396	36.4%	408	36.8%	+0.4 pp · н/з	+1.1%
D14 (3 июл)	306	28.1%	326	29.4%	+1.3 pp · н/з	+4.6%

Rolling retention (вернулся хотя бы раз к дню N) · R20

та же когорта, один знаменатель; активен ≥1 раз в интервале [D1 … DN]

День	Control %	Test %	Δ (п.п.)
roll D1	56.2%	58.6%	+2.4 pp
roll D3	71.9%	72.5%	+0.6 pp
roll D7	81.1%	80.8%	−0.3 pp
roll D14	86.9%	88.0%	+1.1 pp

Реальные покупки (transactions · R16-якорь)

DoppyEvents.transactions · Jun 19 – Jul 8 · transaction_type=marketplace_purchase_buyer, purchase_type=external, fiat_asset≠'' · дедуп LIMIT 1 BY transaction_id · is_fraud НЕ фильтруется (R5/B7 — в transactions его нет) · арм по арм-мапу → backend uid · CR/ARPU от дошедших до маркета (Market_Appear uniq): 4 577 / 4 595

−12.7%

Контроль ведёт по деньгам — выше и покупатели, и ARPPU

Снапшот 09.07, transactions-якорь (R16), без фрод-фильтра (R5). Control: 324 покупателя, $2 534 выручки. Test: 292 покупателя, $1 993. Покупателей у теста меньше (−9.9%). CR от дошедших до маркета 7.08% vs 6.35% (−0.73 п.п., z=1.39, p≈0.17 — незначимо, но контроль устойчиво ведёт). ARPPU $7.82 vs $6.83 (−12.7%), ARPU/дошедшего $0.554 vs $0.434. Армы geo-сбалансированы (NG/PK/ES/US почти поровну) — разрыв ARPPU не страновой артефакт. 19 покупателей без арма ($117) вынесены в unattributed и в разрез не входят.

Метрика	Control (4 577 дошли до маркета)	Test (4 595 дошли до маркета)	Δ
Уникальных покупателейпервичные + вернувшиеся	324	292	−9.9%
— первичных (первая покупка в жизни)	313	280	−10.5%
— вернувшихся (покупали раньше)	11	12	+1
CR покупки (покупатели / дошли до маркета)	7.08%	6.35%	−0.73 pp · z=1.39 · p≈0.17
Выручка (fiat, USD-экв.)	$2 533.96	$1 993.03	−21.3%
ARPPU (выручка / покупатель)основная денежная метрика	$7.82	$6.83	−12.7%
ARPU (выручка / дошедшего до маркета)	$0.554	$0.434	−21.7%
Покупок всего, штпервичные + повторные	337	300	−11.0%
— повторных покупок, шт	24	20	−16.7%

Разбивка по категории продукта

Категория	Control — кол-во	Control — выручка	Test — кол-во	Test — выручка
regularglasses / буст (is_glasses_purchase=1)	319	$2 498.04	282	$1 963.61
specialidentity_approve + video_promotion	18	$35.92	18	$29.42

GEO-разрез: страновой микс арма (проверка конфаунда ARPPU)

уник. юзеров арма по $geoip_country_code (PostHog) — топ-6

Страна	Control (юзеров)	Test (юзеров)
🇳🇬 Nigeria	1 043	1 058
🇵🇰 Pakistan	965	908
🇪🇸 Spain	814	822
🇺🇸 USA	606	595
🇮🇹 Italy	584	502
🇩🇪 Germany	523	533

Микс стран между армами сбалансирован (рандомизация сработала): топ-страны почти совпадают (макс. перекос — Italy +82 юзера у control, ~1%). Значит разрыв ARPPU (−12.7%) — не артефакт странового состава, а реальная разница в монетизации.

DAU по дням

уникальные пользователи с Session_Start в каждой группе (клиентский сигнал; серверные батчи не учитываются)

Control (balance) Test (wallet/streak)

Выводы

01

Retention: strict-плюс есть, rolling его не подтверждает. По strict day-N (Firebase user_pseudo_id → backend uid, когорта 19 июня) тест выше на всех горизонтах: D1 +2.4 пп (56.2% vs 58.6%, z=1.14), D3 +0.4 пп, D7 +0.4 пп (z=0.21), D14 +1.3 пп (z=0.67) — но ни одна дельта не значима. По rolling («вернулся хотя бы раз к дню N», R20) разница почти исчезает: rD7 control даже чуть выше (81.1% vs 80.8%), rD14 обе ≈87–88%. Значимого эффекта на удержание нет.

02

Реальные покупки: контроль впереди по деньгам. 324 покупателя vs 292 (−9.9%), CR от дошедших до маркета 7.08% vs 6.35% (Δ−0.73 п.п., z=1.39, p≈0.17 — незначимо, контроль ведёт). Выручка $2 534 vs $1 993 (−21%), ARPPU $7.82 vs $6.83 (−12.7%), ARPU/дошедшего $0.554 vs $0.434. Первичных покупателей 313 vs 280, повторных покупок 24 vs 20. Якорь — DoppyEvents.transactions (R16), дедуп LIMIT 1 BY transaction_id, is_fraud не фильтруется (R5/B7). Армы geo-сбалансированы — разрыв не страновой.

03

WhyBuyGlasses: одинаковый охват, ×2.1 глубина просмотра. До экрана доходит близкое число юзеров (1 590 vs 1 531). Но тест просматривает 44.1 слайда vs 21.3 в control (+107%) — эффект стабилен всё время теста. Streak-контекст делает оффер релевантным, но в покупки это по-прежнему не конвертирует.

04

Создание контента: тест стабильно сильнее. Publish_Tap +8.0%/юзер, VideoCapture_Appear +6.6%, Create_Tap +7.3%. Streak-механика мотивирует снимать видео. Если приоритет — UGC-supply и creator pipeline, тест лучше.

05

Итоговый trade-off: деньги против supply. Тест → больше контента (+7–8% публикаций/юзер), глубже изучает оффер (WBG ×2.1), чуть выше strict-retention (незначимо); вовлечённость при этом на уровне контроля (сессии +0.8%, feed −1.8%, media −3.9%). Контроль → деньги: ARPPU +12.7%, больше покупателей, выше CR (Δ+0.73 п.п. в пользу контроля, незначимо). Если решать по выручке — контроль; если по UGC-supply — тест.

06

Осторожно с интерпретацией. Флаг применён ко ВСЕМ пользователям (не только новые регистрации), когорта retention — существующие активные юзеры. Армы: 6 966 control / 6 969 test (assigned = активны в окне). События атрибутированы джойном по арм-мапу (арм — свойство юзера), БЕЗ требования флага на каждом событии: иначе Session_Start и ранние события сессии занижаются почти вдвое. DAU по Session_Start, чтобы серверные батчи не искажали кривую.

Источники данных (снапшот 09.07.2026, окно Jun 19 – Jul 8): PostHog events → DoppyEvents.posthog_events_message. Арм-мап = argMax($feature/ANDROID_POST_REGISTRATION_DEEPLINK по event_date), identity = distinct_id 24-hex = backend uid, 13 935 юзера (6 966 / 6 969); события/воронки атрибутированы джойном по арм-мапу без флаг-фильтра. Retention → DoppyEvents.firebase_doppy_raw (user_id → backend uid = splitByString(':',user_id)[1], любое событие = активность, когорта Jun 19, strict day-N + rolling R20; экспорт полон по Jul 8 — зрелы D1/D3/D7 и D14). Покупки → DoppyEvents.transactions (R16-якорь: transaction_type=marketplace_purchase_buyer, purchase_type=external, fiat_asset≠'', дедуп LIMIT 1 BY transaction_id; is_fraud НЕ фильтруется per R5/B7 — в transactions его нет; знаменатель CR — Market_Appear reachers 4 577 / 4 595; 19 покупателей unattributed, $117). GEO из $geoip_country_code. Официальный эксперимент в PostHog — статус Draft (start_date = null), флаг активен, тест продолжается. CH-запросы через HTTP-интерфейс (curl) с прокинутым арм-мапом как external table.