A/B: ANDROID_POST_REGISTRATION

Вовлечённость

общие показатели активности

Метрика	Control	Test	Δ
Событий / юзер	763.7	787.6	+3.1%
Сессий / юзерSession_Start	19.46	19.95	+2.5%
Feed открытий / юзерFeed_Open	31.08	32.06	+3.2%
Media_View / юзер	195.9	196.4	+0.2%
Earn_Tap / юзер	6.60	6.60	+0.1%

Создание контента

видеозапись и публикация

Метрика	Control	Test	Δ событий	Δ / юзер
VideoCapture_Appear	65 963	71 925	+5 962	+10.0%
Publish_Appear	13 694	15 225	+1 531	+12.2%
Publish_Tap	13 516	15 067	+1 551	+12.5%
Create_Tap	16 842	18 316	+1 474	+9.7%

Воронка WhyBuyGlasses

ключевой сигнал теста

+85%

Одинаковое число юзеров, в 1.9× больше слайдов

До экрана WhyBuyGlasses доходит практически одинаковое число уникальных пользователей в обеих группах (2 142 vs 2 077). Но тестовая группа просматривает 41.2 слайда в среднем против 22.2 в контроле. Эффект устойчиво держится всё время теста: streak-контекст делает оффер очков более релевантным — пользователи глубже изучают ценностное предложение, но в покупки это по-прежнему не конвертирует.

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ событий
WhyBuyGlasses_Appear	4 285	2 142	4 516	2 077	+5.4%
WhyBuyGlasses_SlideView	47 164	2 121	84 896	2 059	+80%
WhyBuyGlasses_Swipe	42 957	1 924	80 480	1 872	+87%
Slides / engaged user	22.2	—	41.2	—	+85%
WhyBuyGlasses_Close_Tap	2 125	1 409	2 288	1 400	+7.7%

Монетизация (Market & Offer)

воронка покупки бустов · % — доля от дошедших до маркета (Market_Appear uniq)

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ юзеров
Market_Appear	32 956	6 084	31 867	6 076	−0.1% юзеров
MyProfile_Boost_Appear	30 215	2 954	32 823	2 941	−0.4% юзеров
Market_Checkout_Appear	5 596	2 323 (38.2%)	6 033	2 416 (39.8%)	+4.0% юзеров
Market_Checkout_Buy_Tapобщее число нажатий «купить»	2 208	1 219 (20.0%)	2 089	1 260 (20.7%)	+3.4% юзеров
Offer_Glasses_Appear	4 883	2 275	4 854	2 251	−1.1% юзеров
Offer_Glasses_Buy_Tap	3 154	1 691	3 174	1 708	+1.0% юзеров

Streak активность

геймификация серий

Событие	Control (события)	Control (юзеры)	Test (события)	Test (юзеры)	Δ / юзер
LongStreak_Banner_Tap	8 782	2 542	10 062	2 539	+15.6%
LongStreak_Watch_Tap	2 898	1 046	3 493	1 065	+21.6%
ShortStreak_Widget_Tap	5 675	2 731	5 956	2 750	+5.9%
Onboarding_StreakWarning_Appear	2 244	1 156	2 373	1 206	+6.7%
Onboarding_Congratulations_Appear	3 859	3 722	3 801	3 654	−0.6%

Retention D1 / D3 / D7 / D14

когорта 19 июня (1 116 vs 1 139 юзеров) — Firebase user_id → backend uid, strict day-N + rolling (R20), любое событие = активность

+3.0 pp

Небольшой плюс теста на strict и rolling — но значимости по-прежнему нет

Когорта 19 июня: 1 116 control и 1 139 test. По strict day-N тест выше на всех горизонтах — D1 +3.0 пп (z=1.45), D3 +0.2 пп, D7 +0.8 пп (z=0.39), D14 +1.6 пп (z=0.82) — но ни одна дельта не значима. По rolling («вернулся хотя бы раз к дню N») дельты малы: rD3 +1.0 пп, rD7 +0.2 пп, rD14 +1.1 пп — тест чуть выше и там, но в пределах шума. Значимого эффекта на удержание тест не даёт. Firebase-экспорт полон по 15.07 — для когорты 19 июня зрелы все окна, включая D14 (03.07).

День	Control (1 116 юзеров)	Control %	Test (1 139 юзеров)	Test %	Δ (п.п.)	Δ (относит.)
D0 (19 июн)	1 116	100%	1 139	100%	—	—
D1 (20 июн)	611	54.8%	658	57.8%	+3.0 pp · н/з	+5.5%
D3 (22 июн)	506	45.3%	519	45.6%	+0.2 pp · н/з	+0.5%
D7 (26 июн)	394	35.3%	411	36.1%	+0.8 pp · н/з	+2.2%
D14 (3 июл)	304	27.2%	328	28.8%	+1.6 pp · н/з	+5.7%

Rolling retention (вернулся хотя бы раз к дню N) · R20

та же когорта, один знаменатель; активен ≥1 раз в интервале [D1 … DN]

День	Control %	Test %	Δ (п.п.)
roll D1	54.8%	57.8%	+3.0 pp
roll D3	70.3%	71.3%	+1.0 pp
roll D7	79.2%	79.4%	+0.2 pp
roll D14	85.3%	86.4%	+1.1 pp

Реальные покупки (transactions · R16-якорь)

DoppyEvents.transactions · Jun 19 – Jul 15 · transaction_type=marketplace_purchase_buyer, purchase_type=external, fiat_asset≠'' · дедуп LIMIT 1 BY transaction_id · is_fraud НЕ фильтруется (R5/B7 — в transactions его нет) · арм по арм-мапу → backend uid · CR/ARPU от дошедших до маркета (Market_Appear uniq): 6 084 / 6 076

−7.7%

Контроль ведёт по деньгам — и на сильном дне 15.07 разрыв слегка расширился

Данные по 15.07, transactions-якорь (R16), без фрод-фильтра (R5). Control: 419 покупателей, $3 552 выручки. Test: 378 покупателей, $2 956. Покупателей у теста меньше (−9.8%). CR от дошедших до маркета 6.89% vs 6.22% (−0.67 п.п., z=1.48, p≈0.14 — незначимо). ARPPU $8.48 vs $7.82 (−7.7%), ARPU/дошедшего $0.584 vs $0.487. За последний день перевес контроля вырос: 15.07 на пике трафика control обошёл тест и по DAU (1 432 против 1 361), и по покупкам — z поднялся с 1.20 (снапшот 14.07) до 1.48. Армы geo близки к балансу — разрыв ARPPU в основном не страновой артефакт. 18 покупателей без арма ($108) вынесены в unattributed и в разрез не входят.

Метрика	Control (6 084 дошли до маркета)	Test (6 076 дошли до маркета)	Δ
Уникальных покупателейпервичные + вернувшиеся	419	378	−9.8%
— первичных (первая покупка в жизни)	406	365	−10.1%
— вернувшихся (покупали раньше)	13	13	±0
CR покупки (покупатели / дошли до маркета)	6.89%	6.22%	−0.67 pp · z=1.48 · p≈0.14
Выручка (fiat, USD-экв.)	$3 551.63	$2 955.96	−16.8%
ARPPU (выручка / покупатель)основная денежная метрика	$8.48	$7.82	−7.7%
ARPU (выручка / дошедшего до маркета)	$0.584	$0.487	−16.7%
Покупок всего, штпервичные + повторные	436	392	−10.1%
— повторных покупок, шт	17	14	−17.6%

Разбивка по категории продукта

Категория	Control — кол-во	Control — выручка	Test — кол-во	Test — выручка
regularglasses / буст (is_glasses_purchase=1)	403	$3 492.06	360	$2 903.18
specialidentity_approve + video_promotion	33	$59.57	32	$52.78

GEO-разрез: страновой микс арма (проверка конфаунда ARPPU)

уник. юзеров арма по $geoip_country_code (PostHog) — модальная страна по Session_Start (серверные батчи ресолвятся в DE и искажают last-seen гео) — топ-6

Страна	Control (юзеров)	Test (юзеров)
🇳🇬 Nigeria	1 670	1 687
🇪🇸 Spain	806	784
🇵🇰 Pakistan	759	666
🇮🇹 Italy	656	582
🇺🇸 USA	641	604
🇫🇷 France	441	451

Микс стран между армами сбалансирован (рандомизация сработала): топ-страны почти совпадают (макс. перекос — Pakistan +93 юзера у control, ~1% арма). Значит разрыв ARPPU (−7.7%) — не артефакт странового состава, а реальная разница в монетизации.

DAU по дням

уникальные пользователи с Session_Start в каждой группе (клиентский сигнал; серверные батчи не учитываются)

Control (balance) Test (wallet/streak)

Выводы

01

Retention: небольшой плюс теста, значимости нет. По strict day-N (Firebase user_id → backend uid, когорта 19 июня, 1 116 vs 1 139) тест выше на всех горизонтах: D1 +3.0 пп (54.8% vs 57.8%, z=1.45), D3 +0.2 пп, D7 +0.8 пп (z=0.39), D14 +1.6 пп (z=0.82) — но ни одна дельта не значима. По rolling («вернулся хотя бы раз к дню N», R20) дельты малы: rD3 +1.0 пп, rD7 +0.2 пп, rD14 +1.1 пп. Значимого эффекта на удержание нет.

02

Реальные покупки: контроль впереди по деньгам, разрыв слегка расширился. 419 покупателей vs 378 (−9.8%), CR от дошедших до маркета 6.89% vs 6.22% (Δ−0.67 п.п., z=1.48, p≈0.14 — незначимо). Выручка $3 552 vs $2 956 (−16.8%), ARPPU $8.48 vs $7.82 (−7.7%), ARPU/дошедшего $0.584 vs $0.487. Первичных покупателей 406 vs 365, повторных покупок 17 vs 14. За 15.07 на пике трафика control обошёл тест и по DAU (1 432 vs 1 361), и по покупкам — z поднялся с 1.20 до 1.48 за один день. Якорь — DoppyEvents.transactions (R16), дедуп LIMIT 1 BY transaction_id, is_fraud не фильтруется (R5/B7). Армы geo-сбалансированы — разрыв не страновой.

03

WhyBuyGlasses: одинаковый охват, ×1.9 глубина просмотра. До экрана доходит близкое число юзеров (2 142 vs 2 077). Но тест просматривает 41.2 слайда vs 22.2 в control (+85%) — эффект стабилен всё время теста. Streak-контекст делает оффер релевантным, но в покупки это по-прежнему не конвертирует.

04

Создание контента: тест стабильно сильнее, лид расширился. Publish_Tap +12.5%/юзер, VideoCapture_Appear +10.0%, Create_Tap +9.7%. Streak-механика мотивирует снимать видео. Если приоритет — UGC-supply и creator pipeline, тест лучше.

05

Итоговый trade-off: деньги против supply. Тест → больше контента (+12% публикаций/юзер), глубже изучает оффер (WBG ×1.9), чуть выше strict-retention (незначимо); вовлечённость на уровне или чуть выше контроля (события +3.1%, сессии +2.5%, feed +3.2%, media +0.2%). Контроль → деньги: ARPPU на 8.4% выше, больше покупателей, выше CR (Δ+0.67 п.п. в пользу контроля, незначимо) — и на сильном дне 15.07 разрыв слегка расширился. Если решать по выручке — контроль; если по UGC-supply — тест.

06

Осторожно с интерпретацией. Флаг применён ко ВСЕМ пользователям (не только новые регистрации), когорта retention — существующие активные юзеры. Армы: 9 010 control / 8 931 test (assigned = активны в окне). События атрибутированы джойном по арм-мапу (арм — свойство юзера), БЕЗ требования флага на каждом событии: иначе Session_Start и ранние события сессии занижаются почти вдвое. DAU по Session_Start, чтобы серверные батчи не искажали кривую. С 10.07 идёт приток трафика (DAU выросло с ~1 000 до ~1 400 на арм) — свежие дни весят больше в оконных метриках.

Источники данных (снапшот 16.07.2026, окно Jun 19 – Jul 15, арм-мап с 18.06): PostHog events → DoppyEvents.posthog_events_message. Арм-мап = argMax($feature/ANDROID_POST_REGISTRATION_DEEPLINK по event_date), identity = distinct_id 24-hex = backend uid, 17 941 юзеров (9 010 / 8 931); события/воронки атрибутированы джойном по арм-мапу без флаг-фильтра. Retention → DoppyEvents.firebase_doppy_raw (user_id → backend uid = splitByString(':',user_id)[1], любое событие = активность, когорта Jun 19, strict day-N + rolling R20; экспорт полон по Jul 15 — зрелы D1/D3/D7 и D14). Покупки → DoppyEvents.transactions (R16-якорь: transaction_type=marketplace_purchase_buyer, purchase_type=external, fiat_asset≠'', дедуп LIMIT 1 BY transaction_id; is_fraud НЕ фильтруется per R5/B7 — в transactions его нет; знаменатель CR — Market_Appear reachers 6 084 / 6 076; 18 покупателей unattributed, $108). GEO из $geoip_country_code — модальная страна по Session_Start (серверные события ресолвятся в DE). Эксперимент зарегистрирован в PostHog 06.07 («STREAK / Wallet after reg»), флаг активен, тест продолжается. CH-запросы через HTTP-интерфейс (curl) с прокинутым арм-мапом как external table.