Lokálne A/B testy

Lokálne A/B testy: prečo na geografii záleží

V lokálnom GEO (geographic engine optimization) optimalizujeme ponuky, CTA (call-to-action) a pracovné doby tak, aby zohľadňovali špecifiká regiónov, mikrospádov a denných rytmov. Klasické A/B testy na úrovni celej krajiny často prehliadajú lokálnu heterogenitu – rozdiely v kúpnej sile, mobilite, počasí či kultúrnych návykoch. Lokálne testovanie umožňuje rýchlo zistiť, ktoré varianty fungujú „tu a teraz“, a škálovať ich s minimálnym rizikom kanibalizácie.

Experimentálna jednotka a randomizácia v priestore

• Jednotka: pobočka, PSČ, mriežkový tile (napr. S2/Quadkeys), mestská časť, doručovacia zóna.
• Randomizácia: priraďte varianty A/B na úroveň jednotky, nie na jednotlivca, aby ste znížili spillover medzi používateľmi v tom istom mieste.
• Stratifikácia: pred randomizáciou zoskupte jednotky podľa predikátorov (traffic, tržby, demografia, historická sezónnosť) a randomizujte v rámci strat.
• Kontrola interferencie: minimalizujte kontakty medzi A a B (buffer zóny, nepriľahlé tiles, odlišné komunikačné kanály).

Pre-test kalibrácia: CUPED a predobdobie

Na zvýšenie citlivosti testu použite CUPED (redukciu variancie) s pre-period metrík. Každej jednotke zmerajte výkon v období T–k pred testom (návštevnosť, konverzie, obrat). V samotnom teste upravte odhady o ko-variátu z predobdobia. Výsledkom je menšia potrebná vzorka a kratšie testy.

Formáty lokálnych A/B testov pre ponuky

• Cenová ponuka: A = -10 %, B = 2+1 zdarma; segmentácia podľa elasticity (historické reakcie na zľavy).
• Bundling: A = samostatné produkty, B = lokálny bundle (napr. „mestský snack + káva“).
• Hyperlokálne stimuly: A = generická zľava, B = „po 17:00 v daždivé dni -15 %“ (väzba na počasie a čas).
• Geo-fencing: A = bez cielenia, B = do 500 m od pobočky s vyšším CPA stropom.

Formáty A/B testov pre CTA

• Jazyk a tón: A = „Objednajte online“, B = „Vyzdvihnite za 15 minút“ (proximitne citlivé CTA).
• Časové CTA: A = statický text, B = „Otvorení ešte 45 minút“ (počítadlo do zatvorenia).
• Doprava a dostupnosť: A = generický odkaz, B = „Zobraziť trasu (X min pešo)“ – zobrazuje aktuálny čas dojazdu.
• Varianty pre mikrospády: business štvrť vs. rezidenčná zóna – odlišný dôvod návštevy (obed vs. večerné vyzdvihnutie).

Testovanie pracovných dôb a „daypartingu“

Optimalizácia otváracích hodín je silný pákový efekt na obrat aj náklady. Testujte:

• Skoré otvorenie (napr. +30 min ráno) v kancelárskych zónach počas pracovných dní.
• Neskoré zatvorenie v piatok/sobotu v zábavných štvrtiach.
• Mikro-pauzy v slabých oknách (napr. 14:30–15:00) pre úsporu nákladov, ak neškodia SLA.
• Sezónne preklopenia (letný vs. zimný režim) – testy s prechodovými obdobiami a kontrolou vplyvu dovoleniek.

Metodika: návrh testu krok za krokom

1. Definujte cieľ: konverzný pomer, AOV, tržby/hodinu, návštevnosť pobočky, SLA (čas vybavenia), NPS.
2. Zvoľte jednotku: pobočka/PSČ/tile; skontrolujte dostupnosť dát v reálnom čase.
3. Spárujte „blížencov“ (pair-matching) podľa predobdobia; v každom páre A vs. B.
4. Určite dĺžku testu: celé týždne, zahrnúť rovnaké dni v týždni; vyhnúť sa „polovičným“ víkendom.
5. Stanovte guardraily: minimálne tržby, maximálny nárast čakacej doby, compliance limity.
6. Monitorujte priebežné metriky bez peeking biasu (Bayesovský monitoring alebo alfa spending).

Štatistické prístupy: frequentist vs. Bayes

• Frequentist: dvojvzorkový t-test/GLM s robustnými štandardnými chybami klastrovanými podľa jednotky; korekcia na viacnásobnosť (Holm, Benjamini–Hochberg).
• Bayes: posterior rozdielu efektov s ROPE (region of practical equivalence) a pravdepodobnosťou, že B > A o aspoň δ.
• Geo-lift: model založený na syntetickej kontrole (SCM) pre testy, kde existuje mediálna/OOH expozícia iba v časti geografií.

Výpočet veľkosti vzorky a sily testu

Pre konverzie pri lokálnych testoch je variabilita naprieč jednotkami väčšia než na individuálnej úrovni. Použite design effect (DEFF):

• DEFF ≈ 1 + (m − 1)ρ, kde m je priemerný počet pozorovaní na jednotku a ρ intraklasová korelácia (ICC).
• Upravte požadovanú vzorku: n_efektívne = n × DEFF.
• Pre malé počty jednotiek uprednostnite párovaný dizajn a pre/post normalizáciu (CUPED).

Merané metriky a guardrail KPI

Dayparting a časová granularita

• Dayparty: ráno (6–11), obed (11–14), popoludnie (14–17), večer (17–21), noc (21–24).
• Interakcie: testujte varianty × daypart; účinky CTA sú často časovo špecifické.
• Kalendárne efekty: piatok ≠ pondelok; zahrňte fixné efekty dňa v týždni do modelu.

Externé premenné: počasie, mobilita, udalosti

Kontrolujte vplyv exogénnych faktorov pomocou kovariát:

• Počasie: zrážky, teplota, výstrahy – silné interakcie s ponukami F&B a večernými časmi.
• Mobilita: MHD výluky, dopravné jemy, festivaly.
• Kalendár: sviatky, prázdniny, lokálne jarmoky.

Implementačné vzory pre digitálne kanály

• Local landing pages: /mesto/pobocka – varianty ponúk a CTA viazané na geo cookie/GPS/IP.
• Mapové widgety: CTA „Navigovať“ vs. „Objednať online“ podľa vzdialenosti < X min.
• Schema.org: LocalBusiness s presnými openingHoursSpecification; samostatné testy na „Open now“ snippety.
• Ad extensions: location extensions vs. call extensions – A/B podľa daypartu.

Offline integrácia: pobočka a výveska

• Výklad: A = generické promo, B = lokálna ponuka + QR → lokálna stránka.
• Menu board: A = rovnaké ceny, B = dynamická cena pre slabé okná (pravidlá jasne zobraziť).
• Personál: CTA skript – A = „Môžem pomôcť?“, B = „Hľadáte rýchly vyzdvih?“ – meranie cez POS tagy.

Analytika: atribúcia a geo-lift

• Store visit modely (SV): kombinujte digitálne impresie s návštevami – s opatrnosťou voči biasu.
• Geo-lift: porovnanie tržieb v test vs. kontrol geo bunkách s vážením podľa predobdobia.
• Holdout zóny: vždy nechajte 5–10 % geografií ako dlhodobý holdout na kalibráciu modelov.

Interpretácia výsledkov a heterogenita efektov

Namiesto jedného „priemerného“ efektu reportujte heterogenitu:

• By-daypart, by-district, by-weather.
• Uplift segmenty: kde B > A, kde B ≈ A (ROPE), kde B < A – pravidlá rollout/rollback.
• Q–Q grafy tržieb pobočiek: zachytia extrémy a outlier geografie.

Rollout a governance

1. Fázovaný rollout: 20 % → 50 % → 100 % geografií; sledujte guardrails.
2. Konfigurácia ako kód: otváracie hodiny, CTA a ponuky v centrálnej konfiguračnej vrstve (feature flags, geo rules).
3. Audit trail: kto zmenil čo, kedy, pre ktoré geografie (zlučiteľné s compliance).

Právne, etické a UX zásady

• Transparentnosť: dynamické ceny a rozdielne ponuky medzi pobočkami musia byť jasne komunikované.
• Fairness: nevyužívať znevýhodnené lokality na agresívne testy bez hodnoty pre zákazníka.
• Prístupnosť: CTA a informácie o otváracích hodinách musia byť dostupné (kontrast, jazyk, jednoduché ikony).

Checklist: pripravenosť na lokálny A/B test

• Definované jednotky a buffer zóny na minimalizáciu spilloveru?
• Pair-matching a CUPED ko-variáty pripravené?
• Guardrail metriky a stop pravidlá nastavené?
• Dayparty a kalendárne fixné efekty zahrnuté?
• Logovanie variantov v POS/analytics a audit trail?
• Plán rollout/rollback a komunikácie s pobočkami?

Príklady hypotéz pre ponuky, CTA a pracovné doby

Antivzory a najčastejšie chyby

• Peeking a predčasné závery: priebežné zastavovanie bez kontrolovaného alfa spendingu.
• Miešanie jednotiek: časť testu na pobočky, časť na individuálne cookies – neporovnateľné.
• Ignorovanie kalendára: test len cez víkend, záver aplikovaný na všedné dni.
• Nezdokumentované zmeny: lokálny personál zmení vývesku/skript bez záznamu.

Rozšírené techniky: MAB a hierarchické modely

• Multi-armed bandit (MAB): po prvotnej explorácii prideľujte viac trafficu lepším variantom; vhodné pri stabilných podmienkach.
• Hierarchické Bayesovské modely: spoločné rozdelenie efektov s „partial poolingom“ medzi geografiami – lepšie odhady pre malé pobočky.
• Causal forests/uplift modeling: identifikácia segmentov s najväčším príčinným ziskom.

Reportovanie pre stakeholderov

• Efekt v absolútnych číslach (€/týždeň/pobočka) aj v percentách.
• Heterogenita a mapy: heatmapa upliftu podľa štvrtí.
• ROAS/ROMI s rozpadom na náklady na personál a zľavy.
• Odporúčania rollout/rollback a plán ďalšieho testu.

Lokálne A/B testy odomykajú presnosť, ktorú globálne priemery maskujú. Kombinácia dôslednej geo-randomizácie, daypartingu, kontrolných kovariát a disciplinovaného reportingu umožňuje zavádzať ponuky, CTA a pracovné doby, ktoré rešpektujú realitu konkrétnych ulíc – a prinášajú merateľný, replikovateľný zisk.