Backtesting vs. forward-testing

Dve fázy jedného cyklu validácie

Backtesting a forward-testing sú komplementárne kroky pri navrhovaní a overovaní obchodných stratégií. Backtest skúša hypotézu na historických dátach s cieľom zmerať, či by stratégia obstála v minulosti. Forward-test (out-of-sample, paper/live) následne preveruje správanie v „nových“ dátach – ideálne v reálnom čase – a odhaľuje praktické nedokonalosti exekúcie. V kryptopriestore sa do tejto dvojice premieta špecifická mikroštruktúra (perpetuály, funding, L2/L3 latencie, MEV), nízka štandardizácia dát a časté režimové zlomy. Tento článok mapuje limity a nástrahy oboch fáz a ponúka metodiky, ako ich systematicky zvládnuť.

Backtesting: čo meria a čo nikdy merať nebude

• Čo meria: robustnosť vzoru v historických dátach, citlivosť na parametre, distribúciu výnosov, drawdowny a kapacitné limity pri predpokladaných nákladoch.
• Čo nemeria: budúcu stacionaritu vzťahov, kvalitu exekúcie voči skutočnej orderbook dynamike (front-running, MEV), výpadky infra a slippage počas šokov.
• Záver: backtest je filter, nie dôkaz. Má vylúčiť zjavne nefunkčné nápady a zúžiť priestor na ďalší výskum.

Klasické nástrahy backtestu

• Data snooping & overfitting: čím viac parametrov a pokusov, tým vyššie riziko, že trafíte šum. Symptómom je extrémny Sharpe len v jednej vzorke.
• Look-ahead bias: použitie informácie, ktorá nebola v čase rozhodnutia známa (napr. denný VWAP pri intradennom rozhodnutí).
• Survivorship bias: vynechanie zaniknutých aktív/búrz vedie k nadhodnoteniu výkonu.
• Selection bias: výber „pekných“ trhov/okien; ignorovanie období s nízkou likviditou alebo s inou mikroštruktúrou.
• Transaction cost mis-modeling: použitie statickej fee a slippage, ignorovanie impact cost a fundingov pri perp trhoch.
• Time-stamp a synchronizácia: zle zosúladené burzy/zdroje (spread, funding, on-chain eventy) generujú umelé „alfa“.

Mikroštruktúrne špecifiká krypta v backteste

• Perpetuály a funding: funding nie je fee; je to tok závislý od pozície a času držby. Backtest musí účtovať akruálne a naprieč burzami.
• Likvidita a kapacita: alt trhy majú plytké knihy; simulujte obmedzenia participation-rate (napr. <10 % objemu) a limitujte nárazové market príkazy.
• MEV a DEX exekúcia: deterministická cesta transakcie (mempool → blok) vytvára sandwich riziko; bez anti-MEV sa backtest na swapovej cene mýli.
• Regime shifts: udalosti (ETF listovanie, chain fork, stable depeg, výpadok CEX) menia distribúciu výnosov a korelácií.

Správna konštrukcia backtest enginu

• Event-driven simulácia: reakcie na tick/orderbook zmeny a plánované batche; latencie modelujte explicitne (od signálu po fill).
• Fill model: limit/market s čiastočnými plneniami, queue priority (time-price), skokové gapy pri šokoch.
• Slippage a impact: kombinujte model temporary/permanent impact (napr. Almgren–Chriss) s empirickými krivkami podľa veľkosti príkazu a hĺbky knihy.
• Poplatky a funding: maker/taker tiering, dynamické fee, lending borrow rate, funding s intradennou granularitou.
• Corporate actions a anomálie: token spiny, rebrand, delisty, fat-finger sviečky – databázu upravujte s audit trailom, nie ad hoc „čistením“.

Štatistické korekcie proti preoptimalizácii

• Purged & embargoed cross-validation: časové k-fold delenie s „čistením“ únikov informácií na hranách okien.
• White’s Reality Check a SPA test: korigujú p-hodnoty pri súťaži mnohých modelov/hypotéz.
• Deflated Sharpe Ratio (DSR): upravuje Sharpe o počet pokusov a dĺžku série; znižuje falošné pozitíva.
• Probability of Backtest Overfitting (PBO): odhaduje pravdepodobnosť, že „víťaz“ je výsledkom náhody.
• Bootstrapy: stationary/block bootstrap, permutácie výnosov, resampling rezíduí zachováva autokorelácie.

Forward-testing: most medzi papierom a kapitálom

Cieľom je overiť, že signál prežije stret s realitou exekúcie a prevádzky. Postupujte v eskalácii rizika:

1. Paper trading (shadow orders): reálne signály, simulované fill pravidlá, presná evidencia latencií.
2. Sandbox / micro-capital: miniatúrne pozície s limitovaným downside; verifikácia funding, fee a slippage.
3. Partial live: A/B rozdelenie (napr. 10–20 % kapitálu na live, zvyšok paper) a porovnanie realizovanej vs. simulovanej exekúcie.
4. Plná prevádzka: s kill switch limitmi (max daily loss, max slippage, max reject rate), monitoringom a alertmi.

Čo forward-test odhalí, backtest často nie

• Latency & queue dynamics: poradie v knihe a reálne plnenia pri „hot“ úrovniach; paper fill ≠ live fill.
• Market states: zvýšená chybovosť API pri preťažení, rate limit, čakanie na potvrdenia na chainoch.
• Operatívne riziká: reštarty nódov, drift hodín, rounding, zlyhanie závislostí (oracly, peňaženky, brokery).
• Behaviorálne prekvapenia: slippage skoky počas makro udalostí, funding squeezes, likvidačné kaskády.

Metodika rozdelenia dát: in-sample, out-of-sample, walk-forward

• Holdout out-of-sample: posledných 20–30 % obdobia nechať nedotknutých pre finálne overenie.
• Walk-forward optimalizácia: tréning v okne, validácia v ďalšom okne; opakovať v kĺzavom režime s fixným/expanzívnym oknom.
• Viacrežimový split: zohľadniť bull, bear, chop, vysokú/nízku volatilitu; stratégia musí fungovať naprieč aspoň dvoma režimami.

Meranie výkonu: nielen Sharpe

• Sharpe/Sortino/Calmar: zohľadňujte nenormálnosť rozdelení (fat tails), používajte Newey–West korekciu pre autokorelácie.
• Hit-rate & payoff ratio: dôležitý je pomer výhier k stratám a distribúcia výnosov (skew/kurtóza).
• Turnover a capacity: denný obrat, market share, participation rate; výkon pri škálovaní dolu/nahor.
• Realizovaný vs. simulovaný P&L: analýza odchýlky: slippage, fee drift, reject/cancel rate, partial fill efekt.

Model governance: verzovanie, auditovateľnosť, reproducibilita

• Data lineage: zdroje, transformácie, timestampy, verzie symbolov a kontraktov.
• Experiment tracking: parametre, seed, metriky, artefakty; zákaz „mimo systému“ úprav.
• Change control: každá zmena stratégie cez pull request, peer review, unit/integration testy backtest enginu.
• Risk gates: automatické odmietnutie nasadenia pri prekročení limitov (max DD, VaR, slippage, P&L volatility).

Nákladové modely: od poplatkov k impact costu

• Poplatky: maker/taker, objemové tieringy, affiliate rabaty – modelujte ako funkciu objemu a času.
• Funding & borrow: pre perp/futures a spot margin; účtujte s reálnou frekvenciou (8h, 1h, kontinuálne).
• Slippage: odhadujte podľa order book snapshotu v čase signálu; pri limit exekúcii modelujte queue wait a fill ratio.
• Impact: nelineárny, rastie s podielom na objeme; kalibrujte z live dát, nie z teórie.

Stres testy a scenáre

• Replay kríz: opakujte historické šoky (depegy, flash crashes, listovanie ETF) s aktuálnymi parametrami stratégie.
• Parametrické stresy: +x bps na slippage, 2× fee, 50 % pokles likvidity, dvojnásobný funding.
• Monte Carlo: resampling výnosov/rezíduí, blokové bootstrapy zachovávajúce klastrovanie volatility.
• Disaster drills: výpadok burzy, zamrznutie výberov, odpojenie nodu – overte kill switch a degradovaný režim.

Forward-test KPI a rozhodovacie pravidlá

• Acceptance band: dovoľte ±X % odchýlku medzi simulovaným a realizovaným P&L; mimo pásma → root-cause analýza.
• Runbook live incidentov: čo robiť pri reject rate > N %, pri slippage > M bps, pri odpojení dátového feedu.
• Escalation path: automatický prechod na menšie sizingy alebo paper režim po sérii anomálií.

Škálovanie od nápadu k portfóliu

• Ensemble a orthogonálnosť: preferujte viac slabších, nekorelovaných signálov pred jedným „dokonalým“ modelom.
• Capital allocation: Kelly/half-Kelly s obmedzeniami, ERC (equal risk contribution), volatility targeting.
• Režimové prepínače: aktivácia/deaktivácia stratégií podľa trhového režimu; zamedzí to „jazde na prázdno“.

Špecifiká on-chain stratégií

• Gas a priority fees: dynamické bidovanie; modelujte ako random premennú viazanú na mempool load.
• Batch/auction settlement: periodicita settlementu mení mark-to-market a exekučnú logiku.
• MEV ochrana: private RPC, bundle služby; v backteste penalizujte voľné cesty, ktoré by v praxi boli sandwichované.

Checklist: kvalitný backtest & forward-test

1. Jasná hypotéza a ekonomická intuícia (nie „parametrická lotéria“).
2. Čisté dáta so záznamom úprav, bez look-ahead a survivorship biasu.
3. Event-driven simulácia s realistickým fill a cost modelom.
4. Purged time CV, DSR/SPA/Reality Check proti preoptimalizácii.
5. Out-of-sample + walk-forward naprieč režimami trhu.
6. Stres testy: šoky, likvidita, fee/funding, infra incidenty.
7. Forward paper → micro live → partial live s Akceptačnými pásmami.
8. Experiment tracking, verzovanie, peer review, change control.
9. Risk gates: sizing, max DD, VaR, kill switch, participation cap.
10. Priebežné porovnávanie simulovaného vs. realizovaného výkonu a korektívne zásahy.

Disciplína nad optimizmom

Backtest je potrebný, ale nestačí; forward-test je realita s bezpečnostnými pásmi. Skutočná robustnosť nevzniká z jedného krásneho equity curve, ale z procesu: poctivá štatistika, realistická simulácia, prísna kontrola zmien a dôsledné live merania. V kryptopriestore – s častými zmenami režimu a mikroštruktúry – je práve tento proces najväčšou konkurenčnou výhodou.

Disclaimer

Tento článok je informatívny a nepredstavuje investičné, právne ani daňové poradenstvo. Obchodovanie s kryptomenami a derivátmi je rizikové; používajte primerané riadenie rizík a testujte stratégie na vlastných dátach a infraštruktúre.