Vizuálno-inertná navigácia

Prečo vizuálno-inertná navigácia v GNSS-denied prostredí

Autonómne lietajúce systémy (UAV) sú čoraz častejšie nasadzované v interiéri, v mestských kaňonoch, pod prekážkami a v tuneloch, kde je globálna navigácia satelitnými systémami (GNSS) nedostupná alebo výrazne degradovaná multipathom a tienením. Vizuálno-inertná navigácia (VIN), resp. vizuálno-inertná odometria a SLAM (VIO/VINS), kombinuje kameru a inerciálnu meraciu jednotku (IMU) tak, aby využila komplementárne vlastnosti: kamera poskytuje informáciu o polohe z vizuálnych znakov s minimálnym driftom v nízkych frekvenciách, IMU prináša robustné krátkodobé odhady s vysokou frekvenciou a nízkou latenciou. Výsledkom je presná, nízkolatenčná a energeticky efektívna lokalizácia, vhodná pre GNSS-denied misie aj pre agresívne manévre.

Senzorický balík: kamera, IMU a doplnkové zdroje

• Kamery: globálna uzávierka (GS) pre presné merania bez rolling-shutter skreslenia; ak sa použije RS, modelovanie rolling-shutter v optimalizácii je nutnosť. Objektív: pinhole/fisheye; širokouhlé a fisheye rozširujú pole záberu a znižujú počet strát znakov.
• IMU: 6D (3× gyro + 3× akcelerometer) s rozsahom ≥ 2000 °/s a ≥ 16 g pre akrobatické trajektórie. Dôležité parametre: šum, Allanova deviácia, teplotná závislosť a bias stabilita.
• Doplnky: barometer (výška), magnetometer (heading – opatrne v oceľových konštrukciách), UWB/LPS (relatívne vzdialenosti), altimeter (LiDAR/ToF) na krátke vzdialenosti, prípadne event camera pre extrémne dynamické scény.

Kalibrácia: intrinziky, extrinziky, časovanie

Presnosť VIN stojí na kalibrácii:

• Intrinziky kamery: ohnisková vzdialenosť, stred obrazu, model skreslenia (radial/tangential, prípadne unified omnidirectional pre fisheye).
• Extrinziky kamera↔IMU: 6-DoF transformácia (rotácia a posun). Odporúča sa offline kalibrácia (kalibračná tabuľa + excitačné manévre) a online doladenie v SLAM grafe.
• Časová synchronizácia: hardvérový trigger, PTP/1588 alebo softvérové časovanie s odhadom posunu. Nesúlad > 2–3 ms sa výrazne prejaví pri vysokých uhlových rýchlostiach.

Formulácie problému: VIO vs. VINS vs. SLAM

• VIO (odometria): lokálne konzistentná, bez explicitného uzatvárania slučiek. Nižšia pamäťová stopa, menšie výpočty, mierny drift v dlhom horizonte.
• VINS (VI-SLAM): faktorový graf s loop closure a relokalizáciou; zachytáva globálne obmedzenia a výrazne redukuje drift.
• Filter vs. optimalizácia: (i) MSCKF/EKF pre nízku latenciu, (ii) Sliding-window bundle adjustment s preintegrovanou IMU pre vyššiu presnosť, (iii) Full pose-graph BA pre mapovanie a slučky.

Matematika pre integráciu IMU: preintegrácia, model hluku a biasy

IMU poskytuje merania uhlových rýchlostí a lineárnych zrýchlení. Priame integračné schémy sú citlivé na krok a časovanie; preto sa používa preintegrácia medzi kľúčovými snímkami:

• Preintegrované inkrementy komprimujú tisíce IMU vzoriek do jedného faktora, ktorý je invariantný voči následnej aktualizácii biasov (prvé-rády linearizácie).
• Bias modely: náhodná prechádzka (random walk) s teplotne závislými driftmi; online odhad biasov je nevyhnutný.
• Šum: daný spektrálnou hustotou (gyro/acc noise density) a random walk; Allanova analýza slúži na určenie parametrov do filtra/optimalizácie.

Vizualná fronta: detekcia, sledovanie a rekonštrukcia prvkov

• Výber znakov: FAST/ORB pre robustnosť a rýchlosť; pre presnosť BA preferuj SHI-TOMASI + L2 patch tracking (KLT) s outlier filtráciou (RANSAC).
• Stereo vs. mono: stereo poskytuje metriku hneď pri inicializácii; mono vyžaduje bootstrap škály (pozri nižšie). Fisheye stereo znižuje slepé zóny.
• Inverzná hlbka: parametrizácia bodov inverznou hĺbkou stabilizuje optimalizáciu pri vzdialených štruktúrach.
• Vizuálne faktory: reprojekčné chyby s robustnými stratovými funkciami (Huber/Cauchy) na potláčanie outlierov a dynamických objektov.

Inicializácia a škála: kľúčový krok pre mono VIO

Mono VIO potrebuje určiť metriku:

• Visual-only bootstrap: odhad up-to-scale trajektórie a mapy + využitie priemernej gravitačnej normy z IMU na určenie škály.
• Observabilita: pre citlivú separáciu gravitačného vektora a akcelerácie sú potrebné excitačné manévre (otáčanie, zmena rýchlosti).
• Alternatívy: krátkodobé stereo, známy rozmer objektu, výška z barometra alebo rangefinder pre one-shot metriku.

Sliding-window optimalizácia a marginalizácia

V praxi sa udržiava okno posledných N stavov (pozície, rýchlosti, orientácie, biasy, prípadne body) a rieši sa nelineárna least-squares úloha:

• Faktory: reprojekcie, preintegrované IMU, prior z marginalizácie starých stavov, prípadne baro/UWB.
• Marginalizácia: vytvára kompaktný prior; pozor na „drift“ spôsobený zmenou lineárizačných bodov (stare priorá musia byť relinearizovateľné alebo riadené cez IMM/first-estimate Jacobians).
• Riešiče: Schur-komplement pre body, sparsity-aware QR/Cholesky; inkrementálne riešiče (iSAM2-like) skracujú latenciu.

Loop closure, relokalizácia a mapový manažment

• Miesto-rozpoznávanie: Bag-of-Words/NetVLAD/DELF pre kandidátov slučiek; geometrická verifikácia esenciálnou/fundamentálnou maticou.
• Pozorovacie obmedzenia: pose-graph faktory medzi kľúčovými snímkami znižujú akumulovaný drift; spájanie máp (map merge) pre opakované misie.
• Životný cyklus mapy: kompresia, selekcia kľúčových snímok, vyhadzovanie starých prvkov, submapy a viacúrovňové mapovanie (lokálne vs. globálne).

Robustnosť v nepriaznivých podmienkach

• Osvetlenie a HDR: auto-expozícia s obmedzeniami, HDR snímanie, fotometricky invariantné deskriptory, direct methods s fotometrickou kalibráciou.
• Rozmazanie pohybom: kratšie expozície, vyššie ISO, deblur filtry; alebo event kamery, ktoré zvládajú >1 kHz časové rozlíšenie.
• Nízka textúra a opakujúce sa vzory: kombinovať rohové a hraničné prvky, semi-dense direct prístup, doplniť UWB/rangefinder pre pevné ukotvenie výšky.
• Vibrácie a aliasing: mechanická izolácia IMU, softvérové odfiltrovanie (notch), správne nastavenie antialias filtra a vzorkovania.
• Detekcia zlyhania: testy konzistencie inovácií, monitor reprojekčných zvyškov, divergenčné watchdogy a failsafe režimy (držanie pozície, RTH po trajektorii).

Časovanie, latencia a real-time pipeline

Autonómne riadenie potrebuje nízku latenciu a deterministiku:

• Pipeline: IMU fronta (1–2 kHz), vizuálna fronta (30–60 Hz), fúzia (200–400 Hz stavový filter + 10–30 Hz oknová optimalizácia).
• On-board výpočty: ARM CPU + NPU/GPU pre front-end (detekcia, sledovanie), DSP pre predspracovanie. Kritické úlohy pinovať na jadrá, používať lock-free fronty.
• Predikcia stavu: pre riadiacu slučku predikovať do času aktuálneho aktuátora (napr. +5–15 ms) s využitím IMU a poslednej odhady.

Fúzia s doplnkovými senzormi

• Barometer: stabilizácia pomalých driftov vo výške, robustné voči vizuálnej degenerácii nad homogénnym povrchom (sneh, voda).
• UWB/LPS: jednocestné časovanie alebo obojsmerné ranging; faktory vzdialeností kotvia škálu aj v mono konfigurácii a zlepšujú observabilitu yaw.
• LiDAR altimeter/ToF: presné výškové body a detekcia terénu pre pristátie; jednoduché 1D faktory do okna.
• Magnetometer: opatrne vo vnútri; v exteriéri poskytne heading, ktorý sa premietne ako prior/faktor s adaptívnou váhou.

Multikamera, stereo a omnidirekcia

Viackamerové zostavy znižujú slepé miesta a zvyšujú robustnosť:

• Synchronizované stereo: okamžitá metricky kalibrovaná hĺbka, menšia závislosť od excitačných manévrov pri inicializácii.
• Omnidirekcia (fisheye, catadioptric): viac znakov v každej scéne, vyššia redundancia pri prudkých rotáciách, nutnosť zodpovedajúceho modelu projekcie.
• Rolling-shutter stereo: pri vysokej dynamike – model RS v BA alebo skrátiť expozíciu, znížiť rozpätie časov medzi ľavým/pravým snímkom.

Event kamery a priame metódy

Event-based senzory emitujú asynchrónne udalosti pri zmenách jasu, vhodné pre rýchle manévre a slabé osvetlenie. Priame (photometric) metódy optimalizujú nad intenzitami/pseudogradientmi namísto bodových korešpondencií. Kombinácia s IMU poskytuje extrémne nízku latenciu a vysoký dynamic range.

Metodika hodnotenia: metriky a dátové sady

• ATE/RPE: absolútna a relatívna chyba trajektórie; hodnotiť medián a 95. percentil.
• Vzorkovacia latencia a jitter: E2E latencia od snímania po stav použitý v riadení (< 30–50 ms pre rýchle lety).
• Robustnosť: percento úspešných behov bez divergensie pri degrade podmienkach (tma, dym, nízka textúra).

Metrika	Cieľ (BVLOS/Indoor)	Poznámka
ATE (m / 100 m)	< 1.0	Po slučkách < 0.3 m/100 m
RPE (%, 1–5 m baseline)	< 1.0 %	Bez driftu rotácie > 0.5°/min
Latencia E2E	< 40 ms	Pri 60 Hz vizuálnej frekvencii

Integrácia do riadenia letu: odhad stavu a fail-safe

• Rozhranie: odhad stavu v telovom alebo mapovom rámci (SE(3) pozícia/orientácia, rýchlosť, biasy), kovariancia/informačná matica pre covariance-aware riadenie.
• Predikcia a latencia: poskytovať predikovaný stav k času aktuátora, exponovať časové značky a oneskorenie do autopilota.
• Fail-safe: prepad na IMU-only INS s zero-velocity updates pri pristávaní, hover-hold s barometrickou výškou, spúšťať RTH ak diverguje lokalizácia.

Kooperatívna VIN pre roje a multi-UAV

V roji je výhodné zdieľať informácie:

• Distribuovaný pose-graph: každý UAV udržiava lokálnu mapu a výmenou keyframe deskriptorov hľadá medzi-agentové slučky.
• UWB/relatívny ranging: faktory vzdialeností/DOA medzi UAV dopĺňajú vizuálne obmedzenia pri vzájomnej viditeľnosti.
• Komunikačné obmedzenia: komprimované deskriptory, gossip protokoly, covisibility-guided výmena; konflikt s latenciou riadenia riešiť prioritizáciou lokálnej slučky.

Energetika a hardvérový dizajn

• Spotreba: kamera 0.5–2 W, IMU < 0.2 W, výpočet 2–8 W podľa SoC. Zohľadniť chladenie a EMI z motorov/regulátorov.
• Umiestnenie senzorov: IMU blízko ťažiska, kamery s minimálnym tieňovaním vrtuľami; pevná a tuhá konštrukcia proti mikrovibráciám.
• Čistenie optiky: prach/kvapky výrazne degradujú extrakciu znakov; hydrofóbne vrstvy a krycie okienka so správnym indexom lomu.

Bezpečnosť a spoľahlivosť softvéru

• Monitorovanie zdravia: počet sledovaných prvkov, reprojekčné zvyšky, inovačné štatistiky, IMU saturácie – všetko ako telemetria do FMS.
• Obrana proti zhoršeniu: adaptívne znižovanie počtu bodov, prepínanie deskriptorov, zmena expozície, keyframe culling pri preťažení CPU.
• Reset a relokalizácia: pri strate sledovania fallback na IMU-only INS + relokalizácia pomocou place-recognition; bezpečné prechody stavov (bez skokov v polohe).

Typické architektúry softvéru

1. Filter-first: MSCKF pre rýchlu fúziu (200–400 Hz) + pomalšie BA (10–20 Hz) koriguje drift.
2. BA-first: front-end (tracking) → sliding-window BA (10–30 Hz) → odhad stavu → predikcia pre riadenie.
3. Hybrid s iSAM: inkrementálne faktorizácie, loop closure beží paralelne, s hard-real-time rozhraním pre autopilota.

Praktická metodika nasadenia

1. Laboratórna kalibrácia: intrinziky, extrinziky, časovanie; Allanova analýza IMU.
2. HIL/SIL overenie: syntetická fotometria, reálne IMU logy, zhoršovanie osvetlenia a RS efektov.
3. Letové skúšky: postupne zvyšovať dynamiku, zaznamenávať ground-truth (motion capture/total station), vyhodnocovať ATE/RPE a latenciu.
4. Tuning: šumy, robustné straty, win-size, prahy outlierov, expozícia; validácia na reprezentatívnych trasách (tmavé chodby, sklo, otvorený priestor).

Najčastejšie zlyhania a nápravné opatrenia

• Drift v yaw: doplniť UWB/magnetometer s adaptívnou váhou, hľadať horizontálne slučky, posilniť parallax geometriu.
• Divergencia pri rýchlych otáčkach: kratšie expozície, RS model, vyšší IMU sampling, znížiť oneskorenie timestampov.
• Strata sledovania v homogénnej scéne: prepnúť na direct/semi-dense, zvýšiť zisk ISO, použiť event kameru.
• Teplotný drift IMU: teplotné kompenzácie, pomalé zahrievanie pred letom, v-flight re-estimation biasov.

Rozšírené témy: vizuálno-inertná odometria s učením

Hlboké neurónové siete sa využívajú na learned features, odhad hĺbky z monocular (self-supervised), či priamo na end-to-end odhad pózy. V praxi je však najspoľahlivejšia hybridná schéma: klasická geometria + učené komponenty (deskriptory, place-recognition, outlier klasifikácia). Učené modely treba domain-adaptovať (nočné scény, priemyselné osvetlenie, dym/prach).

Príklad konfigurácie pre indoor UAV

• Senzory: stereo fisheye 640×480@60 Hz, IMU 1–2 kHz, baro, 1D LiDAR altimeter.
• Pipeline: KLT + ORB (fallback), sliding-window 15 kľúč. snímok, preintegrovaná IMU, robustný Huber, loop closure s NetVLAD každých 1–2 s.
• Výkon: CPU 4 jadrá + NPU 1 TOPS; E2E latencia 25–35 ms; ATE < 0.5 m na 100 m trati s relokalizáciou.

Bezpečnosť a súlad so štandardmi

Pre autonómne misie s vyššou kritickosťou je nutné preukázať spoľahlivosť softvéru (analýza FMEA/Fault Tree), sledovať metriky Mean Time Between Unsafe States a zadefinovať Operational Design Domain (ODD) s geofencingom na prípady degradácie lokalizácie. Logovanie a audit trail (časové pečiatky, konfigurácie, residuals) sú kľúčové pre vyšetrenie incidentov.

Vizuálno-inertná navigácia predstavuje dnes najlepšiu voľbu pre autonómne lety v GNSS-denied prostredí. Spája rýchlosť a lokálnu stabilitu IMU s dlhodobou presnosťou vizuálnych obmedzení, pričom moderné optimalizačné prístupy, preintegrácia a slučky dosahujú sub-percentuálne chyby aj v náročných scénach. Kľúčom k úspechu je kvalitná kalibrácia, starostlivo navrhnutá pipeline, robustnosť voči degradáciám a disciplinované hodnotenie metrikami. Takto navrhnutá VIN/VINS vrstva spoľahlivo napája riadiaci systém UAV a umožňuje bezpečnú autonómiu v interiéri aj komplexnom mestskom teréne.