Bezpečná AI pre UAV

Prečo „bezpečná AI“ pre UAV nie je len o presnosti

Autonómne bezpilotné lietadlá (UAV) čoraz častejšie využívajú modely strojového učenia a plánovania založeného na AI v kritických slučkách vnímania–rozhodovania–riadenia. Vysoká presnosť detekcie prekážok alebo kvalitné trajektórie však samy osebe negarantujú bezpečnosť. Potrebujeme verifikovateľné politiky, ktoré formálne vynucujú obmedzenia, a interpretovateľnosť, ktorá umožní ľudom rozumieť a auditovať správanie modelov. Tento článok predstavuje integrovaný rámec bezpečnej AI pre UAV – od špecifikácie bezpečnostných cieľov, cez formálne overovanie a runtime „shielding“, až po metriky interpretovateľnosti a procesy MLOps v regulovanom prostredí.

Referenčná architektúra: od ODD k bezpečnostným cieľom

• ODD (Operational Design Domain): priestorové (typ vzdušného priestoru, urbanizácia), environmentálne (vietor, zrážky, dohľadnosť), prevádzkové (VLOS/BVLOS, výška) hranice, v ktorých je politika AI platná.
• Bezpečnostné ciele: napr. „pravdepodobnosť kolízie < 10^−x na letovú hodinu“, „žiadny prelet nad vyhradenými zónami“, „vyhnutie sa ľuďom do vzdialenosti > d“.
• Oddelenie úloh: (i) percepcia (detekcia/SLAM), (ii) predikcia (trajektórie iných), (iii) rozhodovanie (plánovanie/RL), (iv) riadenie (CBF/LQR), (v) dozor (monitor/shield).

Formálna špecifikácia: od logiky k kontraktom

• Temporálne logiky: LTL/MTL/STL na vyjadrenie požiadaviek typu „vždy drž horizontálnu separáciu ≥ R“, „ak hrozí kolízia, do T sekúnd iniciuj úhybný manéver“.
• Kontrakty: assume–guarantee rámec pre komponenty (senzory, plánovač, autopilot). Napr. „ak latencia vnímania < 80 ms a chyba pozície < 0.5 m, plánovač garantuje bezpečný manéver“.
• Oblasť bezpečného stavu: invarianty v priestore stavov; definície unsafe set (kolízie, porušenie geofencingu, saturácie aktuátorov).

Overovanie rozhodovania: model checking, dosiahnuteľnosť a CBF

• Reachability analysis: dopredné/backward dosahy so zohľadnením porúch vetra a neistoty odhadu; výpočet „tubes“ okolo referenčnej trajektórie.
• Control Barrier Functions (CBF): online riešenie QP, ktoré koriguje príkazy tak, aby derivácia bariérovej funkcie spĺňala bezpečnostnú nerovnosť.
• Model checking: abstrakcia politiky (napr. diskrétne stavy úrovne rizika) a verifikácia LTL vlastností nad konečným automatom.
• Robustné MPC: plánovanie s „tube“ obálkou a tvrdými obmedzeniami; garantovaná realizovateľnosť.

RL pod kontrolou: bezpečné učenie a „shielding“

• Safety layer: projekcia akcie z RL cez QP/CBF pred odoslaním do autopilota (akcia je modifikovaná na najbližšiu bezpečnú).
• Constrained RL: optimalizácia s Lagrange multiplikátormi alebo CMDP; penalizácia porušenia bezpečnostných rozpočtov (napr. výdavok rizika).
• Curriculum a sim2real: postupné zvyšovanie obtiažnosti, doménový randomizmus (vietor, odozvy) a rozšírená penalizácia OOD stavov.
• Offline/Batch RL s verifikáciou: učenie nad kurátorským datasetom bezpečných trajektórií; verifikácia politiky pred nasadením.

Runtime monitorovanie: od „shields“ po diagnózu

• Monitor STL: robustný stupeň splnenia formuly (robustness degree) ako spätná väzba – ak klesne pod prah, vyvolaj failsafe.
• Watchdogs a kontrakty: dohľad nad latenciou, stratou paketov, saturáciami; automatický prechod na hover alebo RTH.
• Ensembles a runtime certifikát: „two-tier“ politika – rýchla neurónová politika + pomalší certifikovaný kontrolér na korekciu.

Neistota, OOD a robustnosť vnímania

• Kalibrácia pravdepodobností: teplotná kalibrácia, Dirichlet prior, expected calibration error ako metrika.
• OOD detekcia: energetické skóre, Mahalanobisova vzdialenosť v priestore embedingu, „deep ensembles“.
• Adverzariálne a fyzikálne útoky: augmentácie, randomized smoothing, robustné architektúry; validácia v prítomnosti glare, dažďa, rolling-shutter.
• Fúzia senzorov: redundancia (stereo+LiDAR+IMU), explicitné modely chýb a „gating“ meraní v EKF/UKF so oneskorením.

Interpretovateľnosť modelov: od saliencie po kauzalitu

• Lokálne metódy: gradientové mapy, CAM/Grad-CAM, occlusion testy pre detektory prekážok.
• Globálne metódy: SHAP/Integrated Gradients pre rozhodovacie politiky; identifikácia dominantných znakov (vietor, vzdialenosť k zóne, rýchlosť).
• Konceptová interpretácia: TCAV – „do akej miery koncept ľudský dav ovplyvňuje akciu spomaliť?“
• Kauzálne grafy: SCM (Structural Causal Models) pre oddelenie korelácií od príčin; protikladné scenáre (counterfactuals) v simulácii.

Vysvetliteľné rozhrania pre operátorov a dozor

• „Prečo“ a „prečo nie“: krátke textové zdôvodnenia politiky („zvýšenie výšky kvôli nízkemu robustness degree na STL: sep ≥ R“).
• Konfidenčné pruhy: vizualizácia neistoty predikcií a rizikového rozpočtu v GCS (ground control station).
• Audit trail: záznam vstupov, medzi-reprezentácií a dôvodov zásahu shieldu pre neskoršiu forenziku.

Swarm bezpečnosť: multi-agentné politiky a dôkazy

• Formálne špecifikácie pre roje: globálne LTL vlastnosti („žiadne kolízie“, „pripojenosť grafu ≥ k“) a lokálne pravidlá (vzájomná separácia, finite-time konsenzus).
• Distributed CBF: lokálne QP s obmedzeniami od susedov; garantovaná kolízna bezpečnosť bez centrálnej autority.
• Komunikačné zlyhania: politiky graceful degradation pri strate spojenia (prechod na formáciu s menšou hustotou, návratové body).

Dáta, bias a kurátorstvo: od zberu po verifikáciu

• Dataset governance: pôvod, licencia, reprezentatívnosť naprieč ODD; meranie a zmierňovanie biasu (scény, počasie, infraštruktúra).
• Scelovanie scenárov: „hard case“ ťažisko (vietor v poryvoch, vtáky, nízka dohľadnosť) a syntetika s fotorealizmom.
• Validačné sady: rozčlenenie podľa rizika; OOD testy; metriky bezpečnosti (min. separácia, rate porušení STL).

Skúšky a metriky: nad rámec mAP a RMSE

• Safety KPI: minimálna horizontálna/vertikálna separácia, počet zásahov shieldu na hodinu, percentil 99.9 reakčného času.
• Formulová robustnosť: priemerný a najhorší robustness degree STL počas misie.
• Rizikové metriky: CVaR/TVaR z rozdelenia strát v Monte Carlo simulácii s poruchami vetra a zlyhaním senzorov.

Procesy a MLOps v regulovanom prostredí

• Traceability: väzba požiadavka–model–test–let; podpisované artefakty, nemenné buildy.
• Verifikované knižnice: deterministické závislosti, kontrolované optimalizačné rutiny (QP/SOCP) s dôkazmi konvergencie.
• Kontinuálna verifikácia: každá zmena modelu spúšťa sadu formálnych a simulačných testov; brány nasadenia podľa rizikovej úrovne.
• Post-deployment monitoring: telemetria bezpečnostných KPI, drift detekcia, mechanizmus rýchleho roll-backu.

Kyberbezpečnosť a odolnosť voči útokom na AI

• Útoky na vnímanie: fyzické markery, spoofing; viac-senzorové overovanie a sanity-checky geometrie.
• Útoky na politiku: policy extraction/poisoning; podpisy datasetov, kontrolné súčty modelov, izolované spúšťacie prostredie.
• Bezpečné aktualizácie: overené OTA, „canary“ flotily a staged rollout s monitorom rizika.

Fail-safe a „graceful degradation“

• Hierarchia režimov: autonómny → konzervatívny → stabilizačný → hover/RTH → safe landing.
• Bezpečnostné automaty: explicitné prechody podľa monitorov (latencia, neistota, porušenie STL); dôkladne testované „dead-end free“ grafy.
• Energetický manažment: bezpečnostné rezervy batérií viazané na ODD a alternatívne plochy.

Príklad integračného návrhu (schéma)

1. Špecifikácia: ODD, STL vlastnosti, kontrakty komponentov.
2. Návrh politiky: RL/MPC s CBF safety layerom.
3. Formálne overenie: reachability + model checking abstrahovaného automatu.
4. Simulácie: Monte Carlo so scenármi OOD a poruchami; metriky KPI/STL robustnosti.
5. HIL/SIL: latencia v slučke, porovnanie s limitmi; validácia shieldu.
6. Letové testy: staged (tethered → uzavretý priestor → reálna ODD), s runtime monitorom a audit trailom.
7. Prevádzka: telemetria, drift detekcia, pravidelná re-verifikácia po aktualizácii.

Checklist pre bezpečnú AI v UAV

• ODD zdokumentované a naviazané na limity modelov a senzorov.
• STL/LTL špecifikácie pokrývajú separáciu, geofencing, energetiku a komunikačné zlyhania.
• Safety layer (CBF/QP) úspešne koriguje akcie > 99.9 % prípadov v simulácii.
• OOD a neistota sú monitorované; definované prahy pre fallback.
• Interpretovateľnosť: aspoň jedna lokálna a jedna globálna metóda v GCS.
• Audit trail: deterministické buildy, podpisy datasetov, plná trasovateľnosť.
• Swarm: distribučné pravidlá a dôkazy pripojenosti; režimy degradácie pri strate komunikácie.

Bezpečná AI pre UAV vyžaduje súhru formálnych metód, robustného riadenia a praktickej interpretovateľnosti. Politika, ktorá je verifikovateľná voči explicitným požiadavkám, doplnená o runtime „shielding“ a transparentné vysvetľovanie rozhodnutí, poskytuje predvídateľné správanie aj v neideálnych podmienkach. Takýto prístup umožňuje škálovať autonómiu od jednotlivých dronov k rojom a zároveň udržať dôveru regulátorov, operátorov a verejnosti.