Čo je kyber-fyzikálne testovanie autopilotov
Kyber-fyzikálne testovanie (CPS testing) predstavuje systematický prístup k overeniu odolnosti a robustnosti autopilotov bezpilotných lietadiel (UAV) v prostredí, kde sa zároveň modelujú kybernetické aspekty (softvér, komunikácia, sieť, bezpečnostné mechanizmy) a fyzikálne aspekty (dynamika UAV, senzorika, aktuátory, aerodynamika, počasie). Cieľom je preukázať, že riadiaci systém si zachová požadované vlastnosti aj pri chybách, útokoch, poruchách a neistotách, a že sa dokáže „gracefully degrade“ a zotaviť sa bez ohrozenia bezpečnosti letu.
Kontext a motivácia: prečo merať odolnosť a robustnosť
Moderné autopiloty prechádzajú z čisto deterministických algoritmov na adaptívne a dátovo riadené prístupy (MPC, H∞, L1, RL, fúzia SN, GNSS/INS, VIO), ktoré interagujú s heterogénnou prevádzkovou sieťou (C2 linky, U-Space/UTM). Tým rastie priestor možných porúch: od softvérových chýb cez degradáciu senzorov až po cielené kyberútoky (spoofing, jamming, message injection). Bez jednoznačných metrík nemožno kvalifikovať úroveň rizika ani porovnať alternatívne riešenia.
Taxonómia hrozieb a porúch v CPS testovaní
- Senzorické: drift IMU, zlyhanie magnetometra, GNSS multipath/spoofing, oslepnutie kamery, saturácia barometra.
- Aktuátory: znížená účinnosť vrtúľ, poškodený ESC, asymetria ťahu, mechanické trenie.
- Komunikácia: oneskorenia, jitter, packet loss, DoS, hijack C2 linky, nespoľahlivý telemetrický spätný kanál.
- Softvér a OS: race conditions, memory leak, deadlock, chyby plánovača, neplatné stavy FSM.
- Prostredie: nárazy vetra, turbulencia, dážď, teplotné extrémy, náhle zmeny hustoty vzduchu.
- Úmyselné útoky: GNSS spoofing/jamming, injekcia MAVLink/RTPS správ, falošné landmarky pre VIO, RF replay.
Zásady definovania metrík
Metriky majú byť operacionalizovateľné (merateľné na logoch a telemetrii), výstižné (korelujú s bezpečnosťou a výkonom) a porovnateľné (normalizované a reprodukovateľné). Odporúča sa rozdeliť ich do úrovní: komponent (senzor, aktuátor), riadiaca slučka (stabilizácia, navigácia), misia (trajektória, úloha) a systém (celková odolnosť).
Jadrové pojmy: robustnosť vs. odolnosť
- Robustnosť: zachovanie špecifikácií pod viazanými perturbáciami (napr. normované rušenie, konečné oneskorenia); typicky L2/L∞ zisky, H∞ výkon, veľkosť robustne invariantnej množiny.
- Odolnosť (resilience): schopnosť systému detegovať, absorbovať, adaptovať sa a zotaviť sa z porúch/útokov; modeluje sa časovým priebehom funkčnosti R(t) a plochou zotavenia.
Architektúry kyber-fyzikálneho testovania
- SIL/DIL (software/data-in-the-loop): overenie algoritmov s modelovanými signálmi a sieťou.
- HIL (hardware-in-the-loop): riadiaca jednotka beží na cieľovom HW, fyzikálne modely sú v reálnom čase.
- CHIL/PHIL: zohľadnenie výkonových tokov alebo kyber komponentov (firewally, routery, SDR generátory).
- Digitálne dvojča a co-simulation: prepojenie modelov (FMI/FMU, ROS 2, simulátory prostredia) s emulovanou sieťou a RF.
- Kyber-range pre UAV: uzavretý RF priestor pre GNSS spoofing/jamming a sieťové kampane.
Fyzikálne metriky výkonnosti a stability
- Tracking error: RMS/MAD pozičnej a orientačnej chyby; 95. percentil odchýlky trajektórie.
- Stabilitné rezervy: fázová/zisková rezerva, spektrálny polomer uzavretej slučky, ISS zisk.
- Prechodové javy: presah, ustálenie, settling time po kroku alebo náraze vetra.
- Energetická efektívnosť: integrál výkonu, špecifická spotreba počas perturbácie vs. baseline.
- Bezpečnostné vzdialenosti: minimálna výška, horizontálna separácia, near-miss rate.
Kybernetické metriky bezpečnosti a spoľahlivosti
- MTTD/MTTR: mean time to detect/repair anomálie alebo kompromitácie.
- Integrity & authenticity: podiel overených paketov, miera odmietnutia falošných správ.
- Delay margin a packet loss tolerance: hranice, pri ktorých riadenie nestráca stabilitu.
- Time-to-compromise a attack success rate pri definovaných schopnostiach útočníka.
- GNSS odolnosť: maximálna tolerovaná amplitúda/offset spoofingu, prah SNR pri jammingu.
Metriky diagnostiky a detekcie anomálií
- Citlivosť/Recall, Presnosť/Precision, F1 a AUC-ROC/PR na dátach z kampaní porúch a útokov.
- False Alarm Rate a Missed Detection Rate v časových oknách.
- Latency detekcie: od vzniku udalosti po vydanie varovania/izolácie.
- Izolácia porúch: pravdepodobnosť správnej identifikácie komponentu a režimu poruchy.
Integrované metriky odolnosti (resilience profiling)
Odporúča sa zostaviť profil odolnosti R(t) s kľúčovými fázami: normálna prevádzka → narušenie → degradácia → stabilizácia → zotavenie. Z profilov sa odvádzajú:
- Area of Loss (AoL): plocha pod referenčnou funkčnosťou a nad R(t) počas incidentu.
- Graceful Degradation Index (GDI): pomer zachovanej funkcie počas degradácie k nominálnej.
- Recovery Slope: rýchlosť návratu nad definovaný prah výkonnosti.
- Mission Success Probability (MSP): podiel úspešne splnených misií v Monte Carlo kampani.
Scenáre, ODD a dizajn experimentov
Definujte Operational Design Domain (ODD) (terén, vietor, GNSS dostupnosť, hustota prevádzky) a zostavte katalóg scenárov: nominálne, hraničné, stresové, „hazard-based“. Použite Design of Experiments (plánovanie faktorov a úrovní), latinské štvorce a coverage metriky (percento pokrytých kombinácií, zlyhaných hraničných stavov). Pre útoky je vhodné adversarial search (fuzzing, bayesovská optimalizácia) na nájdenie najhorších prípadov.
Vstrekovanie porúch a útokov (fault & attack injection)
- Senzory: offset, drift, saturácia, dropout, korupcia šumu s regulovanou PSD.
- Aktuátory: zníženie účinnosti, oneskorenie, zmena nelinearity, úplné zlyhanie kanála.
- Sieť: modely oneskorenia (deterministické, Markov), stratovosť (Gilbert-Elliot), re-ordering.
- Kyber: replay/injection paketov, degradácia šifrovania, spoofing GNSS, RF jamming s kontrolovaným SNR.
Postup hodnotenia a štatistické vyhodnotenie
- Baseline: zmerajte referenčné metriky v nominálnych podmienkach.
- Perturbation sweep: vykonajte zametané kampane intenzity porúch/útokov.
- Stress-to-failure: určte prah, pri ktorom je porušená bezpečnostná požiadavka.
- Monte Carlo: náhodné variácie parametrov, výpočet intervalov spoľahlivosti.
- Benchmarking: porovnajte alternatívne regulátory/filtre/fúzne stratégie na rovnakých scenároch.
Normalizácia a agregácia metrík
Pre porovnateľnosť definujte jednotné škály a váhy. Vhodné je použiť multi-criteria decision analysis (MCDA) s vážením podľa kritickosti požiadaviek (safety > performance > efficiency). Výstupy zobrazujte ako radarové grafy, kumulatívne distribúcie (CDF) a resilience curves.
Príklad referenčnej metriky pre GNSS spoofing
Definujte test: počas 60 s letu po trase „figure-8“ aplikujte lineárne rastúci pseudorange offset. Merajte:
- Δpos95: 95. percentil polohovej chyby (m).
- tdet: čas detekcie anomálie (s) od zapnutia spoofingu.
- Pfalse: miera falošných poplachov bez spoofingu (%/h).
- MSP: úspešnosť misie (bez narušenia bezpečnostných limitov) v N=200 behov (%).
Odolnosť systému je prijatá, ak Δpos95 ≤ 2 m, tdet ≤ 3 s, Pfalse ≤ 1 %/h a MSP ≥ 99 %.
Tabuľka kľúčových metrík a jednotiek
| Kategória | Metrika | Popis | Jednotka | Cieľ |
|---|---|---|---|---|
| Riadenie | RMS tracking error | Stredná kvadratická odchýlka trajektórie | m, rad | < 0,2 m |
| Stabilita | H∞ index γ | Max. zisk rušenie→výstup | bezrozmerné | min. |
| Diagnostika | MTTD | Priemerný čas do detekcie | s | < 2 s |
| Sieť | Delay margin | Max. tolerované oneskorenie | ms | > 120 ms |
| Bezpečnosť | Loss-of-Separation prob. | Pravdepodobnosť porušenia separácie | % | < 0,1 % |
| Odolnosť | AoL | Plocha úbytku funkčnosti počas incidentu | norm. | min. |
Sledovanie bezpečnostných limitov a risk budget
Nastavte risk budget na úrovni misie (napr. maximálna prípustná integrálna pravdepodobnosť CFIT/kolízie). V testoch vynucujte „hard safety limits“ (geofence, max. uhol náklonu, min. napätie batérie) a vyhodnocujte risk exceedance ako binárnu metriku.
Metriky pre MPC a plánovanie trajektórií
- Constraint violation rate: percento krokov, kedy boli porušené obmedzenia (saturácie, geofence, rýchlosti).
- Tube radius: priemerný/pík polomer robustnej trubice okolo nominálnej trajektórie.
- Feasibility rate: podiel vyriešených optimalizačných úloh včas (< deadline).
Komunikačný stack: latencia, jitter, stratovosť
Merajte E2E latenciu (telemetria→autopilot→aktuátor→odozva), jej varianciu a stratovosť. Definujte Service Level Objectives (napr. 99,9 % paketov < 80 ms) a testujte robustnosť k burst stratám (Gilbert-Elliot model) a re-ordering.
Integrita dát a bezpečné vnímanie
Pre senzorickú fúziu sledujte NIS/NES testy (Normalised Innovation Squared), consistency filtrov, detekciu „measurement conflicts“ (napr. GNSS vs. VIO). Pri kamerových systémoch hodnotťe robustnosť k zámene landmarkov a oslepovaniu (percento validných feature matchov).
Protokoly experimentov a sledovanie artefaktov
Zabezpečte traceability: verzia firmvéru, konfigurácie regulátorov, seed náhodnosti, scenár, injekcie porúch, kalibrácie. Artefakty (logy, RF spektrá, pcap, GNSS raw, videá) ukladajte s metadátami a hash odkazmi pre auditovateľnosť.
Vizualizácie výsledkov
- Resilience curves R(t) s vyznačením AoL a bodov detekcie/izolácie.
- ROC/PR krivky pre anomálie a fúzne validátory.
- Heatmapy porušenia obmedzení v priestore parametrov.
- CDF distribúcie chýb a latencií.
- Radar grafy pre MCDA porovnanie alternatív autopilotov.
Prípadová štúdia: kampaň „vietor + stratová sieť“
Vytvorte scénar: nárazy vetra s PSD podľa Dryden/Gauss, 10 % stratovosť s burstami. Porovnajte dve konfigurácie: AP-A (PID+EKF2) vs. AP-B (MPC+UKF). Vyhodnoťte RMS chybu, violácie obmedzení, MTTD, MSP, GDI. Očakávané správanie: AP-B dosiahne menší AoL a rýchlejší návrat vďaka prediktívnemu riadeniu a robustnejšej fúzii.
Nástroje a infraštruktúra
- Simulačné jadro: Gazebo/Ignition, AirSim, MATLAB/Simulink, vlastné C++/Python modely s FMI.
- Autopilot stack: PX4/ArduPilot (SITL/HITL), ROS 2 integrácia, logy (ULog, BIN).
- Sieťová emulácia: netem, tc, Mininet, emulácia 4G/5G/mesh.
- RF a GNSS: SDR pre spoofing/jamming v tienenom priestore, GNSS record-replay.
- Analytika: skripty na extrakciu metrík, štatistiku a reporty, CI/CD pipeline pre test kampane.
Bezpečnostné a etické zásady testovania
Útoky a RF experimenty vykonávajte výhradne v regulovanom, tienenom prostredí s právnym povolením. Zavádzajte viacvrstvové „kill-switch“ mechanizmy, geofence a fyzické záchytné systémy. Anonymizujte dáta a chráňte know-how i osobné údaje.
Integrácia so systémovým inžinierstvom
Zarovnajte metriky s požiadavkami (requirement-to-test trace), rizikovými analýzami (FMEA, FTA, STPA) a certifikačnými cieľmi. Zabezpečte, aby odolnosť a robustnosť boli verifikovateľné a validovateľné artefaktmi – nie len argumentáciou.
Najčastejšie chyby a antipatterny
- Testovanie len nominálnych scenárov bez stresu a hraničných stavov.
- Nedefinované prahy akceptácie pre metriky; „dojemový“ verdikt.
- Nekonzistentná telemetria a chýbajúca synchronizácia časovej osi.
- Absencia sieťových a kybernetických kampaní – ignorovanie polovice CPS.
- Nezabezpečená reprodukovateľnosť (bez seedov, bez verzií artefaktov).
Doporučený minimálny súbor metrík (MVP) pre projekty UAV
- RMS a 95-percentil odchýlky trajektórie; settling time.
- Constraint violation rate (geofence, saturácie) a min. bezpečnostná vzdialenosť.
- Delay margin a tolerancia stratovosti v % pri zachovanej stabilite.
- AUC-ROC a MTTD pre kľúčový detektor anomálií.
- MSP v Monte Carlo (≥ 99 % pre kritické misie).
- GDI a AoL z profilu R(t) pre aspoň dva typy incidentov (porucha, útok).
Kyber-fyzikálne testovanie autopilotov poskytuje rámec, ktorý spája kontrolno-teoretické, bezpečnostné a kybernetické hľadiská do merateľných a porovnateľných metrík. Dobre navrhnuté metriky – od fyzikálnych chýb cez sieťové tolerancie až po profily odolnosti – umožňujú nielen kvalifikovať riziko a podporiť certifikáciu, ale aj rýchlejšie iterovať návrh, optimalizovať kompromisy a dosiahnuť dôveryhodnú autonómiu UAV v reálnom svete.