Neurónové siete na edge

Prečo on-board neurónové siete na UAV

Autonómia dronov sa opiera o lokálne spracovanie vnímania, lokalizácie a rozhodovania s nízkou latenciou a vysokou spoľahlivosťou. Prenos surových dát do cloudu nie je pri BVLOS a v rušenom RF prostredí udržateľný. On-board neurónové siete (NN) na edge hardvéri preto kombinujú prísne energetické, hmotnostné a tepelné limity s požiadavkami na deterministickú odozvu. Kľúčom je kvantizácia a urýchľovanie – techniky, ktoré umožňujú bežať moderné modely v rozsahu 1–10 W a pri latenciách pod 10–50 ms v slučke riadenia.

Obmedzenia UAV: energetika, latencia a spoľahlivosť

• Energetický rozpočet: 1–15 W pre vnímanie (kamera/LiDAR + NN), pri typických batériách 4–8S LiPo.
• Latencia: 10–30 ms pre vizuálne servo, 50–150 ms pre globálne plánovanie; jitter musí byť nízky.
• Hmotnosť a termika: chladiče a ventilácia zvyšujú hmotnosť; TDP obmedzuje takt a frekvenciu inferencie.
• EMI/EMC: výkonné SoC a spínané zdroje môžu rušiť GNSS/RC; vyžadujú sa filtračné a layout opatrenia.

Kvantizácia: princípy a voľby presnosti

Kvantizácia mapuje FP32/FP16 tenzory na nižšie bitové šírky s cieľom znížiť pamäť, šírku pásma aj spotrebu. Dobre navrhnutá kvantizácia má minimálny vplyv na presnosť pri veľkom zisku v rýchlosti.

• Post-Training Quantization (PTQ): rýchla, bez preučenia. Vhodná pre 8-bit (INT8) s reprezentatívnou kalibráciou.
• Quantization-Aware Training (QAT): simuluje kvantizačný šum počas tréningu; umožňuje 8-bit a často aj 4-bit.
• Bitové režimy: INT8 je „sweet spot“; INT4/FP4 pre extrémny edge; binárne/ternárne siete pre špecifické úlohy.
• Per-tensor vs. per-channel: per-channel škály znižujú kvantizačný error najmä v konvolúciách.
• Symetrická vs. asymetrická: symetrická (signed) zjednodušuje MAC; asymetrická lepšie pokrýva posunuté rozdelenia aktivácií.
• Kalibrácia: klipovanie (MSE, KL) a zbierka reprezentatívnych vzoriek z letových dát minimalizujú straty presnosti.

Komplementárne kompresné techniky

• Prerezávanie (pruning): štruktúrované (kanály/filtre) pre HW efekt; neštruktúrované + sparsity ~50–70 % s podporou akcelerátorov.
• Destilácia znalostí: študent napodobňuje učiteľa; znižuje veľkosť pri zachovaní presnosti.
• Zdieľanie váh a low-rank faktorizácia: dekompozícia konvolúcií a projekcií v Transformeroch.

Architektúry modelov vhodné pre edge

• Konvolučné siete: depthwise separable a group conv (MobileNet, ShuffleNet) minimalizujú MAC.
• Transformery pre víziu: lite/linear attention, windowed self-attention, token pruning a dynamic sparsity.
• Viacsenzorové fúzie: kamerové RGB + IMU + prípadne ToF/LiDAR s ľahkou pozornosťou.
• Graph/Spiking: pre plánovanie trajektórií a extrémne nízku spotrebu (SNN) tam, kde je to vhodné.

Urýchľovanie: akceleračné backends a kompilátory

• NPU/DLA: vysoká efektivita INT8/INT4, obmedzený set opov; ideálne pre štandardné CNN a postprocessing.
• GPU: flexibilné, FP16/INT8 tensor core; vyššia spotreba, ale najuniverzálnejšie.
• DSP: výborné pre 1D/2D filtračné operácie a malé siete; deterministické latencie.
• FPGA: presná kontrola dátových tokov, pipeline a sparsity; vyššie náklady na vývoj, no top efektivita/W.
• Kompilátory: TVM, TensorRT, OpenVINO, Glow/XLA – fúzia opov, layout transformácie (NCHW↔NHWC), kernel autotuning.

Optimalizácia dátových tokov a pamäťovej prevádzky

• Operátorová fúzia: Conv+BN+ReLU, Q/DQ folding; znižuje prístup do DRAM.
• Prefetch/tiling: blokovanie do L2/SRAM; minimalizácia cache miss a DMA prestojov.
• Pipeline: overlapy IO (kamera) – pre/postprocessing – inferencia – riadenie v rámci jedného rámca.
• Mixovaná presnosť: FP16 pre citlivé vrstvy (napr. attention projekcie), INT8 pre zvyšok.

Realtime plánovanie: deterministický runtime

• Rozdelenie grafu: kritická slučka (perception→control) s pevnou deadlinou, sekundárne úlohy (mapovanie) v „best-effort“ režime.
• Prioritné fronty: RT planovač (SCHED_FIFO) pre inferenciu; rozpočet GPU času.
• Jitter control: pinovanie jadier, izolácia IRQ, locknutie frekvencií, NUMA/affinity.

Meranie výkonu: metriky a profilácia

• Presnosť: mAP/mIoU/F1 pre úlohy vnímania; success rate pre plánovanie/avoidance.
• Latencia a jitter: P50/P95/P99; end-to-end od expozície po aktuátor.
• Energia: J/inferencia, Wh/misia; teplotné profily a throttling.
• Robustnosť: oklúzie, zmena osvetlenia, pohybová rozmazanosť, RF interferencie, výpadky snímačov.
• Profilácia: per-op štatistiky (MAC, BW), roofline analýza, „hot kernels“ a pamäťové úzke hrdlá.

Robustná kvantizácia v praxi

• Reprezentatívny dataset: zahrnúť typické letové výšky, uhly, denné/nočné scény, poveternostné podmienky.
• QAT stratégiá: fake quant, straight-through estimator; postupné sťahovanie bitov (8→6→4).
• Layer sensitivity: prvá a posledná vrstva často vyžadujú vyššiu presnosť; per-layer overrides.
• Dynamic range tracking: EMA štatistiky, percentile clipping, log-domenové škály pre outliery.

Spracovanie obrazových dát na palube

• ISP pipeline: denoise/debayer v HW; prísne limitovať CPU postprocessing.
• Downsampling a cropping: dynamické škálovanie vstupu podľa dostupného TDP a požadovanej latencie.
• Time-synchronization: PTP/PPS medzi kamerou, IMU a SoC; minimalizácia časovej neistoty pre fúziu.

Bezpečnostné aspekty a fail-safe

• Sandbox inferencie: obmedzenie privilégii, integrity check modelov (hashy, podpisy).
• Watchdogy: pre ML runtime aj pre senzorové drivery; detekcia deadlockov.
• Degradované režimy: prepnúť na jednoduchší model/nižšie rozlíšenie pri prehriatí alebo nízkej batérii.

Integrácia do riadiacej slučky

• Vizuálne servo: konverzia výstupov NN (napr. kľúčové body, detekcie) na veličiny riadenia s filtráciou a limitérmi.
• Prediktívne filtrovanie: EKF/UKF pri oneskorených a kvantizovaných meraniach.
• Confidence gating: ak je dôvera NN pod prahom, spustiť redundanciu (IMU-only, GNSS-only, mapové odhady).

MLOps na okraji: nasadzovanie a správa modelov

• Formáty: ONNX, TFLite, proprietárne blobs pre NPU; verzovanie modelov a kompilátormi generovaných artefaktov.
• A/B nasadzovanie: tieňové hodnotenie (shadow mode) a postupné rozbaľovanie na flotilu.
• OT(A) aktualizácie: robustné, atómové; rollback a kompatibilita s firmware.
• Telemetria: anonymizované metriky latencie/energetiky/chýb pre dlhodobé ladenie.

Validácia: HIL/SIL a terénne testy

• SIL: simulácia snímačov a prostredia so záznamami reálnych scén; zisťovanie numerickej stability po kvantizácii.
• HIL: reálny edge HW v slučke; záznam P50/P99 latencií a tepelných profilov počas typických misií.
• Letové skúšky: AB testy modelov, metriky úspešnosti úloh (napr. percento správnych pristátí, preletov brán).

Príklady úloh a odporúčané konfigurácie

Checklist pre inžiniersku realizáciu

1. Definovať KPI: presnosť, P95 latencia, spotreba, teplotné limity.
2. Zvoliť architektúru modelu s ohľadom na MAC/BW a podporované opy akcelerátora.
3. Pripraviť reprezentatívny kalibračný set pre PTQ/QAT.
4. Vykonať kompresiu: pruning → kvantizácia → distilácia → compiler autotuning.
5. Nastaviť runtime: izolácia jadier, frekvencie, DMA, pipeline.
6. Overiť v SIL/HIL: presnosť vs. latencia vs. energia, P99 jitter, termika.
7. Nasadiť s A/B a telemetriou; pripraviť rollback a degradované režimy.

Najčastejšie úskalia a ako im predísť

• Strata presnosti po PTQ: prejsť na QAT, použiť per-channel škály a lepší klip.
• Nekompatibilné opy na NPU: reautorovať graf (nahradiť ops), použiť fúziu alebo fallback len mimo kritickej slučky.
• Skryté úzke hrdlá: postprocessing na CPU; presunúť NMS, resize a normalizáciu na akcelerátor.
• Throttling: predimenzovať chladič, zaviesť power governor a adaptívne zníženie rozlíšenia.

On-board neurónové siete umožňujú dronom bezpečne a autonómne fungovať aj v náročných podmienkach. Kombinácia kvantizácie, kompresie a špecializovaných akcelerátorov prináša rádové zlepšenie latencie a energetickej efektivity bez zásadnej straty presnosti. Systematický prístup – od voľby architektúry, cez QAT a kompiláciu, až po RT integráciu a validáciu – je rozhodujúci pre nasadenie, ktoré spĺňa prísne požiadavky UAV misií.