Co je rozšířená reality (AR) a v čem se liší od VR/MR
Rozšířená realita (Augmented Reality, AR) vkládá digitální obsah (3D objekty, texty, ukazatele, data) přímo do vnímání skutečného světa. Na rozdíl od virtuální reality (VR), která uživatele přenáší do plně syntetického prostředí, AR registruje (zarovnává) a fúzuje virtuální prvky se scénou před uživatelem v reálném čase. Mixed Reality (MR) je širší nadmnožina, která zahrnuje plynulé spektrum mezi AR a VR a zdůrazňuje interakci virtuálních objektů s fyzikou a světlem reálného prostředí.
AR z hlediska zpracovatelského řetězce
AR systém lze chápat jako pipeline: snímání → odhad polohy a mapování (tracking & mapping) → porozumění scéně → rendering & kompozice. Cílem je udržet nízkou latenci, stabilní registraci a fotorealistickou integraci obsahu.
- Snímání: kamery (RGB, RGB-D), IMU (akcelerometr, gyroskop), hloubkové senzory (ToF, structured light), mikrofony, někdy LiDAR.
- Tracking & mapping: odhad pose (pozice a orientace) zařízení v prostředí a tvorba 3D mapy klíčových bodů či husté hloubkové reprezentace.
- Porozumění scéně: detekce ploch, hran, objektů, odhad osvětlení, segmentace pro okluze.
- Rendering & kompozice: nasvícení, stíny, okluze a anti-aliasing; výsledná kompozice s reálným obrazem (video see-through) nebo optickým překladem (optical see-through).
Senzory a jejich fúze
AR spoléhá na multisenzorickou fúzi, protože samotný obraz je náchylný na rozmazání, změny světla a uniformní plochy.
- IMU: poskytuje rychlé, ale driftující údaje o rotačním a translačním pohybu; vhodné pro interpolaci mezi snímky a stabilizaci.
- Kamery: vizuální odhad pohybu (VO/VIO) pomocí sledování rysů (feature tracking) a bundle adjustment.
- Hloubka (ToF/LiDAR): přímé měření vzdáleností pro robustní detekci ploch, okluze a škálování scény.
- Fúze: filtry (Extended/Unscented Kalman), factor graph optimalizace (např. GTSAM) pro snížení driftu a konsistenci stavu.
Kalibrace a souřadnicové systémy
Přesnost AR stojí na správné kalibraci:
- Intrinsiky kamery: ohnisková vzdálenost, hlavní bod, zkreslení čočky (radiální/tangenciální).
- Extrinsiky: rigidní transformace mezi kamerou, IMU, hloubkovým senzorem a zobrazovacím prvkem (HMD).
- Souřadnicové systémy: Device frame, World frame, Camera frame, případně Anchor frame pro lokalizované objekty.
Tracking: markerový vs. bezmarkerový (SLAM)
- Markerový tracking: fiducial značky (ArUco, AprilTag) se známou geometrií. Výhody: rychlá inicializace, stabilita. Nevýhody: vizuální invazivita.
- Bezmarkerový tracking: SLAM (Simultaneous Localization and Mapping) – feature-based (ORB/SIFT/AKAZE), direct methods (fotometrická konzistence), případně semidense/dense rekonstrukce. Kombinace s IMU dává VIO (Visual-Inertial Odometry) pro nižší latenci a menší drift.
- Re-lokalizace a perzistence: rozpoznání již navštívených míst, mapové sloučení a sdílené mapy (multi-user AR) s cloud anchors.
Mapování scény a detekce ploch
AR motory (ARKit/ARCore/HoloLens SDK) odhadují roviny (podlaha, stůl), hrany a povrchy pro umístění anchorů. Hloubková data a plane fitting (RANSAC) umožňují pevné ukotvení objektů i v prostředích s málo rysy. Husté mapy podporují meshing scény pro pokročilé okluze a fyzikální interakce.
Odhad osvětlení a fotorealistické nasvícení
Pro vizuální věrohodnost je klíčové light estimation:
- Environment map a spherical harmonics pro difuzní osvětlení.
- Reflexní sondy a HDRI pro spekulární složku a realistické odlesky.
- Stíny a kontaktní stín: blob shadow, shadow mapping a screen-space techniky.
Okluze a segmentace
Okluze zajišťuje, že reálné objekty zakryjí virtuální prvky, když mají být „před nimi“. Realizuje se hloubkovou mapou, meshingem scény nebo learning-based segmentací (osoby, ruce). Správné okluze dramaticky zvyšují věrohodnost a stabilitu registrace.
Zobrazovací technologie: video vs. optical see-through
- Video see-through: kamera snímá svět, zařízení kompozituje AR a zobrazuje na displeji (smartphone, některé HMD). Výhody: plná kontrola nad obrazem, přesné barvy a okluze. Nevýhody: latence a možné nepohodlí.
- Optical see-through: světelné vlnovody, průhledné displeje (HMD). Výhody: přirozené vnímání reálného světa, nižší simulátorová nemoc. Nevýhody: additive-only zobrazení (černá není „černá“), složitější okluze a jas na denním světle.
Renderovací a kompoziční vrstva
AR rendering musí respektovat časové omezení (v ideálu < 16 ms pro 60 FPS) a minimalizovat motion-to-photon latenci.
- Timewarp/Reprojection: korekce orientace v poslední chvíli, aby se snížilo vnímané zpoždění.
- Stabilizace: filtrací a predikcí se vyhlazují drobné chvění (jitter), aby objekty „neplavaly“.
- Fotometrie: PBR materiály, tónové mapování, vyvážení bílé pro koherentní vzhled.
Interakce: ruce, pohled, gesta, hlas
Interakční model závisí na zařízení:
- Dotyk a obrazovka (mobilní AR): hit testing do detekovaných ploch, gesta pro škálování/rotaci.
- Hand tracking: detekce kostry ruky, pinch/air tap, přirozená manipulace s 3D objekty, haptická odezva v ovladačích.
- Gaze & dwell: sledování očí/pohledu pro výběr a fokus, často v kombinaci s gestem.
- Hlas: hlasové příkazy pro hands-free scénáře (průmysl, zdravotnictví).
Prostorový zvuk (spatial audio)
AR využívá binaurální renderering a HRTF, aby zvuk vycházel z polohy virtuálních objektů v prostoru. Pro realističnost se modeluje dozvuk místnosti (reverb), útlum a stínění reálnými překážkami.
Perzistence a sdílené zážitky
Perzistentní AR ukládá ankory a mapová data pro návrat do téže scény později. Multi-user AR vyžaduje společný světový rámec: sdílené ankory či cloud anchors, synchronizaci pozic a stavů objektů s nízkou latencí (WebRTC, MQTT, custom UDP), řešení konfliktů a latencí.
Edge computing a cloud
Náročné úlohy (husté SLAM, rekonstrukce, rozpoznávání objektů, neurální inferencing) lze offloadovat na edge/cloud. Výhodou je výkon a společné mapy, rizikem latence a handover mezi sítěmi. Hybridní modely běží lokálně „kritickou smyčku“ (tracking) a do cloudu posílají méně urgentní úlohy.
Výkonnostní metriky a latence
- Motion-to-photon: celková doba od pohybu zařízení/hlavy po zobrazení aktualizovaného obrazu (cílit < 20 ms u HMD, < 60 ms u mobilu).
- Registration error: úhlová/translační chyba zarovnání virtuálních objektů s reálnými referencemi.
- Drift: kumulativní odchylka pozice/orientace v čase bez re-lokalizace.
- Frame stability: jitter, dropped frames, p95/p99 latence renderingu.
Bezpečnost a ergonomie
- Fyzická bezpečnost: passthrough uvědomění okolí, zóna bezpečného prostoru, upozornění na překážky.
- Ochrana soukromí: AR snímá okolí – nutná anonymizace, on-device zpracování, omezení sdílení map.
- Ergonomie: hmotnost HMD, rovnoměrné rozložení, jas a kontrast pro různá osvětlení, redukce simulátorové nemoci (latence, reprojekce, stabilní retikulum).
Testování a validace AR
- Laboratorní kalibrace: test patterny pro zkreslení, přesnost pose s optickým systémem (Vicon/OptiTrack).
- Terénní testy: různé světelné podmínky, texturovanost scén, pohybové profily uživatelů.
- UX evaluace: úspěšnost úkolů, čas, subjektivní vnímaná stabilita, kognitivní zátěž (NASA-TLX).
Typické aplikační scénáře
- Průmysl a servis: návody „krok za krokem“, vzdálená asistence, kontrola kvality s overlayi tolerancí.
- Vzdělávání a medicína: anatomické overlaye, navigace v operačním poli, simulace postupů.
- Navigace a retail: indoor wayfinding, vizualizace produktů v prostoru (furnishing), interaktivní marketing.
- Zábava a kultura: herní overlaye, muzejní expozice s rekonstruovanými artefakty.
Počítačové vidění a učení v AR
Moderní AR využívá deep learning pro robustnější feature detection, odhad hloubky z monoculární kamery, semantic segmentation (rozlišení podlahy, stěn, lidí) a rozpoznávání objektů. Učení na zařízení (on-device) s kvantizovanými modely (INT8) a akcelerátory (NPU) snižuje latenci a chrání soukromí.
Energetika a optimalizace
- Duty-cycling a adaptivní snímkování: dynamicky snižovat frekvenci senzorů/renderingu, když uživatel neinteraguje.
- Tiling a foveated rendering: vyšší kvalita tam, kam míří zrak, nižší jinde; vyžaduje eye-tracking.
- Pipeline co-design: sdílení výsledků mezi trackingem a renderem (např. re-use hloubky), zero-copy přenosy mezi GPU/ISP/NPU.
Standardy, frameworky a nástroje
- Frameworky: ARKit (iOS), ARCore (Android), MRTK a HoloLens SDK, Vuforia pro průmyslové značky, OpenXR pro interoperabilitu.
- Engine: Unity, Unreal s AR pluginy; WebXR pro prohlížeče.
- Formáty: glTF/USDC pro 3D obsah, light probes a materiály PBR, anchors a mapy specifické pro platformu.
Limity a otevřené výzvy
- Robustnost v náročných scénách: nízká textura, zrcadla, průsvitné povrchy, extrémní světelné kontrasty.
- Venkovní AR: jas, odrazy, dosah hloubkových senzorů, GNSS přesnost vs. lokální SLAM.
- Společná mapa: škálovatelné sdílení a synchronizace map mezi uživateli, bezpečnost a integrita.
- Form factor: lehké, esteticky přijatelné brýle s vysokým FOV, jasem a dlouhou výdrží.
Best practices pro stabilní a věrohodnou AR
- Rychlá inicializace: nabídnout uživateli pohyb kamerou pro záchyt rysů, vizuální zpětná vazba při hledání ploch.
- Kontextové ankory: používat fyzikálně relevantní plochy a snapping pro stabilitu.
- Realistická fotometrie: kontaktní stín, přiměřené odlesky, konzistentní měřítko a perspektiva.
- Fail-soft: při ztrátě trackingu dočasně zamknout interakce, komunikovat stav (relocalizing), vyhnout se „plavání“ objektů.
- Škálování: omezit polygon count a textury, používat instancing a LOD, preferovat glTF/PBR.
Závěr
Princip fungování AR spočívá v přesném odhadu polohy, mapování a porozumění scéně, aby bylo možné věrohodně a stabilně sloučit virtuální obsah s realitou. Úspěšná AR integruje multisenzorickou fúzi, robustní SLAM/VIO, správnou fotometrii a ergonomické interakce. S postupným nástupem lehčích HMD, výkonnějších NPU a standardů pro perzistentní mapy se AR posouvá od demonstrací směrem k široce nasazeným, uživatelsky hodnotným scénářům v průmyslu, medicíně i každodenním životě.
