Big Data v cloudu

Proč cloudová řešení pro Big Data

Cloud poskytuje elastickou výpočetní i úložnou kapacitu, která se škáluje podle potřeby a je účtována spotřebně. Pro Big Data infrastrukturu to znamená možnost zpracovat enormní objemy dat bez předimenzovaných investic, zkrátit čas uvedení řešení do provozu a sjednotit nástroje pro ingest, zpracování, analytiku, strojové učení i správu dat. Klíčovými principy jsou separační architektura storage/compute, automatizace, observabilita, správa nákladů a data governance.

Referenční architektura: datové jezero a lakehouse

Dominantním vzorem je data lake v objektovém úložišti doplněný o lakehouse vrstvu (otevřené tabulkové formáty, transakce, ACID), která umožňuje korigovat slabiny klasických jezer (kvalita schémat, transakční konzistence, time travel).

• Data Lake (S3/GCS/ABFS): surová a kurátorovaná data ve formátech Parquet/ORC/Avro.
• Lakehouse: Delta Lake, Apache Iceberg nebo Apache Hudi přidávají transakční log, snapshoty, klonování a efektivní updaty/merge.
• Metastore/Katalog: Hive Metastore, Glue Data Catalog nebo jednotný katalog (např. Unity Catalog) pro schémata, přístupová práva a lineage.
• Dotazovací/compute vrstva: Spark, Trino/Presto, serverless SQL enginy a data warehousing služby.

Úložiště: objektové, souborové a tabulkové vrstvy

• Objektové storage: vysoká trvanlivost, nízké náklady, škálovatelné I/O; třídy (standard, infrequent access, archival) pro tiering.
• Souborové/posix vrstvy: distribuované FS pro specifické úlohy (POSIX závislé aplikace, dočasné cache pro ETL).
• Tabulkové formáty: Parquet/ORC pro kolonární kompresi; otevřené tabulky (Delta/Iceberg/Hudi) pro ACID a evoluci schématu.
• Optimalizace layoutu: partitioning, clustering (Z-Order/Hash), compakce malých souborů a správa metadat.

Ingest a streaming: od dávky po real-time

• Batch ingest: dávkové nahrávání přes ETL/ELT (Spark, serverless kopírování, CDC z databází).
• Streaming: Kafka/Pulsar, cloudové pub/sub služby, stream processing (Flink, Spark Structured Streaming) s přesnými zárukami doručení.
• CDC (Change Data Capture): Debezium, log-based ingest z OLTP do jezera/warehouse s nízkou latencí.
• IoT edge: brány s lokální agregací, bufferingem a bezpečným přenosem do cloudu.

Zpracování dat: Spark, SQL enginy a serverless

• Distributed compute: Apache Spark pro ETL, ML a SQL; běh na spravovaných službách či Kubernetes s autoscalingem.
• Interaktivní/Ad-hoc SQL: Trino/Presto pro federované dotazy nad jezerem; serverless SQL (např. dotazy přímo nad objekty).
• Data warehousing: elastické sklady (kolonární storage, separace compute/storage, automatické scale-out, materializované pohledy).
• Orchestrace: Airflow/Cloud Composer/MWAA, alternatively declarativní DAGy a event-driven pipeline (Functions/Lambda + Step orchestrace).

Lakehouse versus Data Warehouse: komplementarita

Lakehouse sjednocuje polostrukturovaná/nestrukturovaná data a pokročilé transformace, zatímco data warehouse exceluje v konzistentních BI modelech a stabilních SLA pro reporting. Prakticky: bronze–silver–gold (medallion) v jezeře, přičemž gold může být servírováno buď dle otevřených tabulek (SQL engine) nebo nahráváno do skladiště pro kritické dashboardy.

Modelování a řízení kvality: schema, DQ a lineage

• Evoluce schématu: řízené schema-on-read/write, kompatibilita typů a validace při zápisu.
• Data Quality: pravidla úplnosti, unikátnosti, referenční integrity, business validací (Great Expectations/Deequ) s automatickými metrikami.
• Lineage: sběr datových toků (OpenLineage) pro auditovatelnost, dopadové analýzy a řízení změn.

Bezpečnost a governance: IAM, šifrování a řízení přístupu

• IAM: princip nejmenších oprávnění, workload identity, krátkodobé tokeny; oddělení rolí (data owner, steward, analyst).
• Šifrování: At-Rest (KMS/HSM správa klíčů), In-Transit (TLS), client-side šifrování pro citlivé datasety.
• Row/Column-level security & masking: dynamická anonimizace, tagování citlivých polí, přístup dle atributů (ABAC).
• Data katalog: centrální inventář, klasifikace, zásady retence a legal hold; workflow pro schvalování přístupů.

Networking a izolace: VPC, privátní přístupy a multitenance

• Privátní propojení: peering/privátní linky mezi compute a storage, eliminace exfiltrací přes internet.
• Segmentace: izolace prostředí (prod/test/dev), oddělené účty/projekty a síťové policy.
• Datové brány: řízené egressy, DLP inspekce a egress controllery pro citlivé oblasti.

Kontrakty a SDLC pro data (DataOps)

• Datové kontrakty: explicitní SLA/SLO na schémata a latence, verzování a automatizované testy pipeline.
• CI/CD: infra jako kód (Terraform), pipeline jako kód, canary release transformací, rollbacky tabulek (time travel).
• Observabilita: metriky čerstvosti, objemů, nákladů, chybovosti; alerting a playbooky.

Výpočty na Kubernetes: Spark/Flink operátory a storage konektory

• Spark on K8s: podmané šarže i interaktivní jobs; dynamic allocation a izolace týmů jmennými prostory.
• Stavové streamy: Flink operátor s checkpointingem do objektového úložiště.
• Konektory: nativní S3/GCS/ABFS klienti, cache vrstvy (Alluxio) pro nižší latenci.

ML/AI nad Big Data: feature store a MLOps

• Feature Store: sdílení rysů mezi týmy, offline/online synchronizace, backfills a kontrola verzí.
• Trénink a inferencing: škálovatelné clustery, serverless trénink, distribuované frameworky (Horovod/DeepSpeed) s přístupem k jezeru.
• MLOps: experiment tracking, model registry, CI/CD modelů, canary a shadow nasazení; governance modelů (bias, drift, audit).

Nákladovost a FinOps: řízení TCO

• Pravá velikost: automatické škálování clusterů, spot/preemptible uzly pro dávkové úlohy, plánování v oknech s nízkou cenou.
• Optimalizace I/O: komprese (ZSTD/Snappy), správné velikosti souborů (128–1024 MB), pruning/predicate pushdown.
• Data lifecycle: třízení do chladných tříd, archivace, expirační politiky, deduplikace a kompakce.
• Showback/Chargeback: tagování nákladů, rozúčtování podle týmů/datasetů/pipeline.

Spolehlivost, DR a multiregion

• RPO/RTO: verze objektů, cross-region replikace, snapshoty tabulek (Delta/Iceberg), katalog v HA režimu.
• Failover: aktivní–pasivní sklad/compute, DNS a konfigurační přepínače, testy obnovy (chaos engineering pro data).
• Audit a soulad: nezměnitelné logy (WORM), object lock, kryptografické důkazy integrity.

Soukromí a regulace: GDPR a datová rezidence

• Data minimization, pseudonymizace, tokenizace a selektivní šifrování citlivých polí.
• Rezidence: regionální umístění dat, geo-fencing přístupů, exportní kontroly.
• Evidence zpracování: katalog s právním titulem, retenční harmonogramy a automatizované mazání.

Provozní vzory: Lambda, Kappa a Medallion

• Lambda: paralelní batch a stream cesty – vyšší složitost, ale flexibilita.
• Kappa: jednotný stream jako zdroj pravdy s reprocessingem z logu; jednodušší údržba.
• Medallion: Bronze (surová), Silver (čištění/standardizace), Gold (business datamarty, publikace).

Standardy interoperability a sdílení dat

• Otevřené formáty: Parquet/ORC/Avro + Arrow pro vektorové přenosy.
• Otevřené tabulky: Delta/Iceberg/Hudi pro ACID, klonování a time travel.
• Data sharing: sdílení bez kopírování mezi účty/regiony (open protokoly typu Delta Sharing, bezpečné odkazy/katalogy).

Kontrolní seznam pro návrh Big Data platformy v cloudu

• Volba otevřeného tabulkového formátu a centralizovaný katalog + governance.
• Architektura ingestu (batch/stream) s CDC a jasnými SLA.
• Compute vrstva pro ETL/ELT, interaktivní SQL a ML; orchestrátor s CI/CD.
• IaaC, sledování kvality a lineage, observabilita a incident response.
• Bezpečnost: IAM, šifrování, RLS/CLS, privátní networking, DLP.
• FinOps: tiering storage, optimalizace I/O, spot/preemptible, chargeback.
• DR/HA: verze, replikace, testované RPO/RTO, multiregionální plány.

Závěr: škálovatelná, otevřená a řízená platforma

Cloudová Big Data infrastruktura je úspěšná, pokud kombinuje otevřené formáty a lakehouse principy s automatizovaným provozem, silnou governance a řízením nákladů. Tato kombinace umožní bezpečně a efektivně doručovat analytiku, reporting i AI na datech v petabajtovém měřítku, s rychlým tempem změn a bez uzamčení do proprietárních slepých uliček.