Dátová hygiena

Prečo je dátová hygiena kľúčová pre akademickú prácu

Dátová hygiena je súbor návykov a pravidiel, ktoré znižujú riziko straty, zámien a chýb pri práci so súbormi, dátami a projektami. V kontexte študentských a výskumných projektov umožňuje rýchlu orientáciu, auditovateľnosť a reprodukovateľnosť. Bez systematických pomenovaní, verzovania a záloh sa každá zmena stáva lotériou a tímová spolupráca trpí.

Zásady: jednoduché pravidlá, ktoré pokryjú 80 % prípadov

• Predvídateľnosť nad úsporou znakov: konzistentný formát názvov (> 3 prvky) je lepší než krátke, ale nejednoznačné názvy.
• Strojovo priateľské názvy: bez diakritiky, bez medzier, len alfanumerika, podčiarkovníky alebo pomlčky.
• ISO dátumy: YYYY-MM-DD pre chronologické triedenie a strojové parsovanie.
• Jeden zdroj pravdy: primárne dáta ukladaj do raw; všetko odvodené do derived s jasným pôvodom.
• 3–2–1 záloha: 3 kópie, 2 rôzne médiá, 1 mimo pracoviska.
• Automat, nie pamäť: opakovateľné úlohy (záloha, export, čistenie) skriptuj alebo plánuj.

Formátovanie názvov súborov: odporúčaná šablóna

Šablóna pre väčšinu akademických materiálov:

projekt_modul-obsah_autor_YYYY-MM-DD_verZ_stav.ext

• projekt: skratka alebo slug kurzu/projektu (napr. dp-kognicia).
• modul-obsah: tematický blok a stručný popis (napr. analýza-regresia).
• autor: iniciály alebo identifikátor (napr. mj).
• YYYY-MM-DD: dátum vytvorenia alebo publikácie.
• verZ: verzia v tvare v01, v02… (fixná šírka pre správne triedenie).
• stav: voliteľný tag (draft, review, final).

Príklad: dp-kognicia_analyza-regresia_mj_2025-03-14_v03_review.docx

Čo do názvov nepatrí a prečo

• Medzery a diakritika: riziko problémov v skriptoch a odkazoch; nahraď za _ alebo -, diakritiku odstráň.
• Nešpecifické názvy: final2.docx, novy.docx, uprava-posledna.pptx – zlyhávajú pri vyhľadávaní aj v tíme.
• Náhodné veľké písmená: ReportVyskumFinal – nekonzistentné triedenie na unixových systémoch.
• Neviditeľné informácie: autor, dátum a verzia len v metadátach či obsahu, nie v názve – ťažké filtrovanie mimo aplikácie.

Štruktúra priečinkov: minimum, ktoré funguje

• data/
  • raw/ (nemenné zdroje; len append, nikdy overwrite)
  • interim/ (dočasné transformácie, cache)
  • processed/ (valídne, dokumentované výstupy)
• docs/ (texty, prezentácie, poznámky)
• src/ (skripty, notebooky, šablóny)
• reports/ (PDF/DOCX výstupy, figúry)
• config/ (konfigurácie, schémy, slovníky premenných)
• logs/ (behy, experimenty, audit trail)

Každý adresár by mal obsahovať krátky README.md s účelom, pravidlami ukladania a príkladmi názvov.

Pravidlá pre dáta a tabuľky: čitateľnosť a interoperabilita

• Formát: preferuj CSV/TSV s explicitným kódovaním UTF-8 a oddelovačom; vyhni sa binárnym formátom pre surové dáta, ak neexistuje dôvod.
• Hlavičky: jednoradové, bez medzier a diakritiky (participant_id, trial_no, rt_ms).
• Chýbajúce hodnoty: používaj NA alebo prázdne; ne miešaj 0 a NA.
• Jednotky a kódy: dokumentuj v data_dictionary.csv s popisom stĺpcov a jednotiek.
• Imutabilita raw: všetky zmeny dát musia byť skriptované a reprodukovateľné; nikdy neručne neupravuj raw/.

Verzovanie: od manuálneho v1, v2… k „single source of truth“

Úrovne verzovania podľa náročnosti:

1. Úroveň 1 – názvy súborov: v01, v02 v názve; vhodné pre dokumenty s nízkou mierou kolaborácie.
2. Úroveň 2 – priebežný „changelog“: súbor CHANGELOG.md s dátumom, zmenou a autorom; udržiava audit trail.
3. Úroveň 3 – verzovací systém: používaj systém na sledovanie zmien (commit, branch, tag), issue tracker a pull requesty pre kontrolu kvality.
4. Úroveň 4 – dátové verzie: verziuj aj dáta a modely (dataset v1.0, 1.1, 2.0) s DOI alebo hashom; jasne zviaž analýzu s verziou dát.

Tagovanie releasov: pre odovzdania používaj tagy v tvare YYYY-MM-DD-vX.Y a priraď binárne výstupy (PDF, ZIP) ako artefakty.

Konvencie verzovania: čo znamenajú čísla

• Major (X.0): zásadná zmena štruktúry alebo výsledkov; preruší spätnú kompatibilitu.
• Minor (X.Y): nové časti, rozšírenie analýz bez porušenia kompatibility.
• Patch (X.Y.Z): opravy chýb, drobné úpravy textu/figúr bez vplyvu na závery.

Changelog a audit trail: minimálna dokumentácia

Šablóna záznamu v CHANGELOG.md:

• [2025-10-03] v1.2 – doplnené kontroly kvality dát (autor: mj)
• [2025-09-28] v1.1 – prepracované figúry 2–3, normalizácia jednotiek
• [2025-09-20] v1.0 – prvé kompletné odovzdanie

Číselníky, metadáta a slovníky premenných

• Data dictionary: tabuľka so stĺpcami name, type, units, allowed_values, description.
• Katalóg datasetov: súbor datasets.csv s verziou, dátumom, zdrojom a hashom (napr. SHA-256) pre integritu.
• Protokol transformácií: popis pipeline od raw/ po processed/ s odkazmi na skripty.

Integrita a kontrola kvality: over, že súbory sú „tie isté“

• Kontrolné súčty: generuj a udržiavaj hash zoznamy (.sha256); po presune/žálohe over rovnakosť.
• Validačné skripty: automatické testy, ktoré kontrolujú tvar dát (počet stĺpcov, rozsahy, unikátne ID).
• Read-only raw: nastav oprávnenia tak, aby raw/ nebolo možné prepísať bežným workflowom.

Zálohy: praktická implementácia pravidla 3–2–1

• 3 kópie: originál + pracovná záloha + archívna záloha.
• 2 médiá: napr. interný disk a externý disk/objektové úložisko.
• 1 off-site: záloha mimo budovy alebo v inom cloude; chráni pred fyzickým rizikom.

Rytmus záloh: denné inkrementálne + týždenné plné; mesačný archív (immutable, WORM). Pravidelne testuj obnovu na vzorke (aspoň raz za štvrťrok).

Retencia a archívne politiky: čo držať a ako dlho

• Pracovné výstupy: udržuj posledných 5 minor verzií + všetky major verzie.
• Primárne dáta: podľa pravidiel projektu/inštitúcie, typicky 5–10 rokov od publikácie.
• Medziprodukty: mať možnosť znovugenerovať; ak sú ľahko reprodukovateľné, nearchivovať dlhodobo.

Názvoslovie figúr a tabuliek: konzistencia v publikáciách

• fig_01_metoda-diagram_v03_2025-10-03.png
• tab_02_popis-vzorky_v02_2025-09-28.csv

V texte a legendách referuj na čísla (Figura 2, Tabuľka 3) a uchovávaj mapu medzi číslovaním a súborom v reports/manifest.csv.

Spolupráca v tíme: kto a kedy mení čo

• Branchovanie: hlavná vetva (main) chránená; nové funkcie v feature/ vetvách, opravy v hotfix/.
• Review a „two-person rule“: kľúčové zmeny (dáta, metodika) vyžadujú recenziu druhou osobou.
• Štandardy commitov: správy typu type: stručný opis (data:, docs:, fix:, feat:).

Tabuľka rýchlych pravidiel (cheatsheet)

Oblasť	Pravidlo	Príklad
Názov súboru	Bez medzier, ISO dátum, verzia	projekt_kap1_mj_2025-10-03_v02_final.pdf
Dáta	Raw je nemenné, CSV UTF-8	data/raw/participants_2025-09-01.csv
Verzovanie	Tagy a changelog	v1.3 – doplnené figúry
Záloha	3–2–1 + test obnovy	mesačný WORM archív
Integrita	Hash súbory	processed.sha256
Dokumentácia	README v každom adresári	účel, pravidlá, príklady

Automatizácia rutín: minimum skriptov a plánovač

• Štartovací skript projektu: vytvorí adresárovú štruktúru, README.md, .gitignore, CHANGELOG.md.
• Export figúr: jednotné DPI, rozmery, názvoslovie; generuje manifest.
• Validátor dát: beží pred analýzou; zastaví pipeline pri porušení špecifikácie.
• Plánovač záloh: denné inkrementálne, týždenné plné; logy o úspechu/neúspechu a e-mailové upozornenia.

Bezpečnosť a citlivé údaje: minimalizácia rizika

• Oddelenie tajomstiev: nikdy neukladaj heslá a kľúče do repozitára; použi bezpečnostný trezor alebo variabilné prostredie.
• Anonymizácia/pseudonymizácia: pracuj s mapou identifikátorov mimo analýznych datasetov; logy nikdy nesmú obsahovať PII.
• Prístupové práva: princíp minimálnych oprávnení; audit prístupov kvartálne.

Reprodukcia a opakovateľnosť: od súborov k postupom

• Protokol prostredia: zoznam verzií softvéru a balíkov; exportuj konfigurácie.
• Spustiteľné pracovné postupy: každý hlavný výpočet spúšťajelný jedným príkazom s parametrami a pevnými seedmi.
• Deterministické výstupy: ukladaj stavy náhodných generátorov a konfigurácie experimentov.

Najčastejšie chyby a ako im predísť

• „final_final2.pdf“: zaveď verzie a tagy; nepoužívaj neurčité slová.
• Prepisovanie dát: raw je read-only; úpravy len cez skripty.
• Nekonzistentné názvy: vytvor tímový štandard a kontrolný skript, ktorý ho vynucuje.
• Zálohy bez obnovy: záloha neexistuje, kým neprebehne test obnovy.

Checklist dátovej hygieny pre odovzdanie projektu

1. Všetky súbory majú konzistentné, strojovo priateľské názvy s dátumom a verziou.
2. Adresáre obsahujú stručné README s pravidlami a príkladmi.
3. Existuje CHANGELOG a označený release pre odovzdanie.
4. Dáta v raw/ sú imutabilné a zdokumentované; processed/ má generované hashe.
5. Implementované zálohy 3–2–1 a evidovaný posledný test obnovy.
6. K dispozícii je slovník premenných a protokol transformácií.
7. Bezpečnostné tajomstvá nie sú v repozitári; prístupy sú auditované.

Disciplína, ktorá sa vypláca

Dátová hygiena nie je súbor „byrokratických“ krokov, ale investícia do rýchlosti, dôveryhodnosti a pohody pri práci. Jednoduché, no dôsledné pravidlá pomenovania, verzovania a záloh dramaticky znižujú riziká a skracujú čas na dohľadávanie a opravy. Zavedením týchto návykov do bežného dňa sa z ad hoc projektov stávajú transparentné a auditovateľné pracovné toky, ktoré zvládnu jednotlivci aj tímy.