TDM zásady

Čo je TDM (Text and Data Mining) a prečo naň myslieť pri AI/LLM a modernom SEO

Text and Data Mining (TDM) označuje techniky automatizovaného extrahovania poznatkov, štruktúr a vzorov z veľkých súborov textových a dátových zdrojov. V kontexte AI/LLM optimalizácie webov, AIO/AEO a moderného SEO je TDM základom: modely potrebujú dáta, ale ich zber a použitie musia rešpektovať právne, technické a etické zásady – od licenčných obmedzení, cez autorské právo a databázové práva, ochranu osobných údajov, až po integritu obsahu a kvalitu datasetov.

Terminológia a rámec: obsah, práva, povolenia

• Obsah: texty, obrázky, videá, zvuk, metaúdaje, štruktúrované dáta (JSON-LD, schema.org), logy a iné signály.
• Právny titul: licencia, zákonná výnimka/povolenie, súhlas alebo iný oprávnený dôvod použitia.
• Prístup vs. použitie: to, že sa k obsahu viete dostať (technicky), neznamená, že ho smiete ťažiť (právne).
• Výstup: odvodené dielo, modelové váhy, embeddingy, štatistiky; každý má iné riziká z hľadiska práv a citlivosti.

TDM a autorské právo: všeobecné zásady

• Rešpektujte licencie: otvorené licencie (CC BY, CC BY-SA, CC0) majú odlišné požiadavky (napr. atribúcia, zdieľanie za rovnakých podmienok).
• Rozlišujte diela a fakty: fakty a idey nie sú chránené ako diela, ale špecifický výber/úprava (napr. databáza) chránené byť môžu.
• Databázové práva: osobitná ochrana databáz (sui generis) sa môže uplatniť aj mimo klasického autorského diela.
• Dobrá viera a proporcionalita: minimalizujte objem kopírovaného materiálu a udržiavajte logy o pôvode (data lineage).

Výnimky a obmedzenia pre TDM (vysoká úroveň, neutralizácia jurisdikcií)

Rôzne jurisdikcie rozlišujú medzi výnimkami pre výskumníkov a všeobecnými výnimkami za určitých podmienok. Praktický dôsledok pre AI/LLM tímy:

• Overte status “kto sme”: akademický výskum, kultúrne inštitúcie, komerčný subjekt – môžu platiť iné pravidlá.
• Overte “opt-out/rezerváciu” práva: ak má držiteľ práv možnosť rezervovať si TDM (strojovo čitateľne), rešpektujte ju.
• Implementujte “policy enforcement”: crawler a pipeline musia čítať signály (robots/meta/headers) a konať podľa nich.

Strojovo čitateľné rezervácie a signály pre TDM

V praxi sa na vyjadrenie želaní držiteľov práv používajú kombinácie webových signálov. Tie nie sú plne univerzálne, no predstavujú de-facto štandardy správania zodpovedných crawlerov a TDM systémov:

• robots.txt: pravidlá User-agent a Disallow pre crawlerov; nie je to licencia, ale signál prístupu. Pre TDM je vhodné čítať aj agent-špecifické pravidlá (napr. dedikované agent stringy AI crawlerov).
• Meta tagy v HTML: <meta name="robots"> (indexovanie/snippety), a aj neformálne dohody pre AI (napr. signály typu “noai”), ktoré by mali rešpektovať “slušní” crawleri – kým sa neurobí formálny štandard, je to o politike dodávateľov.
• HTTP hlavičky (X-Robots-Tag): uplatniteľné na ne-HTML súbory (PDF, obrázky) a globálne pravidlá.
• Sitemapy a licenčné príznaky: pri mediálnych weboch a katalógoch je vhodné uvádzať licenčné podmienky pri URL (aj vo feedoch/API).

Princíp “opt-out” a jeho dôsledky

Ak držiteľ práv vyjadrí strojovo čitateľnú rezerváciu proti TDM (opt-out), robustný TDM systém musí:

1. Nezhromažďovať obsah z dotknutých URL/domén (crawler enforcement).
2. Odstrániť už zozbierané dáta z datasetov (retroaktívna hygiena).
3. Revalidovať modelové sety/embeddingy, ak hrozí únik chránenej expresie.

Licenčné modely a due diligence

• Licencie “open content”: verifikujte presné znenie, atribúciu, podmienky komerčného použitia a povinnosti pri odvodených dielach.
• Komerčné licencie / dáta zmluvou: doložiteľný súhlas na TDM, definované povolené použitia (tréning, inferencia, rešerše), záväzok na odstránenie na žiadosť.
• API Terms of Service: mnohé API explicitne zakazujú TDM/tréning LLM; rešpektujte ToS a nastavte limity ukladania.

Ochrana osobných údajov v TDM

• Minimalizácia údajov: zbierajte len to, čo potrebujete na cieľ (právny základ, účel viazanosť).
• Pseudonymizácia / anonymizácia: odstraňujte identifikátory, používajte detekciu PII a filtračné pravidlá.
• Práva dotknutých osôb: vybavujte žiadosti o opravu/odstránenie v datasetoch aj v odvodených systémoch (napr. retrievery).
• Geografické obmedzenia: pri prenose údajov dodržujte režimy prenosu a zmluvné doložky.

Integrita a kvalita datasetu

• Proveniencia (data lineage): logujte pôvod zdroja, čas, licenciu, signály prístupu a verziu obsahu.
• Dedup a decontamination: znižujte únik memorovaných pasáží a presných kópií test setov; chráňte proti dátovému leaku.
• Bias a reprezentatívnosť: auditujte zloženie domén, jazykov a štýlov; korigujte skreslenia.
• Obsahové filtre: vylučujte malware, spam, pornografiu, nenávistný obsah, nezákonné materiály.

Technické zásady pre TDM crawler a pipeline

1. Identifikácia agenta: používajte jasný User-Agent s kontaktom a policy URL; rešpektujte robots.txt.
2. Rate limiting & etiketa: nepreťažujte weby, rešpektujte Crawl-delay (ak sa používa) a štandardy ohľaduplnosti.
3. Policy enforcement: pred sťahovaním čítajte a cacheujte stav robots.txt, meta a hlavičiek; aplikujte “denylist/allowlist”.
4. Canonical a duplicity: rešpektujte rel="canonical" pri agregácii; znižujte duplicity a parameter-spam.
5. Šifrovanie a bezpečnosť: prenášajte a ukladajte dáta bezpečne, auditujte prístupy.
6. Obsahové vyňatie: implementujte pravidlá odstránenia častí (napr. elementy s data-nosnippet alebo sekcie so špecifickou licenciou).

Policy-vené signály: príklady implementácie

• robots.txt (blokovanie dedikovaného AI agenta):

  User-agent: MyAICrawler Disallow: /private/ Disallow: /no-tdm/ Allow: /public/

• HTTP hlavička pre PDF:

  X-Robots-Tag: noindex, noarchive

• Meta pre riadenie snippetu (neblokuje indexáciu):

  <meta name="robots" content="index,follow, max-snippet:160, max-image-preview:large">

• Strojovo čitateľný “TDM opt-out” (neformálny signál):

  <meta name="permissions" content="ai: no-train; tdm: opt-out">

  Poznámka: názvy a formát takýchto polí sa líšia; dôležité je, aby ich vaši crawleri vedeli čítať a rešpektovať.

Governance: procesy, roly a zodpovednosti

• Data Steward: vlastní pravidlá akvizície, filtrácie, licenčné zápisy a audity.
• Legal & Compliance: verifikuje právny titul, ToS, jurisdikčné dopady a opt-out proces.
• Security & Privacy: riadi PII sanitizáciu, prístupové práva a incident response.
• ML Ops: uplatňuje “data hygiene” v tréningovej pipeline a eviduje reproducibilitu.

Etika TDM: rešpekt k autorom a ekosystému

• Recipročnosť: odkazujte na zdroje, zachovávajte atribúcie, podporujte otvorené dáta tam, kde je to možné.
• Transparentnosť: publikujte “dataset cards”/“model cards” so stručným popisom pôvodu a obmedzení.
• Citlivé domény: zdravotníctvo, deti, súkromné komunity – uplatnite prísnejšie prahy, explicitné súhlasy, alebo úplné vylúčenie.

Kontrolný zoznam (Checklist) pre TDM projekt

1. Právny základ na každý dataset (licencia, výnimka, súhlas, ToS kompatibilita) je zdokumentovaný?
2. Opt-out mechanizmus (robots/meta/headers) sa rešpektuje a je technicky vynucovaný?
3. PII ochrana (detekcia, maskovanie, mazanie na žiadosť) je zavedená?
4. Data lineage a audit trail (čas, zdroj, licencia, hash) sú plne dohľadateľné?
5. Decontamination a deduplikácia prebieha pred tréningom?
6. Rate limiting a ohľaduplné prehľadávanie sú nastavené?
7. Incident response pre nárok držiteľa práv (takedown, retraining policy) je pripravený?

TDM a AIO/AEO: dopady na viditeľnosť a dôveryhodnosť

• Stránky s jasnými licenciami (napr. otvorené učené texty s atribúciou) majú vyššiu šancu byť legálne použiteľné v odpovediach AI a vyhľadávačov.
• Správne signály (sitemapa, robots, meta) znižujú riziko nežiadaného použitia obsahu alebo naopak pomáhajú s jeho kontrolovanou exponovanosťou.
• Štruktúrované dáta (schema.org) uľahčujú extrakciu faktov bez porušenia integrálnych častí diel.

Praktická architektúra TDM: od zdroja po tréning

1. Discovery: zoznam zdrojov, prioritizácia, čítanie robots.txt, whitelists/blacklists.
2. Acquisition: crawler s policy enforcement, parsovanie (HTML, PDF), extrakcia metadát, licenčných polí.
3. Sanitization: PII detekcia, konverzia formátov, dedup, toxicita, kvalitatívne skóre.
4. Catalog: dátový katalóg s atribúciou, hashmi, fingerprintami a checksumami.
5. Training interface: sampling s váhami podľa kvality/licencie, decontamination voči eval setom.
6. Governance & audit: periodické revízie, opt-out apply, práva na vymazanie.

Vzory komunikácie pre držiteľov práv a prevádzkovateľov AI

• Pre držiteľov práv: uveďte jasné licenčné podmienky, strojovo čitateľné signály a preferovaný kontakt pre TDM a takedown.
• Pre AI prevádzkovateľov: zverejnite politiku rešpektovania signálov, reakčné časy na žiadosti a možnosti opt-out.

Minimalizácia rizika pri publikovaní výstupov

• Memorization tests: testujte model na schopnosť citovať tréningový text; zavediete antiplagiátorské a anti-leak filtre.
• Attribution: pri faktických výstupoch preferujte návrat zdrojových odkazov či citácií.
• Bezpečnostné rozhrania: obmedzenia na dávky, rýchlosť, aj obsahové zásady pre generovanie.

Zhrnutie

TDM zásady pre AI/LLM sú súborom právnych, technických a etických pravidiel, ktoré umožňujú ťažiť dáta v súlade s právami autorov, ochranou súkromia a kvalitou ekosystému. Kľúčom je kombinácia policy enforcement (robots/meta/headers), licenčnej due diligence, hygieny datasetov, PII ochrany a auditovateľnosti. Pri dôslednej implementácii získate robustný, udržateľný základ pre tréning a nasadzovanie moderných modelov, ktorý obstojí právne aj reputačne.