Rubrika: Technologie & AI Autor: V Délka čtení: ~27 min Prameny a další četba: 22 položek Témata: AI, vzdělávání, akademická integrita, detekce textu, odpovědnost SEO / pracovní titulek: Jak poznat text napsaný umělou inteligencí?
Otázka zní: jak poznat text napsaný umělou inteligencí? Zní jednoduše jen do chvíle, než si všimneme, že neporovnáváme jednu věc. Statistické skóre není původ. Watermark není detektor libovolného výstupu z chatbotu. Nízké FPR v laboratoři není nízké FPR u nerodilého pisatele. Turnitin Similarity není Turnitin AI writing. Teprve když se tyto čtyři věci oddělí, jde číst, co klasifikátory k září 2026 umí, co o nich říkají sdílené testy a proč české veřejné politiky Univerzity Karlovy a ČVUT neberou detektor jako důkaz původu.
1. Škola, dodavatel a laboratoř neměří tutéž věc
Představme si komisi na vysoké škole. Vyučující přinese text, který se mu zdá příliš hladký. Student tvrdí, že pracoval sám, jen si nechal opravit jazyk. Studijní oddělení chce jasné pravidlo, protože případů přibývá a každé rozhodnutí musí unést odvolání. Dodavatel ukazuje procento v dashboardu. Laboratoř ukazuje tabulku přesnosti na sdílené sadě. Univerzita Karlova ve veřejném doporučení píše, že technicky spolehlivý způsob odhalení generativní AI neexistuje [12]. ČVUT v metodickém pokynu z roku 2023 zapovídá použití AI nástrojů k detekci studentských řešení kvůli falešným pozitivům i falešným negativům [13].
Na první pohled je to spor, zda „umíme poznat AI“. Ve skutečnosti každý popisuje jiný objekt. Dodavatel měří flag podle svého modelu a svého prahu. Laboratoř měří výkon na určité sadě textů, v určitém jazyce, vůči určitým útokům a s určitou kalibrací. Univerzita rozhoduje, zda může číslo vstoupit do trestu konkrétního člověka. Student nenese následky za průměrnou přesnost nástroje. Nese následky za závěr o jednom textu, v jednom řízení, s jednou možností obrany.
Proto mohou být všichni částečně správně a společné rozhodnutí přesto špatně. Turnitin má pravdu, že jeho nástroj vrací číselné skóre a že v květnu 2023 zpracoval velký provozní objem odevzdávek [10]. Výzkumníci mají pravdu, že detektory lze měřit a že některé signály nesou informaci. UK a ČVUT mají pravdu, že disciplinární verdikt není laboratorní graf. Jakmile se procento z dashboardu přeloží na větu „student podváděl“, změnil se předmět měření. A právě tam vzniká nejdražší chyba.
Detektor měří statistiku. Nerozhoduje, kdo text napsal.
— Jiný Kontext
2. Jedno skóre má nejméně pět vrstev
Jedno číslo na konci analýzy vypadá jednoduše. Jenže vzniká v řetězci vrstev. První je signál. Může jít o perplexitu, klasifikátor, watermark, porovnání s uloženým výstupem nebo metadata. Každý signál odpovídá na jinou otázku a každý selhává jinak. Perplexita trestá neobvyklý nebo naopak příliš předvídatelný jazyk. Klasifikátor se učí hranici mezi sadami. Watermark hledá statistickou stopu, kterou musel generátor předem vložit. Metadata pomohou jen tehdy, když existují a nebyla oddělena od textu.
Druhá vrstva je práh. Nástroj může být užitečný při jednom nastavení a nebezpečný při jiném. Škola nepotřebuje jen vědět, že klasifikátor má pěkný graf. Potřebuje znát falešný poplach u jednotlivce, protože trest dopadá na člověka, ne na průměr. RAID proto kalibruje true positive rate při false positive rate rovné 5 %. To je přesnější než nekontrolovaný výchozí posuvník, ale ani tak to není omluvenka pro disciplinární automat [6].
Třetí vrstva je populace textu. Anglická esej není česká seminární práce. Kód není úvod diplomky. Text rodilého pisatele není text člověka, který píše druhým jazykem. Přeložený odstavec není důkaz změny autora. Změna domény může změnit pořadí nástrojů, protože model nepoznává autora. Poznává podobnost k tomu, co se naučil jako lidské a strojové.
Čtvrtá vrstva je úprava. Text může být parafrázován, přeložen, redigován nebo smíchán s lidskou prací. Tento článek nepopisuje postup, jak obcházet školní pravidla. Popisuje jen to, že úprava mění statistiku. Pokud se mění signál a nemění se autorství, skóre nemůže být pečetí původu.
Pátá vrstva je rozhodnutí. Stejný výsledek může být orientačním podnětem pro rozhovor, ale nesmí být samostatným důkazem podvodu. Tato vrstevnatost není detail pro metodology. Určuje, zda číslo patří do výchovného rozhovoru, do úpravy pravidel, nebo do řízení, které může poškodit studenta.
3. Statistika podobnosti není pečeť původu
Klasifikátor neviděl člověka u klávesnice. Neví, zda student napsal první verzi, použil model k osnově, nechal si opravit angličtinu, překládal text tam a zpět, nebo převzal hotový výstup. Vidí text a porovnává jeho vlastnosti s tím, co ve své sadě považuje za lidské a strojové. Z toho může vzniknout podezření. Nemůže z toho samo vzniknout autorství.
To není slovní hra. Původ textu je historická otázka. Kdo co udělal, kdy, v jakém rozsahu a s jakou mírou samostatnosti. Statistické skóre je otázka rozdělení. Jak moc se text podobá jedné třídě proti druhé. Mezi těmito otázkami je most, ale není automatický. Most tvoří znalost procesu, zadání, průběžné verze, konzultace, prohlášení, obhajoba a možnost vysvětlit práci.
DetectGPT je užitečný příklad. Vychází z myšlenky, že strojově generovaný text může mít odlišnou pravděpodobnostní křivost než lidský text [15]. To je elegantní statistická hypotéza. Není to záznam původu souboru. Jakmile se mění model, jazyk, doména nebo úprava textu, mění se i vlastnosti signálu. Někdy pomůže. Někdy se zlomí. Závěr „podobá se výstupu modelu“ není totéž jako „tento člověk nepřiměřeně použil AI“.
Škola proto potřebuje rozlišit tři věty. První: nástroj označil text. Druhá: text má znaky, které stojí za rozhovor. Třetí: student porušil pravidla. První větu může říci software. Druhá vyžaduje učitele. Třetí vyžaduje proces.
4. Watermark není detektor libovolného chatbotu
Watermark v textu zní jako řešení. Generátor by při tvorbě vybíral některá slova s malým statistickým posunem a detektor by později ověřil, zda posun v textu zůstal. Kirchenbauer a kolegové popsali schéma, které podle paperu z roku 2023 umožňuje detekci už z krátkého úseku, v laboratorním nastavení uváděného jako „as few as“ 25 tokenů [3]. To je důležitý výzkumný výsledek. Není to univerzální detektor textu z internetu.
Watermark funguje jen tehdy, když generátor konkrétní schéma opravdu používal, když detektor zná potřebnou konfiguraci a když text neprošel změnou, která stopu rozbije. Pokud někdo vloží do detektoru běžný výstup z veřejného chatbotu, u něhož není veřejně ověřitelný watermark nasazen a publikován pro kontrolu, nehledá pečeť. Hledá statistickou podobnost. To je jiný nástroj.
K září 2026 nelze z veřejných materiálů vyvodit, že hlavní spotřebitelské chatovací služby dávají běžnému uživateli ověřitelný textový watermark podle tohoto schématu. OpenAI po stažení svého klasifikátoru mluví o původu u jiných modalit a o širších otázkách provenance, ale nevrátila veřejný spolehlivý textový klasifikátor, který by sám řešil původ seminární práce [1].
Z toho neplyne, že watermarky nemají cenu. Plyne z toho, že jejich cena je jiná. Mohou být užitečné v uzavřeném systému, který kontroluje generování i ověření. Ve veřejném a smíšeném prostředí, kde text cestuje přes editory, překlady, kopírování a lidskou revizi, se z watermarku nestává soudní razítko.
5. Nízké FPR v laboratoři není nízké FPR u nerodilého pisatele
False positive rate vypadá jako technický údaj. Ve škole je to však pravděpodobnost, že bude nevinný text označen jako podezřelý. A tato pravděpodobnost není vlastnost nástroje sama o sobě. Je to vlastnost nástroje na určité populaci textů.
Liang a kolegové v roce 2023 zkoumali 91 lidských TOEFL esejí a 88 esejí žáků osmé třídy ve Spojených státech. U sedmi detektorů, mezi nimi i GPTZero, naměřili u TOEFL esejí průměrný false positive rate 61,22 %. Osmnáct z 91 TOEFL esejí, tedy 19,78 %, označilo všech sedm detektorů. Alespoň jeden detektor označil 89 z 91 esejí, tedy 97,80 % [8]. To je silné číslo, ale má přesné hranice. Měří lidské anglické TOEFL eseje nerodilých pisatelů v přístupu k nástrojům z 15. března 2023. Neměří české seminárky v roce 2026.
Přesto je důležité. Ukazuje, že populace pisatelů je součást měření. Omezenější slovník, jednodušší větná stavba nebo naučený školní styl mohou vypadat „modelově“, aniž by text psal model. Trestat takový signál znamená trestat styl, jazykové zázemí nebo žánr. To je přesně ten druh chyby, který instituce nesmí schovat za slovo objektivita.
Z toho neplyne, že každý detektor dnes dělá stejnou chybu ve stejné míře. Plyne z toho, že nestačí převzít FPR z anglického nebo dodavatelského testu a použít jej na české studenty. Kdo chce číslo použít v řízení, musí ukázat jeho platnost pro daný jazyk, žánr, délku a populaci. Bez toho je nízké FPR v prezentaci jen vzdálený údaj.
6. Turnitin Similarity není Turnitin AI writing
Učitelé znají kontrolu podobnosti s prameny. Ta má svůj problém, ale aspoň měří jinou a srozumitelnou věc: zda se text shoduje s jiným textem. Turnitin Similarity není totéž co Turnitin AI writing. Shoda s pramenem může ukázat opis, špatnou citaci nebo běžnou frázi. AI writing skóre se ptá, zda část textu vypadá jako strojově psaná. Míchat tyto výsledky v jednom trestu je chyba objektu.
Příklad je prostý. Student může poctivě citovat zdroj a mít vysokou podobnost, protože bibliografie, zákonné formulace nebo zadání jsou stejné. Jiný student může text parafrázovat tak, že podobnost klesne, ale autorství zůstane problematické. Třetí student může psát sám, ale v žánru, který je formální, opakující se a školsky uhlazený. Každý případ potřebuje jinou otázku.
Turnitin sám ve svých materiálech rozlišuje prahy a omezení. U AI writing modelu uvádí minimální délku 300 slov a popisuje, jak zachází s nízkým rozsahem označení [11]. V provozním textu z roku 2023 mluví o document-level false positive rate menším než 1 % pro dokumenty nad 20 % AI psaní na interním testu 800 000 akademických textů před ChatGPT, a o sentence-level false positive rate kolem 4 % [10]. To jsou čísla dodavatele, s definovaným prahem a vlastní sadou. Nejsou to důkazní pravidla české školy.
Správná administrativní věta proto nezní „Turnitin ukázal procento, případ je jasný“. Zní: „Nástroj v jedné úloze označil text; musíme zjistit, co měřil, zda sedí délka, jazyk, práh a zda existuje nezávislá procesní opora.“ To je pomalejší. Ale škola, která trestá rychleji než rozlišuje, netrestá přesnost. Trestá pohodlí.
7. Čtrnáct nástrojů na čtyřiapadesáti dokumentech není provozní záruka
Weber-Wulff a kolegové testovali v zimě a na jaře 2023 celkem 14 detektorů, z toho 12 veřejných a také Turnitin a PlagiarismCheck. Sada měla 9 dokumentů v 6 třídách, tedy 54 dokumentů, v angličtině. V přísném binary řezu nedosáhl žádný nástroj přes 80 % accuracy; nejlepší Turnitin měl 76 %. V semi-binary řezu měl 79 % a v logaritmickém hodnocení 81 % [5].
Tato studie má omezení. Sada je malá. Jazyk je angličtina. Nástroje se od roku 2023 měnily. Není to verdikt, že konkrétní verze konkrétního nástroje v roce 2026 neumí nic užitečného. Je to však dobře čitelná ukázka něčeho jiného: jak snadno se detektor chová různě podle třídy textu a podle způsobu hodnocení.
Malá sdílená metodika má výhodu v tom, že ukazuje mechaniku. Přesnost není jedna věc. Binary výsledek trestá jiné selhání než měkčí klasifikace. Přeložené texty, lidsky upravené texty a smíšené texty nejsou jen šum. Jsou přesně ty situace, v nichž školy žijí. Student nemusí odevzdávat čistý výstup modelu. Může mít vlastní koncept, jazykovou korekturu, překlad, konzultaci a citace. Právě v těchto mezistavech je disciplinární rozhodnutí nejtěžší.
Proto čtrnáct nástrojů na čtyřiapadesáti dokumentech není provozní záruka. Je to varování před překladem laboratorní tabulky do řízení o jednom člověku. Kdo chce používat detektor odpovědně, musí vědět, jak vypadá chyba na vlastních textech. Ne na textu z reklamy.
8. RAID ukazuje pád při změně samplování. Není to česká diplomka
RAID je větší a tvrdší test. Dugan a kolegové v ACL 2024 popsali sdílený benchmark pro robustní evaluaci detektorů strojově generovaného textu. Dataset obsahuje více než 6 milionů generací, 11 modelů, 8 domén, 11 adversarial attacks a 4 decoding strategie; hodnotí 8 otevřených a 4 uzavřené detektory [6]. Autoři sledují true positive rate při false positive rate 5 %. To je důležité, protože bez kalibrace lze vypadat dobře na metrice, která pro školu není přijatelná.
RAID zároveň ukazuje křehkost. Repetition penalty podle paperu snižuje accuracy až o 32 procentních bodů [6]. U naivních prahů se objevuje až 1,7 % false positive rate u closed-source nástrojů; open metriky jsou často výrazně výš [6]. Tato čísla mají přesné omezení. Patří k danému benchmarku, modelům, doménám a nastavením. Nejsou přímým měřením české diplomové práce.
Právě proto jsou užitečná. Neříkají: „žádný detektor nikdy nepoužívejte“. Říkají: „změna samplování, domény a úpravy mění výsledek natolik, že default práh není důkaz.“ RAID-extra obsahuje i české a německé zpravodajství a kód [7]. To ukazuje, že existuje českojazyčný stres test v jiné doméně. Neznamená to, že někdo validoval disciplinární použití na českých seminárních a závěrečných pracích.
Veřejný benchmark je mapa. Není to rozsudek. Pomůže zjistit, které signály stojí za pozornost, kde nástroje padají a jak se chovají při změně podmínek. Rozhodnutí o studentovi musí stát jinde.
9. Stažený klasifikátor je důkaz limitu. Není důkaz, že nový nástroj limity nemá
OpenAI v lednu 2023 zveřejnila AI Text Classifier. V červenci téhož roku jej stáhla pro nízkou přesnost [1]. Na anglické challenge sadě uváděla, že nástroj správně označil 26 % AI textů jako „likely AI-written“ a falešně označil 9 % lidských textů [1]. Práh byl nastaven opatrně, aby falešných pozitiv nebylo příliš. Cena byla jasná: mnoho AI textů nástroj minul.
Tento příklad bývá používán příliš rychle. Jedna strana z něj udělá důkaz, že detekce jako obor nemá cenu. Druhá řekne, že starý nástroj už je minulost a není třeba se jím zabývat. Ani jedna věta nestačí. Jde o audit jednoho nástroje jedné firmy, jedné anglické sady a jednoho období. Není to měření češtiny, kódu, krátkých textů ani smíšeného autorství.
Zároveň je to důkaz limitu, který nelze zamést. Když i velký poskytovatel stáhne veřejný klasifikátor, protože není dostatečně přesný, nemůže škola bez další opory tvrdit, že jiné procento z jiné služby stačí k vině. Nový nástroj může být lepší. Musí to však ukázat na příslušné populaci a při prahu, který odpovídá následkům.
Užitečná otázka nezní, zda se detektory zlepšují. Jistě se mění. Zní, zda jejich chyba zůstává přijatelná pro konkrétní rozhodnutí. Pro orientační upozornění může být hranice jiná než pro disciplinární řízení. Pro rozhovor se studentem jiná než pro anulování práce. Slovo „podezření“ a slovo „důkaz“ nesmějí sdílet stejný posuvník.
10. Parafráze láme statistiku. Tento text není návod do školy
Sadasivan a kolegové v práci Can AI-Generated Text be Reliably Detected? ukazují, že parafrázování může snížit výkon detektorů i watermarku [2]. U watermarkovaného výstupu v experimentu na přibližně 100 pasážích XSum klesla accuracy detektoru po PEGASUS parafrázi z 97 % na 80 % a perplexita vzrostla o 3,5 [2]. U DetectGPT na 200 pasážích XSum, generovaných GPT-2 Medium a parafrázovaných modelem T5, kleslo AUROC z 96,5 % na 59,8 % [2]. Při rekurzivní parafrázi DIPPER uvádí dosie pokles z 82 % na 18 % AUROC [2][16].
Tato čísla nejsou recept. Neříkají studentovi, co má udělat. Neříkají ani škole, že každý upravený text je podezřelý. Říkají, že statistický signál lze změnit bez jednoduché změny historického původu. Text může projít strojem, člověkem, překladem a redakcí. Autorství se nestane binární jen proto, že nástroj vrací binární flag.
AUROC 50 % odpovídá náhodě. Když se výsledek po úpravě blíží náhodnému rozlišení nebo padá pod něj, je špatné opřít trest o představu, že skóre drží stabilně. Ještě horší je myslet si, že nízké skóre automaticky očistí a vysoké skóre automaticky usvědčí. Obě chyby mají stejný kořen: zaměňují statistickou podobnost za původ.
Proto má být parafráze v článku o detekci zmíněna opatrně. Ne jako návod k obcházení. Jako test odolnosti tvrzení. Pokud malá změna formulace významně mění výsledek, výsledek není pečeť. Je to signál s omezením.
11. Prohlášení o užití není detekce
Některé školy reagují na generativní AI povinným prohlášením. To je jiná věc než detekce. Prohlášení neříká, že umíme zpětně rozpoznat každé použití modelu. Říká, že autor má popsat svoji práci a nést odpovědnost za způsob použití nástroje.
Fakulta humanitních studií UK v opatření děkanky č. 3/2026 zavádí povinné prohlášení o využití generativní AI v závěrečné práci [14]. ČVUT ve svých materiálech pracuje s prohlášením o umělé inteligenci v závěrečných pracích [20][21]. To není černá skříňka. Je to procesní prvek. Nutí autora rozlišit rešerši, osnovu, jazykovou korekturu, generování textu a vlastní odpovědnost.
AI Act v článku 50 a související FAQ Evropské komise řeší transparentní povinnosti u určitých typů výstupů a textů ve veřejném zájmu [22]. Neřeší tím původ každé seminární práce. Není to univerzitní detektor. Je to právní rámec pro označování a transparentnost v jiném rozhodovacím prostoru.
Prohlášení tedy může být rozumné. Není to náhrada důkazu. Pomáhá nastavit pravidla, zlepšit rozhovor mezi vedoucím a studentem a předem říci, co je dovoleno. Pokud se však porušení řeší zpětně, nestačí porovnat prohlášení s procentem nástroje. Je třeba číst práci, sledovat proces a ptát se na věci, které autor práce má umět obhájit.
12. Karlova univerzita detektor jako důkaz nebere. ČVUT ho k detekci zakazuje
Veřejné české politiky jsou v tomto bodě střízlivější než mnoho debat. Univerzita Karlova ve svém doporučení k závěrečným pracím uvádí, že technicky spolehlivý způsob odhalení generativní AI neexistuje [12]. ČVUT v metodickém pokynu č. 5/2023 uvádí, že se AI nástroje k detekci studentských řešení nemají používat, právě kvůli falešným pozitivům a falešným negativům [13]. Pozdější materiály ČVUT pracují spíše s prohlášením o užití UI než s povýšením detektoru na důkaz [21].
To neznamená, že školy rezignují na akademickou integritu. Znamená to, že ji nehledají v jedné černé skříňce. Vedoucí práce může znát vývoj textu, konzultace, literaturu, formulaci problému a schopnost studenta obhájit postup. Komise může zkoumat, zda student rozumí vlastním tvrzením. Pravidla mohou rozlišit dovolenou jazykovou pomoc od nedovoleného převzetí výstupu.
Národní technická knihovna v kontextu AI nástrojů pro výzkum upozorňuje, že detektory jsou orientační [19]. To je přesné slovo. Orientační neznamená zbytečné. Znamená, že výsledek ukazuje směr pro další otázku. Ne nahrazuje odpověď.
V disciplinárním kontextu je tato zdrženlivost důležitá i lidsky. Falešný poplach není jen chyba v tabulce. Je to obvinění člověka z nepoctivosti. A takové obvinění potřebuje víc než statistiku podobnosti.
13. Flag nad dvacet procent není podíl podvodů
Turnitin v květnu 2023 uvedl, že během 7 týdnů po náhledu detektoru zpracoval 38,5 milionu odevzdávek. Z nich 9,6 % mělo skóre nad 20 % AI psaní a 3,5 % mělo skóre 80 až 100 % AI psaní [10]. Tato čísla často svádějí k jednoduché větě: tolik studentů podvádí. To by byl špatný překlad.
Měřenou jednotkou jsou odevzdávky v systému Turnitin, včetně úloh, kde mohla být AI povolena nebo kde použití nástroje mělo být přiznané. Skóre nad 20 % je flag podle nástroje, ne závěr o porušení pravidel. Dokument s vysokým skóre může být případ k ověření. Není to sám o sobě spis.
Dodavatel zároveň pracuje s vlastním interním testem 800 000 akademických textů před ChatGPT a pro dokumenty nad 20 % AI psaní uvádí document-level false positive rate menší než 1 % [10]. I toto číslo má hranici. Platí pro dodavatelskou metodiku, konkrétní práh a sadu. U nízkých hodnot sám Turnitin výsledky relativizoval a v dokumentaci uvádí omezení pro kratší texty [11].
Z toho plyne jednoduché pravidlo: flag není podíl podvodů. Je to administrativní signál. Pokud jej škola použije k rozhovoru, musí jej oddělit od viny. Pokud jej použije k trestu, musí mít další oporu. Jinak se z orientace stane rozsudek.
14. Nejlepší rozhodnutí je to, jehož falešný poplach unesete
U nástroje se často ptáme, jak často zachytí AI text. U instituce je stejně důležité, jak často poškodí lidský text. Následující schéma není žebříček nástrojů. Je to mapa chyb, které musí škola předem pojmenovat.
| Druh selhání | Jak vypadá | Jak testovat | Co omezí škodu |
|---|---|---|---|
| Skóre jako původ | GPTZero nebo Turnitin se přeloží na větu „viník“ | Dva detektory na známém lidském textu; sledovat neshodu | Detektor mimo trest, prohlášení a obhajoba |
| Laboratorní FPR na jinou populaci | TOEFL esej je označena jako AI | Liang: populace pisatele je část měření [8] | Nečíst anglické FPR jako české; chránit nerodilé pisatele |
| Similarity jako AI writing | Shoda s pramenem je čtena jako strojové autorství | Oddělit nástroje, výstupy a závěry | Dva sloupce, dvě otázky, dvě pravidla |
| Default práh | „99 % přesnost“ bez znalosti prahu a sady | RAID: TPR při FPR 5 % [6] | Kalibrace a zákaz automatického trestu |
| Krátký text jako diplomka | Odstavec je hodnocen stejným způsobem jako dlouhá práce | Kontrola minima 300 slov u Turnitinu [11] | Pod prahem nástroje nesoudit |
Ilustrační schéma: Detektor stojí v prvním sloupci, populace textu ve druhém a rozhodnutí školy ve třetím. Šipka z prvního sloupce do třetího nevede přímo. Vede přes ověření, obhajobu a pravidla.
Nejlepší rozhodnutí tedy není to, které co nejrychleji uzavře případ. Je to rozhodnutí, jehož chybu lze vysvětlit, opravit a lidsky unést. U nízkorizikového použití může detektor pomoci seřadit texty k ruční kontrole. U trestu musí být práh přísnější, protože falešný poplach není jen technická ztráta. Je to zásah do reputace.
15. Text, jehož původ znáte, řekne víc než procento dodavatele
Praktický test nemusí být složitý. Nemá dokazovat, že někdo podváděl. Má ukázat, zda instituce rozumí vlastnímu nástroji. Vezměte text, jehož původ znáte: vlastní odstavec napsaný před nástupem ChatGPT, archivovaný text učitele, starou studentskou práci s jasným datem. Pusťte jej do dvou detektorů. Pokud se výsledky liší, není to spor značek. Je to upozornění, že skóre není původ.
Jak testovat detektor na textu, jehož původ znáte
Stejný známý lidský text lze nechat projít překladem tam a zpět. Weber-Wulff a kolegové měli v sadě třídu strojově přeložených textů [5]. Překlad mění statistiku, ale nemění člověka, který původní text napsal. Pokud se po překladu objeví flag, škola vidí rozdíl mezi změnou povrchu a změnou autorství.
Třetí test je délka. OpenAI i Turnitin spojovaly své limity se spolehlivostí na dostatečně dlouhém textu; Turnitin uvádí minimum 300 slov [1][11]. Krátký odstavec, abstrakt nebo odpověď v testu nelze číst jako diplomovou práci. Je to jiná jednotka měření.
Tři testy před trestem
První test je neshoda dvou nástrojů na známém lidském textu. Druhý je změna skóre po překladu známého lidského textu. Třetí je délka pod prahem nástroje. Ani jeden test neříká, kdo podváděl. Všechny tři říkají, zda je skóre schopné nést váhu, kterou na něj instituce klade.
Před disciplinárním použitím
Před trestem musí přijít otázky, které se netýkají jen nástroje. Existují průběžné verze? Umí student vysvětlit literaturu? Sedí styl s předchozí prací, aniž by se z toho dělala pseudověda? Bylo použití AI v zadání povoleno, omezeno nebo zakázáno? Bylo pravidlo jasné před odevzdáním? Pokud na tyto otázky odpověď chybí, procento ji nedoplní.
Neshoda dvou nástrojů na známém textu není spor značek. Je to důkaz, že skóre není původ.
— Jiný Kontext
16. Česky neextrapolujte anglické FPR
Čeština není jen angličtina s diakritikou. Má jiné skloňování, slovosled, fráze, žánrové zvyklosti i školní styl. Pokud je detektor trénován a testován převážně na anglických textech, nelze jeho čísla prostě přenést na českou seminární práci. RAID-extra ukazuje existenci české news domény v rozšířeném testu [7]. To je užitečné. Není to validace českých vysokoškolských prací.
Liangova studie měří nerodilou angličtinu [8]. Weber-Wulff měří anglické dokumenty v malé sadě [5]. OpenAI Classifier měřil anglickou challenge set [1]. Turnitin uvádí vlastní provozní a interní testovací čísla [10][11]. Každý z těchto pramenů má hodnotu. Žádný z nich neříká: „Tady je spolehlivý false positive rate pro české diplomové práce na UK a ČVUT v letech 2025 až 2026.“
Co by hlavní tezi oslabilo? Veřejný, předem zaregistrovaný test na českých seminárních a diplomových textech s kalibrovaným false positive rate nejvýše 1 % a současně uvedeným true positive rate. Test, který přežije překlad a běžnou lidskou editaci. Nasazený veřejně ověřitelný watermark u hlavních chatbotů. Nebo nová politika českých univerzit, která by detektor výslovně povýšila na důkaz. K datu rešerše taková opora v dosie není.
Dokud chybí, je přesnější říci méně. Detektor může být orientační pomůcka. Není to autor textu. Není to svědek. Není to důkazní automat.
17. Skrytým nákladem je falešný poplach, který trestaný neunese
Ve veřejné debatě se často počítá škoda z minutého AI textu. Student podváděl a škola ho neodhalila. Tato škoda existuje. Akademická integrita není dekorace. Jenže druhá škoda je méně viditelná: falešný poplach. Student napsal text sám, nebo použil nástroj dovoleným způsobem, a systém ho označil jako podezřelého. Učitel se začne dívat jinak. Komise chce vysvětlení. Reputace se poškodí dřív, než se chyba opraví.
To je skrytý účet pohodlného procenta. Software vrátí číslo za sekundu. Instituce pak musí nést důsledek týdny nebo měsíce. Pokud nemá proces, který falešný poplach zachytí, není detektor levný. Jen přesouvá cenu na člověka s menší mocí.
Z toho neplyne, že školy mají rezignovat. Plyne z toho, že mají přesněji pojmenovat, co trestají. Zakázané může být nepřiznané převzetí výstupu, nedodržení pravidel pro citaci nástroje, neschopnost obhájit práci nebo klamavé prohlášení. To vše jsou lidsky a procesně ověřitelné otázky. Detektor může dát podnět. Nemá poslední slovo.
Otázka tedy nezní, jak poznat text napsaný umělou inteligencí jedním číslem. Zní: čemu ze statistiky podobnosti smíte věřit, u jaké populace textu, s jakým prahem a kterou chybu u tohoto člověka unesete? Pokud odpověď zní „nevíme“, je to nepříjemné. Ale je to přesnější než jistota, kterou nástroj nikdy neměřil.
Související texty této řady
- Deepfake: Jak poznat falešné video nebo fotografii? — detektor obrazu má stejný problém jako detektor textu: laboratoř není provoz.
- Je fotografie důkaz? — pravost souboru není úplnost děje.