Představte si fotografii pořízenou v noci. Na snímku je známý člověk, který předává druhému muži obálku. Fotografie se během několika minut rozíří po internetu. O několik minut později přichází odpověď člověka zachyceného na snímku: „Je to AI." Generativní systémy přidávají druhou možnost: někdo předloží obraz skutečný — a člověk, kterému škodí, ho odmítne jako syntetický.
„Falešný obraz útočí na pravdu tím, že něco nepravdivého vydává za skutečnost. Deepfake může útočit i opačně: dává skutečnosti věrohodnou výmluvu, proč jí nevěřit.“
Právě tento druhý efekt právníci Bobby Chesney a Danielle Citron popsali jako liar's dividend — „dividendu lháře". Čím uvěřitelnější je technologie schopná vyrábět podvrhy, tím uvěřitelnější může být i tvrzení, že nepříjemný autentický záznam je podvrh. Samotný obraz už stále méně funguje jako důkaz vlastního původu.
FOTOGRAFIE NIKDY NEBYLA ČISTÁ PRAVDA
Objektiv vybírá výřez reality. Fotograf stojí na určitém místě. Snímek zachytí jednu desetinu sekundy a vynechá všechno před ní i po ní. Ohnisková vzdálenost mění vztahy v prostoru. Expozice mění to, co je vidět. Titulek pod fotografií mění interpretaci. Přesto měl fotografie jednu obrovskou psychologickou výhodu: vznik byl dlouho pevně spojen s fyzickým světem. Digitální úpravy tuto vazbu oslabily, ale většinou jsme dál uvažovali v kategoriích „původní snímek" a „upravený snímek". Generativní model tuto intuici rozbíjí důkladněji — dokáže vytvořit obraz, pro který žádný odpovídající okamžik před objektivem nemusel nikdy existovat.
ZÁSADNÍ PROBLÉM NENÍ JEN TO, ŽE NÁS AI MŮŽE OKLAMAT
NIST ve své zprávě o rizicích syntetického obsahu nerozebírá jedinou magickou obranu. Popisuje několik technických rodin: původ a autentizaci obsahu, označování či watermarking, detekci syntetického obsahu, testování těchto nástrojů a další mechanismy digitální transparentnosti. Výsledek detektoru není totéž jako provenience. Detektor odhaduje podle znaků v obsahu. Provenience se ptá, odkud soubor přišel, kdo jej vytvořil a zda se tento řetězec dá kryptograficky ověřit.
DIVIDENDA LHÁŘE
Chesney a Citron tuto situaci popsali už v roce 2019. Výzkumníci Kaylyn Jackson Schiff, Daniel Schiff a Natália Bueno provedli pět experimentálních studií na více než patnácti tisících dospělých v USA. Autoři našli „dividendu lháře" především u skandálů prezentovaných textem. U videa byly pokusy odmítnout důkaz jako deepfake celkově podstatně méně účinné; ve většině video podmínek se jasný efekt nepotvrdil. Technologie vytváří možnost věrohodného popření. To ale neznamená, že lidé automaticky uvěří každému, kdo zakřičí „deepfake".
PROČ NESTAČÍ DETEKTOR
Výsledek detektoru závisí na tom, na jakých generátorech a typech manipulace byl systém testován, co se se souborem stalo po vytvoření, zda byl komprimován, přefocen, oříznut nebo znovu nahrán přes sociální síť a jak dobře se detektor generalizuje na generátory, které při jeho vývoji ještě neexistovaly. Forenzní detekce je užitečná, ale epistemicky odlišná od řetězce původu. Detektor se dívá na výsledek a hledá stopy. Provenience se snaží doložit historii.
BUDOUCNOST MOŽNÁ NEBUDE „POZNAT FAKE". BUDE „PROKÁZAT PŮVOD".
C2PA vyvíjí otevřený technický standard Content Credentials. V aktuální specifikaci 2.4 je princip popsán jako kryptograficky ověřitelný systém informací o původu obsahu: kdo nebo co vytvořilo určité tvrzení o souboru, jaké úpravy byly zaznamenány a zda byly tyto údaje po podpisu změněny. Místo nekonečné otázky „najdeme v těch pixelech stopu po AI?" se můžeme ptát: Kde soubor vznikl? Co s ním bylo provedeno? Jaký systém tyto informace podepsal? Provenience ale není pravda. C2PA sama uvádí, že specifikace nemá dělat hodnotové soudy o tom, zda jsou provenienční údaje „dobré" nebo „špatné". Ověřuje vazbu tvrzení k souboru, ne říká, zda scéna před kamerou nebyla naaranžovaná.
CO TEDY BUDE FOTOGRAFIE DOKAZOVAT?
Možná méně sama o sobě. A více jako součást systému důkazů. Hodnota digitálního materiálu roste s doloženým původem, integritou, originálním souborem, časovou osou, dalšími zařízeními, svědky, logy a nezávislými stopami. „Je to deepfake" není důkaz o nic víc než „viděl jsem to na internetu". Absence Content Credentials sama o sobě neznamená, že soubor je falešný — metadata lze během běžného zpracování odstranit a ekosystém provenience není univerzálně nasazen.
PARADOX DOKONALEJŠÍHO FALŠOVÁNÍ
Čím dokonalejší budou syntetické obrazy, tím méně užitečná bude heuristika „tohle bych poznal". Vzniká prostředí, v němž si různí lidé mohou vybírat, čemu uvěří. Fotografie potvrzující můj názor? Skutečná. Fotografie, která mi vadí? AI. Výzkum „dividendy lháře" ale připomíná: lidé stále připisují audiovizuálním důkazům značnou váhu a pouhé tvrzení „deepfake" v experimentálních studiích automaticky nevymazalo účinek videa. Možná se nacházíme v přechodném období. Staré pravidlo „vidět znamená věřit" už nestačí. Nové pravidlo ještě společnost plně nepřijala.
NOVÉ PRAVIDLO DŮKAZU
Budoucnost vizuálního ověřování pravděpodobně nebude stát na jedné technologii. Bude to kombinace: provenance, forenzní analýzy, řetězce uchování, nezávislých zdrojů a lidského úsudku. Screenshot už nebude konec diskuse. Bude její začátek. Fotografie nebude automaticky verdikt. Bude jedna stopa. A nejdůležitější otázka možná nebude „Je ten obraz skutečný?" Ale: „Co přesně víme o cestě, kterou se k nám dostal?"
„Silný důkaz není ten, který vypadá přesvědčivě. Silný důkaz je ten, jehož původ, integritu a souvislosti lze nezávisle prověřit.“
KDYŽ LZE PRAVOU FOTOGRAFII ODMÍTNOUT JAKO VÝTVOR AI
Generativní umělá inteligence nezměnila jen možnost vyrábět falešné obrazy. Změnila také způsob, jakým lidé reagují na obrazy pravé. Člověk zachycený na nepříjemné fotografii může jednoduše říct: „To vytvořila AI.“
Vzniká tak nový problém. Falešný obraz vydává něco nepravdivého za skutečnost. Možnost vytvářet přesvědčivé podvrhy ale současně umožňuje vydávat skutečný záznam za podvrh.
FOTOGRAFIE NIKDY NEUKAZOVALA CELÝ SVĚT
Fotografie vždy vybírala jediný okamžik, výřez a úhel. Titulek mohl změnit její význam a scéna mohla být naaranžovaná. Přesto bylo běžnou intuicí, že před objektivem muselo něco fyzicky existovat. Generativní model tuto jistotu oslabuje, protože dokáže vytvořit obraz bez původní scény.
VÝMLUVA „JE TO DEEPFAKE“ NENÍ VŽDY ÚČINNÁ
Výzkum naznačuje, že pouhé označení nepříjemného videa za deepfake automaticky nevymaže jeho účinek. Lidé stále přisuzují obrazu a zvuku značnou váhu. Výmluva ale může zvýšit nejistotu a nabídnout příznivcům zachyceného člověka důvod důkaz odmítnout.
DETEKTOR SÁM NESTAČÍ
Detektor hledá ve výsledném souboru stopy typické pro známé generátory. Jeho výkon se může zhoršit po kompresi, úpravě nebo při použití novější technologie. Výsledek jednoho nástroje proto není konečný rozsudek.
DŮLEŽITÝ JE PŮVOD A CESTA SOUBORU
Silnější ověření se ptá, kde soubor vznikl, kdo jej pořídil, jak byl uložen, zda se změnil a zda existují další nezávislé záznamy. Standardy digitálního původu mohou k médiu připojit ověřitelné informace o jeho historii. Ani ty však nedokazují, že scéna nebyla naaranžovaná nebo že popisek je pravdivý.
ZÁVĚR
Silný důkaz není ten, který pouze vypadá přesvědčivě. Je to důkaz, jehož původ, integritu a souvislosti lze nezávisle prověřit. V době generativní AI nestačí ptát se „vypadá to pravě?“. Je potřeba doložit, odkud záznam přišel a co přesně podporuje.
Představte si fotografii pořízenou v noci. Na snímku je známý člověk, který předává druhému muži obálku. V pozadí stojí černé auto. Čas, místo i tváře jsou čitelné. Fotografie se během několika minut rozšíří po internetu.
První reakce je předvídatelná: Je to pravé?
O několik minut později přichází odpověď člověka zachyceného na snímku: „Je to AI.“
A tím se problém mění.
Ještě nedávno bylo hlavním rizikem vizuální manipulace to, že někdo vytvoří falešný obraz a veřejnost mu uvěří. Generativní systémy přidávají druhou možnost: někdo předloží obraz skutečný — a člověk, kterému škodí, ho odmítne jako syntetický.
Právě tento druhý efekt právníci Bobby Chesney a Danielle Citron popsali jako liar’s dividend — „dividendu lháře“. Čím uvěřitelnější je technologie schopná vyrábět podvrhy, tím uvěřitelnější může být i tvrzení, že nepříjemný autentický záznam je podvrh.1
Název tohoto článku je proto záměrně přehnaný. Fotografie samozřejmě může něco dokazovat. Ale samotný obraz už stále méně funguje jako důkaz vlastního původu. To, co vidíme v pixelech, bude čím dál častěji jen začátkem ověřování.
Fotografie nikdy nebyla čistá pravda
Fotografii jsme vždy trochu přeceňovali. Objektiv vybírá výřez reality. Fotograf stojí na určitém místě. Snímek zachytí jednu desetinu sekundy a vynechá všechno před ní i po ní. Ohnisková vzdálenost mění vztahy v prostoru. Expozice mění to, co je vidět. Titulek pod fotografií mění interpretaci.
Obraz tedy nikdy nebyl totožný s událostí.
Přesto měl jednu obrovskou psychologickou výhodu: vznik fotografie byl dlouho pevně spojen s fyzickým světem. Někde muselo být světlo. Nějaký objektiv. Nějaký okamžik, který zanechal stopu na filmu nebo senzoru.
Digitální úpravy tuto vazbu oslabily, ale většinou jsme dál uvažovali v kategoriích „původní snímek“ a „upravený snímek“.
Generativní model tuto intuici rozbíjí důkladněji. Dokáže vytvořit obraz, pro který žádný odpovídající okamžik před objektivem nemusel nikdy existovat.
Zásadní problém není jen to, že nás AI může oklamat
Debata o deepfakes se často redukuje na soutěž mezi generátorem a detektorem. Jeden systém vyrábí falešné obrazy, druhý je hledá. Generátor se zlepší, detektor se přetrénuje a kolo začíná znovu.
Jenže společenský problém je širší.
NIST ve své zprávě o rizicích syntetického obsahu nerozebírá jedinou magickou obranu. Popisuje několik technických rodin současně: původ a autentizaci obsahu, označování či watermarking, detekci syntetického obsahu, testování těchto nástrojů a další mechanismy digitální transparentnosti.2
To je důležité. Pokud by stačilo otevřít libovolnou fotografii v univerzálním „AI detektoru“ a dostat jistou odpověď ano/ne, celý problém by byl nesrovnatelně jednodušší.
NIST má samostatné forenzní programy zaměřené na evaluaci systémů pro detekci AI generovaných manipulací a provozuje výzkumné challenge právě proto, že spolehlivost analytických systémů musí být měřena proti reálným a měnícím se typům manipulací.3
Praktická zásada: výsledek detektoru není totéž jako provenience. Detektor odhaduje podle znaků v obsahu. Provenience se ptá, odkud soubor přišel, kdo jej vytvořil, jak byl změněn a zda se tento řetězec dá kryptograficky ověřit.
Dividenda lháře
Teď se vraťme k fotografii s obálkou.
Pokud je falešná, generativní AI umožnila vyrobit pomluvu.
Pokud je pravá a zachycený člověk ji označí za AI, generativní AI mu poskytla nový typ obrany.
Chesney a Citron tuto druhou situaci popsali už v roce 2019. Čím více veřejnost ví, že obraz a zvuk lze přesvědčivě falšovat, tím snazší může být zasít pochybnost i o skutečném záznamu.1
Zajímavější je, že od té doby už nejde jen o teorii.
Výzkumníci Kaylyn Jackson Schiff, Daniel Schiff a Natália Bueno provedli pět experimentálních studií na více než patnácti tisících dospělých v USA. Testovali situace, kdy politik reaguje na skutečný skandál tvrzením, že jde o dezinformaci nebo deepfake.4
Výsledek ale stojí za přesné čtení, protože je méně filmový, než se často tvrdí.
Autoři našli „dividendu lháře“ především u skandálů prezentovaných textem. U videa byly pokusy odmítnout důkaz jako deepfake celkově podstatně méně účinné; ve většině jejich video podmínek se jasný efekt nepotvrdil.4
Technologie vytváří možnost věrohodného popření. To ale neznamená, že lidé automaticky uvěří každému, kdo zakřičí „deepfake“.
Tohle je podstatná brzda proti přehnanému katastrofismu. „Dividenda lháře“ není kouzelná formulka, která okamžitě zničí každý videozáznam. Empirická data ukazují, že účinek závisí na formě důkazu, kontextu a způsobu, jakým je popření formulováno.
Ale samotná existence této strategie mění informační prostředí. Vedle otázky „dá se vytvořit falešný důkaz?“ musíme sledovat i otázku „dá se přesvědčivě zpochybnit pravý?“
Proč nestačí detektor
Představte si software, který u fotografie napíše: „pravděpodobnost AI: 87 %“.
Co přesně jste se dozvěděli?
Možná hodně. Možná méně, než číslo naznačuje.
Takový výstup závisí na tom, na jakých generátorech a typech manipulace byl systém testován, co se se souborem stalo po vytvoření, zda byl komprimován, přefocen, oříznut nebo znovu nahrán přes sociální síť a jak dobře se detektor generalizuje na generátory, které při jeho vývoji ještě neexistovaly.
Proto je forenzní detekce užitečná, ale epistemicky odlišná od řetězce původu. Detektor se dívá na výsledek a hledá stopy. Provenience se snaží doložit historii.
Budoucnost možná nebude „poznat fake“. Bude „prokázat původ“.
Právě proto vznikají standardy zaměřené na provenienci digitálního obsahu. Coalition for Content Provenance and Authenticity — C2PA — vyvíjí otevřený technický standard Content Credentials.
V aktuální specifikaci 2.4 je princip popsán jako kryptograficky ověřitelný systém informací o původu obsahu: kdo nebo co vytvořilo určité tvrzení o souboru, jaké úpravy byly zaznamenány a zda byly tyto údaje po podpisu změněny.5
Tohle je důležitá změna logiky.
Místo nekonečné otázky „najdeme v těch pixelech stopu po AI?“ se můžeme ptát:
Kde soubor vznikl? Co s ním bylo provedeno? Jaký systém tyto informace podepsal? Sedí kryptografická vazba stále na tento konkrétní obsah?
A právě zde je nutné zabránit nové iluzi.
Provenience není pravda.
C2PA sama výslovně uvádí, že specifikace nemá dělat hodnotové soudy o tom, zda jsou provenienční údaje „dobré“ nebo „špatné“. Ověřuje vazbu tvrzení k souboru, jejich správnou formu a integritu; neříká, zda scéna před kamerou nebyla naaranžovaná nebo zda popisek fotografie nelže.5
Kamera může kryptograficky potvrdit: tento soubor vznikl na tomto zařízení a od podpisu nebyl takto změněn.
Nemůže tím sama potvrdit: to, co vidíte, znamená přesně to, co vám tvrdí titulek.
Co tedy bude fotografie dokazovat?
Možná méně sama o sobě. A více jako součást systému důkazů.
Forenzní svět tento princip ostatně zná dávno. Důkaz není silný jen tím, že „vypadá pravě“. Hodnota digitálního materiálu roste s doloženým původem, integritou, originálním souborem, časovou osou, dalšími zařízeními, svědky, logy a nezávislými stopami.
Generativní AI tento způsob myšlení pouze přesouvá z forenzních laboratoří do běžného života.
Někdo vám pošle screenshot konverzace? Nejen co na něm je, ale odkud pochází.
Objeví se video? Nejen zda vypadá realisticky, ale zda existuje originální soubor, kontinuita záznamu a další záběry.
Někdo tvrdí, že fotografie je AI? Stejný standard skepticismu musí platit i pro toto tvrzení. „Je to deepfake“ není důkaz o nic víc než „viděl jsem to na internetu“.
Paradox dokonalejšího falšování
Čím dokonalejší budou syntetické obrazy, tím méně užitečná bude jedna z nejstarších lidských heuristik: „tohle bych poznal“.
Ale skutečně nebezpečný svět není ten, ve kterém každý uvěří všemu.
Vzniká prostředí, v němž si různí lidé mohou vybírat, čemu uvěří.
Fotografie potvrzující můj názor? Skutečná.
Fotografie, která mi vadí? AI.
Video mého protivníka? Důkaz.
Video mého člověka? Manipulace.
V takovém prostředí přestává být technická schopnost ověřit médium pouze otázkou kybernetické bezpečnosti. Stává se součástí společenské infrastruktury důvěry.
Výzkum „dividendy lháře“ zatím zároveň připomíná něco důležitého: tenhle dystopický scénář není hotová skutečnost. Lidé stále připisují audiovizuálním důkazům značnou váhu a pouhé tvrzení „deepfake“ v experimentálních studiích automaticky nevymazalo účinek videa.4
Možná se tedy nacházíme v přechodném období. Staré pravidlo „vidět znamená věřit“ už nestačí. Nové pravidlo ještě společnost plně nepřijala.
Nové pravidlo důkazu
Budoucnost vizuálního ověřování pravděpodobně nebude stát na jedné technologii.
Nebude to jediný AI detektor.
Nebude to jediný watermark.
Nebude to jediný kryptografický standard.
Bude to kombinace: provenance, forenzní analýzy, řetězce uchování, nezávislých zdrojů a lidského úsudku. Přesně takový vícevrstvý přístup popisuje i NIST ve své zprávě o transparentnosti syntetického obsahu.2
A možná se kvůli AI vrátíme k mnohem starší zásadě dokazování:
To je méně pohodlný svět.
Screenshot už nebude konec diskuse. Bude její začátek.
Fotografie nebude automaticky verdikt. Bude jedna stopa.
A nejdůležitější otázka možná nebude:
„Je ten obraz skutečný?“
Ale:
„Co přesně víme o cestě, kterou se k nám dostal?“
Protože generativní AI nepřinesla pouze schopnost vyrábět realitu, která nikdy neexistovala.
Přinesla i něco subtilnějšího: schopnost pochybností přežít i tam, kde realita existovala.
A v takovém světě už fotografie sama nemusí dokazovat téměř nic.
Její historie může dokazovat mnohem víc.
V době generativní AI už nemůžeme věřit tomu, co vidíme. Musíme vědět, odkud obraz pochází a jak vznikl.
Článek správně zdůrazňuje potřebu ověřování původu. Metadata a digitální podpisy se stávají klíčovými pro ověření pravdy.
Je smutné, že v budoucnu nebudeme moci věřit ani vlastním fotografiím. Ale zároveň nás to nutí být vnímavější a kritičtější.
Já si myslím, že by se v tomto článku mělo víc mluvit o tom, jak lidé v budoucnosti budou rozlišovat pravdu od lži.