Jak výstupy ověřovat

Praktický systém kontroly výstupů z AI: jak podle rizika určit, kolik ověřování úloha potřebuje, které techniky opravdu fungují, na co se spoléhat nedá a jak ve firmě nastavit jednoduché pravidlo, kdo za co odpovídá.

V lekci Halucinace jsi dostal kontrolní seznam: najdi „tvrdá“ místa, otevři odkazy, přepočítej čísla. To je dobrý začátek. V práci ale brzy narazíš na praktickou otázku: když s AI děláš třicet věcí denně, nemůžeš u každé projít osm bodů. A když u nich nebudeš ověřovat nic, dřív nebo později se ti něco nepříjemně vrátí.

Tahle lekce na kontrolní seznam navazuje a dělá z něj systém. Nejdřív se naučíš odhadnout, kolik kontroly úloha potřebuje. Pak projdeme techniky, které fungují, a jednu populární, která nefunguje. Na konci se podíváme na odpovědnost a na to, jak to celé shrnout do pravidla, které tým opravdu dodrží.

Proč je ověřování těžší, než vypadá

Výstup z AI má zvláštní vlastnost: chybná odpověď vypadá úplně stejně jako správná. Stejně plynulý text, stejně sebejistý tón, stejně úhledná tabulka. U člověka často poznáš nejistotu podle váhání nebo neurčitých formulací. U modelu takový signál chybí (proč, vysvětluje lekce o halucinacích).

Druhá potíž je v nás. Když nástroj desetkrát za sebou odpoví dobře, přestaneme ho kontrolovat. Psychologie tomu říká automatizační zkreslení a je dobře popsané dávno před jazykovými modely, třeba u pilotů a autopilotů.

Automatizační zkreslení(automation bias): Sklon lidí dávat přednost návrhům automatického systému, i když jim odporují jiné dostupné informace. Projevuje se dvojím způsobem: člověk udělá chybu, kterou systém navrhl, nebo přehlédne problém, na který systém neupozornil.

Jak silné to umí být, ukázal v roce 2023 experiment s více než 700 konzultanty firmy Boston Consulting Group, který vedli výzkumníci z Harvardu a dalších univerzit. U úloh, které AI (tehdy GPT-4) zvládala, si konzultanti s AI výrazně polepšili. Jedna úloha ale byla schválně navržená tak, aby v ní AI udělala chybu v analýze. Tam konzultanti s AI dopadli v průměru o 19 procentních bodů hůř než ti bez ní. Hlavní autor Fabrizio Dell'Acqua to popsal tak, že lidé „vypnou mozek a následují, co AI doporučí“. A nepříjemný detail: jejich zdůvodnění byla i tak kvalitnější. Špatná odpověď byla líp vyargumentovaná.

Kolik kontroly úloha potřebuje

Míra ověřování by měla odpovídat riziku. Riziko určují hlavně tři otázky:

Co se stane, když tam bude chyba? Ztratíš pět minut, nebo zákazníka, peníze, pověst?
Kdo to uvidí? Jen ty, tým, nebo někdo venku (klient, úřad, veřejnost)?
Dá se to vzít zpátky? Interní poznámku opravíš, odeslanou nabídku nebo zveřejněný článek těžko.

Podle odpovědí můžeš úlohy rozdělit do tří úrovní:

Úroveň	Typické úlohy	Minimální kontrola	Kdo kontroluje
Nízká	Nápady, osnovy, první verze, přeformulování vlastního textu, vysvětlení pojmu pro sebe	Přečti si to. Používej vlastní úsudek, fakta zatím neber jako ověřená.	Ty
Střední	Interní zápisy a shrnutí, e-maily kolegům, podklady pro poradu, běžné e-maily zákazníkům	Zkontroluj všechna jména, čísla, termíny a sliby proti podkladům. Shrnutí porovnej s originálem v klíčových bodech.	Ty, s plnou pozorností
Vysoká	Cokoli, co jde ven pod jménem firmy: nabídky, smlouvy, čísla do výročky, články, právní, finanční, zdravotní či personální rozhodnutí	Každé faktické tvrzení ověř v primárním zdroji. Čísla přepočítej nezávisle. Text projde druhá osoba, která rozumí věci.	Ty a druhý člověk, odborník

Dvě poznámky k tabulce. Zaprvé, úroveň se může během práce změnit: osnova (nízké riziko) se změní v článek pro zákazníky (vysoké) a s ní i potřebná kontrola. Zadruhé, nejvíc chyb vzniká u střední úrovně, protože tam je ověřování „otravné“ a výsledek „skoro hotový“. Když si nejsi jistý, zařaď úlohu o úroveň výš.

Techniky, které fungují

Žádná z následujících technik není dokonalá. Fungují ale tím líp, čím víc se opírají o něco mimo model: o zdroj, dokument, výpočet nebo jiného člověka.

Chtěj zdroje a opravdu je otevři

Když nástroj umí vyhledávat na webu, chtěj ke každému faktu odkaz. Pak udělej to, co většina lidí vynechá: otevři ho a najdi na stránce větu, která tvrzení podporuje. Že odkaz funguje, ještě neznamená, že na stránce je to, co model tvrdí. Model občas cituje správnou stránku, ale přisoudí jí jiné číslo nebo závěr, nebo převezme tvrzení z méně důvěryhodného zdroje.

Pokud jde o něco důležitého, dojdi k primárnímu zdroji: k zákonu, ne ke článku o zákonu, k výroční zprávě firmy, ne k blogu, který z ní cituje.

Porovnej s originálem

Když model pracoval s tvým dokumentem, máš tu nejlepší možnou kontrolu po ruce. Chtěj u každého tvrzení doslovnou citaci a vyhledej ji v originále (Ctrl+F). Pokud ji nenajdeš, model ji upravil nebo vymyslel. Anthropic ve své dokumentaci doporučuje jít ještě dál: nechat model po napsání textu najít ke každému tvrzení podpůrnou citaci a tvrzení, ke kterému žádnou nenajde, z textu odstranit.

Kontroluj čísla vzorkem

Celkový součet, počet řádků, jeden případ spočítaný ručně, extrémní hodnoty. Podrobně to rozebírá předchozí lekce Analýza dat a dokumentů. Platí tu jednoduché pravidlo: číslo, které jde ven, musí mít aspoň jednu nezávislou kontrolu.

Nech model vypsat předpoklady a nejistoty

„Na konci vypiš, jaké předpoklady jsi udělal, která tvrzení jsou podle tebe nejméně jistá a co bych měl ověřit.“ Tahle technika neříká, co je pravda. Model může být nejistý u správné věci a sebejistý u chybné. Je to ale užitečná mapa, kam se podívat: často odhalí, že model zadání pochopil jinak, nebo že si doplnil údaj, který jsi nedal. Předpoklad, který neodpovídá skutečnosti, je pak jasný důvod výstup přepracovat.

Křížová kontrola: druhý zdroj, druhá konverzace, druhý model

Polož stejnou otázku v nové konverzaci, jinak formulovanou, nebo v jiném nástroji. Když se konkrétní údaje (čísla, data, jména) mezi odpověďmi liší, model je s velkou pravděpodobností nezná a hádá. Tohle je levný a překvapivě účinný test, který doporučují i výrobci modelů.

Shoda dvou odpovědí ale není důkaz. Jiné modely se učily z velmi podobných dat a můžou sdílet stejný omyl. Druhý model je proto dobrý na hledání rozporů, ne na potvrzení pravdy.

Do hloubkyProč „druhý model“ nenahradí nezávislý zdroj

V ověřování faktů se pracuje s myšlenkou nezávislých zdrojů: dva novináři, kteří informaci zjistili každý jinou cestou, jsou silnější důkaz než jeden. U jazykových modelů je nezávislost slabá. Velké modely se trénovaly na velkých výřezech stejného internetu, takže když se na webu nějaký omyl hojně opakuje, mohou ho převzít všechny.

Navíc pokud oba modely hledají na webu, často najdou stejné první výsledky vyhledávání. Shodnou se tedy proto, že četly stejnou stránku, ne proto, že informaci ověřily dvakrát.

Rozpor mezi modely je naopak silný signál: aspoň jeden se mýlí. Proto je křížová kontrola výborná jako síto (najde místa k ověření) a slabá jako razítko (potvrdí správnost). Opravdovou nezávislost dává až zdroj mimo modely: dokument, databáze, odborník, vlastní výpočet.

Obrácené otázky

Několik triků, jak se na výstup podívat z druhé strany:

Ptej se zpátky do dokumentu. Ze shrnutí smlouvy vyber tvrzení a zeptej se: „Ve kterém článku je to přesně napsané? Cituj.“ Shrnutí, které model neumí podložit, je podezřelé.
Testuj na tom, co znáš. Než začneš nástroji věřit u nového typu úlohy, zeptej se ho na pár věcí, jejichž odpověď znáš. Třeba na detaily z dokumentu, který jsi sám psal. Uvidíš, jak se v takové úloze chová.
Hledej protiargument. „Jaké jsou nejsilnější důvody, proč by tenhle závěr mohl být špatně?“ Model tím dostane úkol hledat slabiny, a ne obhajovat svou odpověď.
Nech si to vysvětlit jako začátečníkovi. Když vysvětlení obsahuje logický skok, který nedává smysl, často je chyba právě tam.

Na co se spoléhat nedá

Otázka „Jsi si jistý?“

Je to nejčastější způsob „ověřování“ a skoro nic nedokáže. Jak víš z lekce o podlézavosti, modely jsou trénované tak, aby se lidem zalíbily, a tvoje pochybnost je pro ně signál, co chceš slyšet. Výsledkem je jedno ze tří: model trvá na chybě, ustoupí od správné odpovědi, nebo ji přeformuluje. Z žádné z těch reakcí se nedozvíš, co je pravda. Případ newyorských právníků, kterým ChatGPT na dotaz potvrdil existenci smyšlených rozsudků, je toho učebnicový příklad.

Sebejistý tón a úhledná forma

Formátování, odborné termíny, přesná čísla na desetinná místa a sebejistý tón nejsou známkou správnosti. Model je umí vyrobit stejně snadno u pravdivé i nepravdivé odpovědi. Velmi přesné číslo u otázky, na kterou těžko existuje přesná odpověď, je spíš varovný signál.

„Ověřil jsem to“

Model někdy napíše, že informaci „zkontroloval“ nebo „ověřil“. Pokud v odpovědi nevidíš, že opravdu hledal na webu nebo spustil kód, je to jen věta, kterou vygeneroval. A i když hledal, platí, že odkazy musíš otevřít ty.

Člověk ve smyčce a kdo za co odpovídá

Člověk ve smyčce(human in the loop): Způsob práce, kdy výstup AI před použitím projde kontrolou člověka, který ho může schválit, opravit nebo zamítnout. Funguje jen tehdy, když ten člověk má čas, znalosti a pravomoc výstup opravdu posoudit, ne jen odkliknout.

Na posledních slovech definice záleží. Kontrola, při které někdo za den „schválí“ sto výstupů po pár vteřinách, je jen formalita. Automatizační zkreslení pak působí naplno: kontrolor vidí, že AI má většinou pravdu, a přestane hledat chyby.

A k odpovědnosti: za výstup odpovídá ten, kdo ho použije nebo odešle, ne nástroj. Ukazují to i první soudní případy. Kromě newyorských právníků, které soud potrestal za smyšlené rozsudky, je známý kanadský spor Moffatt v. Air Canada z roku 2024. Chatbot na webu letecké společnosti zákazníkovi chybně popsal podmínky slevy na letenku kvůli úmrtí v rodině. Aerolinka u tribunálu tvrdila, že za informace chatbota nemůže, protože je to v podstatě samostatná entita. Tribunál to odmítl: chatbot je součást webu firmy a firma odpovídá za všechno, co na jejím webu je. Pro tebe z toho plyne, že „to napsala AI“ není omluva. Ani pro tebe, ani pro firmu.

Jednoduché pravidlo pro tým

Pravidlo o ověřování musí být tak krátké, aby si ho lidé pamatovali, a tak konkrétní, aby se dalo dodržet. Dlouhá směrnice, kterou nikdo nečte, nepomůže. Tady je vzor, který si můžeš upravit:

Vzor týmového pravidla (jedna strana)

Pravidlo pro práci s výstupy z AI

Výstup z AI je koncept. Kdo ho použije nebo pošle dál, odpovídá za něj, jako by ho napsal sám.
Tři úrovně.
- Pro sebe (nápady, osnovy): stačí vlastní úsudek.
- Interně (zápisy, podklady): zkontroluj jména, čísla, termíny a sliby proti podkladům.
- Ven (klienti, úřady, web, rozhodnutí o lidech a penězích): ověř fakta v primárních zdrojích, přepočítej čísla a dej text přečíst druhé osobě.
Čísla počítá kód nebo tabulka, ne chat „z hlavy“. Každé číslo, které jde ven, má jednu nezávislou kontrolu.
„Jsi si jistý?“ není kontrola. Ověřuje se mimo model.
Když si nejsi jistý úrovní, vyber vyšší.
Citlivá data jen do schválených nástrojů (viz pravidlo o datech).
Chyba se hlásí, ne schovává. Když se přes AI dostane chyba ven, řekneme si, kde selhala kontrola, a pravidlo upravíme.

Bod 7 je důležitější, než vypadá. Pravidlo, které se nikdy neupravuje, zastará během pár měsíců. A tým, kde se za chybu z AI trestá, začne AI používat potají, což je ze všech možností nejhorší. Nejlépe funguje, když vedoucí sám ukazuje, jak výstupy ověřuje, a když se o nalezených chybách mluví otevřeně jako o užitečné zkušenosti.

Co si odnést

Chybný výstup z AI vypadá stejně jako správný a dobře napsaný text uspí ostražitost (automatizační zkreslení). Ověřování proto nesmí záviset na tom, jestli ti odpověď „připadá správně“.
Kolik kontroly úloha potřebuje, urči podle dopadu chyby, okruhu čtenářů a vratnosti. Tři úrovně: pro sebe, interně, ven. V pochybnostech vyber vyšší.
Fungují techniky, které se opírají o něco mimo model: otevřené zdroje, porovnání s originálem, kontrola čísel vzorkem. Předpoklady modelu a křížová kontrola ukážou, kam se dívat, ale pravdu nepotvrdí.
„Jsi si jistý?“, sebejistý tón ani věta „ověřil jsem to“ nejsou kontrola.
Za výstup odpovídá člověk nebo firma, která ho použije. Kontrola člověkem má smysl, jen když má ten člověk čas, znalosti a pravomoc.
Týmové pravidlo má být krátké, konkrétní a pravidelně upravované podle chyb, které se skutečně staly.

Zdroje a další čtení

MIT Sloan: How generative AI can boost highly skilled workers' productivity (2023) – shrnutí experimentu s konzultanty BCG, včetně úlohy, ve které AI chybovala.
Anthropic: Reduce hallucinations – techniky ověřování přes citace, opakované dotazy a omezení na dodané dokumenty.
Sharma a kol.: Towards Understanding Sycophancy in Language Models (arXiv, 2023) – výzkum podlézavosti AI asistentů.
Moffatt v. Air Canada: misrepresentation by AI chatbot (McCarthy Tétrault) – rozbor případu, kdy firma odpovídala za chybnou informaci svého chatbota.
Automation bias (Wikipedia) – přehled pojmu automatizační zkreslení.