Přeskočit na obsah

Kde AI selhává a proč · lekce 8 z 10 · 12 min čtení

Halucinace: proč AI sebevědomě tvrdí nesmysly

Proč jazykový model občas vymyslí citaci, soudní případ nebo číslo, proč se to nedá úplně odstranit a jak si odpovědi rychle a spolehlivě ověřit.

Znáš ten typ kolegy, který na každou otázku odpoví okamžitě, plynule a bez zaváhání? Většinou má pravdu. Jenže občas plete, a pozná se to až zpětně, protože omyl zní úplně stejně jistě jako fakt. Jazykový model se chová podobně, jen ve větším měřítku. Tahle lekce vysvětluje, proč to tak je, proč to není „chyba, kterou za rok opraví“, a co s tím můžeš udělat ty.

Co je halucinace

Halucinace(hallucination)
Odpověď jazykového modelu, která zní věrohodně a sebejistě, ale je nepravdivá nebo smyšlená: neexistující zdroj, špatné číslo, vymyšlená událost. Model přitom nijak nedává najevo, že si „není jistý“.

Slovo „halucinace“ je trochu zavádějící. Nenaznačuje, že by model něco „viděl“ nebo měl poruchu. Jde o běžný výstup modelu, který se jen náhodou nekryje se skutečností. Model pracuje úplně stejně, když říká pravdu, jako když si vymýšlí. To je na tom celém to nejdůležitější.

Proč to dělá: model optimalizuje věrohodnost, ne pravdu

V lekci Předpověď dalšího slova jsme si ukázali, že jazykový model píše text tak, že opakovaně odhaduje, který token má přijít dál. Odhaduje to podle vzorců, které se naučil z obrovského množství textu. Otázka, kterou si model v každém kroku „klade“, tedy není „Je to pravda?“, ale „Jak by tenhle text nejspíš pokračoval?“.

Většinou se ty dvě otázky překrývají. Na internetu se o hlavním městě Francie píše převážně správně, takže nejpravděpodobnější pokračování věty „Hlavní město Francie je…“ je zároveň pravdivé. Problém nastává tam, kde model žádný silný vzorec nemá: u vzácných faktů, konkrétních čísel, jmen málo známých lidí, přesných názvů článků. Tam pořád umí vyrobit text, který vypadá jako správná odpověď, protože ví, jak takové odpovědi obvykle vypadají. Jen obsah už nemá o co opřít.

Tahle analogie není náhodná. V září 2025 vydali výzkumníci z OpenAI a Georgia Tech článek Why Language Models Hallucinate, který tvrdí přesně tohle: halucinace vznikají z běžných statistických tlaků při tréninku a přetrvávají, protože většina testů, kterými se modely hodnotí, odměňuje správnou odpověď a za „nevím“ dává stejnou nulu jako za chybu. Modely se tak učí být „dobrými řešiteli testů“, kteří raději hádají.

Proč model neřekne „nevím“

Člověk má (aspoň někdy) pocit nejistoty, který ho zastaví. Model nic takového vestavěné nemá. Je pravda, že uvnitř modelu existují pravděpodobnosti jednotlivých tokenů, ale ty vyjadřují „jak obvyklé je tohle pokračování“, ne „jak jistě je to pravda“. Věta „Nevím“ je pro model jen další možné pokračování textu a objeví se tehdy, když ho k ní trénink naučil.

Výrobci se o to snaží. Při dolaďování modelu (o tom víc v lekci Trénink modelu) ho učí přiznávat nejistotu, odmítat otázky, na které nemůže znát odpověď, a rozlišovat fakta od odhadů. Novější modely jsou v tom znatelně lepší než ty první. Ale je to naučené chování navrch, ne zásadní změna toho, jak model funguje.

Do hloubkyProč nejde jednoduše „vypnout“ halucinace

Zní to jako snadná oprava: ať model odpovídá jen tehdy, když si je jistý. Háček je v tom, že model nemá oddělenou „databázi faktů“, do které by se mohl podívat. Všechno, co se naučil, je rozprostřené v miliardách čísel (parametrů), a znalost „Praha je hlavní město Česka“ je tam uložená stejným způsobem jako znalost „jak zní typická věta v právnickém textu“.

Autoři zmíněného článku to přirovnávají k problému klasifikace: kdyby model uměl spolehlivě rozlišit pravdivé tvrzení od nepravdivého, nehalucinoval by. U faktů, které se v tréninkových datech objevily jen jednou nebo vůbec (například datum narození málo známého člověka), ale žádný vzorec, ze kterého by šlo pravdu odvodit, neexistuje. Model pak může jen hádat.

Z toho plyne i jejich návrh řešení: změnit způsob, jakým se modely hodnotí, aby sebevědomá chyba stála víc než přiznaná nejistota. To je ale dlouhodobá věc celého oboru. Pro tebe jako uživatele z toho plyne jednoduché pravidlo: počítej s tím, že halucinace budou existovat i u budoucích modelů, jen méně často.

Jak halucinace vypadají v praxi

Halucinace mají několik typických podob. Když je znáš, poznáš rizikové místo v odpovědi dřív, než ti způsobí problém.

  • Vymyšlené zdroje. Citace knih, odborných článků nebo zákonů, které neexistují. Často mají věrohodné autory, rok vydání i název časopisu. Model ví, jak citace vypadá, ale ne, jestli konkrétní citace existuje.
  • Vymyšlené odkazy (URL). Adresa, která vypadá správně (správná doména, logická struktura), ale vede na chybovou stránku.
  • Špatná čísla. Statistiky, procenta, data, finanční údaje. Čísla jsou pro model obzvlášť zrádná, protože „37 %“ a „73 %“ jsou jako text skoro stejně věrohodné.
  • Sebejisté chyby v úzkých oborech. Čím specializovanější téma (místní předpisy, konkrétní firma, menší obor), tím méně o něm model viděl textu a tím víc doplňuje.
  • Chyby v práci s dodaným textem. I když modelu dáš dokument, může mu přisoudit tvrzení, které v něm není, nebo spojit dvě věci, které spolu nesouvisí.
  • Vymyšlené funkce a postupy. Model popíše tlačítko v aplikaci nebo funkci v Excelu, která neexistuje, protože by logicky existovat mohla.
Jak může vypadat vymyšlená citace

Prompt: „Najdi mi dvě odborné studie o vlivu práce z domova na produktivitu v českých firmách, s autory a rokem.“

Možná odpověď: „1. Novák, J., Dvořáková, P. (2021): Home office a výkonnost zaměstnanců v ČR, Ekonomický časopis 69(4)…“

Tahle odpověď je ilustrační, vymyslel jsem ji pro ukázku. A právě o to jde: vypadá přesně jako skutečná citace. Správná česká jména, existující název časopisu, logický rok. Bez dohledání nepoznáš, jestli studie existuje. Model ti tu nelže úmyslně, jen vyrobil text ve tvaru citace.

Skutečný případ: právníci a šest smyšlených rozsudků

Nejznámější příklad je z roku 2023 z New Yorku. Ve sporu Mata v. Avianca žaloval cestující leteckou společnost kvůli zranění na palubě. Jeho právníci podali soudu podání, ve kterém citovali řadu dřívějších rozsudků, například Varghese v. China Southern Airlines. Potíž byla v tom, že šest z nich vůbec neexistovalo. Jeden z právníků je hledal přes ChatGPT a ten je vymyslel i s citacemi a vnitřními odkazy na další (také smyšlené) případy.

Na tom případu je poučné hlavně to, co se dělo dál:

  • Když právník ChatGPT zpětně zeptal, jestli jsou ty případy skutečné, chatbot odpověděl, že ano a že je lze najít v uznávaných právních databázích. Model tím jen „pokračoval v konverzaci“ věrohodným způsobem. Ptát se modelu, jestli si nevymýšlí, není ověření.
  • Protistrana ani soud případy nedohledali. Právníci přesto podání nějakou dobu obhajovali.
  • Soudce P. Kevin Castel v červnu 2023 udělil právníkům a jejich kanceláři sankci, pokutu 5 000 dolarů, a uložil jim mimo jiné rozeslat rozhodnutí soudcům, kterým ChatGPT smyšlené rozsudky připsal. Ve svém rozhodnutí přitom zdůraznil, že samotné použití AI problém není. Problém je, že právníci nesplnili povinnost ověřit, co soudu předkládají.

Podobné případy se od té doby objevují opakovaně, a to i u zkušených profesionálů. Není to tedy příběh o jednom neopatrném člověku, ale o tom, jak přesvědčivě halucinace působí.

Co halucinace snižuje

Halucinace se nedají úplně odstranit, ale jejich počet můžeš výrazně snížit. Všechny účinné postupy mají společný princip: dát modelu, o co se opřít, místo aby odpovídal „z paměti“.

Dej modelu podklady

Když modelu vložíš dokument (smlouvu, zápis z porady, ceník) a požádáš ho, aby odpovídal jen z něj, odpovídá výrazně spolehlivěji. Model už nemusí lovit fakta ze svých parametrů, stačí mu je najít v textu, který má přímo před sebou v kontextovém okně. Pomáhá výslovně napsat: „Odpovídej jen z přiloženého dokumentu. Pokud tam odpověď není, napiš, že ji v dokumentu nenacházíš.“

Dovol mu říct „nevím“

Zní to banálně, ale funguje to. Výslovná věta v promptu, že je v pořádku přiznat nejistotu nebo nedostatek informací, snižuje sklon modelu hádat. Doporučuje to například i Anthropic v dokumentaci ke svým modelům.

Zapni vyhledávání na webu

Mnoho AI nástrojů umí během odpovědi vyhledávat na internetu. Model pak čte aktuální stránky a odkazuje na ně. To pomáhá hlavně u čerstvých informací a konkrétních faktů. Pozor ale: model může vyhledanou stránku špatně shrnout, vybrat nekvalitní zdroj, nebo napsat tvrzení, které v odkazované stránce není. Odkaz je pozvánka k ověření, ne důkaz.

Chtěj citace a zkontroluj je

Požádej model, aby ke každému důležitému tvrzení uvedl zdroj, ideálně doslovnou citaci z dokumentu. Tím se z odpovědi stane něco, co jde zkontrolovat. Když model citaci nenajde, je to silný signál, že tvrzení stojí na vodě.

Ve firmě: napojení na vlastní dokumenty

Firmy často řeší halucinace tak, že AI napojí na vlastní znalostní bázi. Systém nejdřív vyhledá relevantní pasáže ve firemních dokumentech a teprve ty předá modelu k odpovědi. Tomuto přístupu se říká RAG (retrieval-augmented generation) a podrobně ho probereme později v cestě. Teď stačí vědět, že je to v principu totéž jako „dej modelu podklady“, jen automatizované.

Do hloubkyProč ani podklady nezaručí stoprocentní přesnost

Když modelu dáš dokument, halucinace se nezmění na nulu, jen se změní jejich podoba. Typické chyby jsou:

  • Promíchání se znalostmi z tréninku. Model doplní informaci, která v dokumentu není, ale „obvykle platí“. Například do shrnutí smlouvy přidá standardní výpovědní lhůtu, i když ta tvoje je jiná.
  • Ztráta detailu v dlouhém textu. U velmi dlouhých dokumentů model někdy přehlédne pasáž uprostřed nebo spojí informace ze dvou různých míst.
  • Chybné přisouzení. Tvrzení je v dokumentu, ale model ho přisoudí jiné osobě nebo jinému období.

Proto se u důležitých úloh doporučuje postup ve dvou krocích: nejdřív ať model vypíše doslovné citace relevantních pasáží, a teprve pak ať z nich odvodí odpověď. Doslovnou citaci zkontroluješ hledáním v dokumentu (Ctrl+F) za pár sekund.

Kontrolní seznam: jak ověřit odpověď

Tenhle postup si můžeš vytisknout a dát vedle monitoru. Nemusíš ho projít celý u každé odpovědi, ale čím víc na výsledku záleží, tím víc bodů použij.

  1. Najdi v odpovědi „tvrdá“ místa. Jména, čísla, data, citace, odkazy, názvy zákonů a produktů. Tam se halucinace schovávají nejčastěji. Obecné vysvětlení bývá spolehlivější než konkrétní údaj.
  2. Otevři každý odkaz. Funguje? Je na stránce opravdu to, co model tvrdí?
  3. Dohledej zdroje nezávisle. Studii nebo rozsudek hledej v databázi či vyhledávači sám, ne přes stejný chatbot.
  4. Přepočítej čísla. Pokud odpověď obsahuje výpočet nebo součet, ověř ho v kalkulačce nebo tabulce.
  5. Porovnej s dokumentem. Pokud model shrnoval tvůj text, najdi klíčová tvrzení v originále.
  6. Zbystři u příliš hladké odpovědi. Velmi konkrétní odpověď na velmi úzkou otázku (přesné procento, přesný citát) je spíš varovný signál než důkaz kvality.
  7. Zeptej se znovu jinak, nebo jiným nástrojem. Když stejná otázka dává pokaždé jiné konkrétní číslo, model ho nejspíš nezná.
  8. Rozhodni, kdo nese odpovědnost. Pokud výstup jde ven (klientovi, na web, úřadu), musí ho ověřit člověk, který za něj ručí.

Kdy je halucinace nebezpečná a kdy neškodí

Ne každá chyba je stejně závažná. Užitečné je dívat se na dvě věci: jak snadno chybu poznáš a co se stane, když ji nepoznáš.

SituaceRizikoProč
Brainstorming názvů, nápadů, osnovNízkéNejde o fakta. Výstup posuzuješ ty a vybíráš z něj.
Přeformulování tvého vlastního textuNízké až středníFakta znáš, jen zkontroluj, že model nic nepřidal ani nevynechal.
Shrnutí dokumentu pro interní potřebuStředníChyba se může šířit dál, když shrnutí čte někdo, kdo originál neviděl.
Fakta, čísla a zdroje do prezentace nebo článkuVysokéChyba jde ven pod tvým jménem a poškozuje důvěru.
Právní, zdravotní, finanční či bezpečnostní rozhodnutíVelmi vysokéChyba má přímé následky pro lidi nebo peníze a často se pozná pozdě.

Obecné pravidlo: AI je skvělý pomocník tam, kde výsledek posuzuje znalý člověk, a riskantní tam, kde mu má někdo slepě věřit. Při zavádění AI ve firmě je proto důležitější nastavit, kdo a jak výstupy kontroluje, než vybrat „nejpřesnější model“.

Co si odnést

  • Jazykový model generuje věrohodné pokračování textu, ne ověřenou pravdu. Když pravdu „nezná“, vyrobí text, který jako pravda vypadá.
  • Halucinace nejčastěji postihují konkrétní údaje: citace, odkazy, čísla, jména a úzká témata.
  • „Nevím“ není vestavěné, model se ho musí naučit, a ani pak to není spolehlivé. Halucinace se nedají úplně odstranit.
  • Nejvíc pomáhá dát modelu podklady (dokument, vyhledávání, firemní data), dovolit mu přiznat nejistotu a chtít ověřitelné citace.
  • Ověřuj mimo model a tím důkladněji, čím vážnější jsou následky chyby. Za výstup odpovídá člověk, který ho použije.

Zdroje a další čtení