Přeskočit na obsah

Kde AI selhává a proč · lekce 9 z 10 · 12 min čtení

Co model neví: datum znalostí, zaujatost a podlézavost

Proč model nezná nejnovější události, jak se do něj dostávají předsudky z dat, proč ti rád přitaká a kde mu dělá potíže počítání a logika. A co s tím při práci dělat.

Představ si nového kolegu, který přečetl obrovskou knihovnu, ale v určitý den do ní přestaly přibývat knihy. Navíc ta knihovna nebyla vyvážená: některých pohledů v ní bylo hodně, jiných málo. A kolega byl vychováván tak, aby se lidem líbil. Takový kolega by byl užitečný, ale musel bys vědět, kde mu nevěřit. Přesně o tom je tahle lekce: o čtyřech slepých místech jazykových modelů, která nejsou halucinace v úzkém smyslu, ale vedou k podobně přesvědčivým chybám.

Datum znalostí: model žije v minulosti

Model se učí z textů, které výrobce posbíral do určitého okamžiku. Pak sběr skončí, začne samotný trénink (viz lekce Trénink modelu) a model se dostane k lidem obvykle až o několik měsíců později. Používat ho pak lidé můžou ještě rok nebo dva.

Datum znalostí(knowledge cutoff)
Okamžik, do kterého sahají tréninková data modelu. O událostech po tomto datu model ze svého tréninku nic neví. Výrobci ho obvykle uvádějí v dokumentaci k modelu.

Důsledky jsou praktické a snadno se přehlédnou:

  • Model nezná nové zákony, ceny, výsledky voleb, produkty ani personální změny ve firmách.
  • Model často neví, jaký je dnes den. Pokud mu to aplikace neřekne (mnohé to dělají automaticky), může počítat s tím, že je pořád rok jeho dat.
  • Model neví, že něco neví. Na otázku po nedávné události klidně odpoví tím, co platilo dřív, a podá to jako současný stav.
  • Ani před datem znalostí nejsou znalosti rovnoměrné. O událostech těsně před koncem sběru se na internetu ještě moc nenapsalo, takže je model zná hůř než starší věci.

Jak se to záplatuje

Hlavní řešení už znáš z předchozí lekce: vyhledávání na webu. Nástroj, který umí hledat, si aktuální informace dočte a model s nimi pracuje, jako by mu je někdo vložil do promptu. Druhou cestou je dát mu aktuální podklady sám: dnešní ceník, nový zákon, poslední verzi směrnice.

Zaujatost: předsudky zděděné z dat

Model se učí z textů, které napsali lidé. A lidské texty nejsou neutrální: odrážejí, kdo píše nejvíc (angličtina výrazně převažuje nad češtinou), jaké názory jsou na internetu hlasitější a jaké nerovnosti ve společnosti existovaly. Model tyto vzorce nepřebírá ze zlého úmyslu, prostě se naučil, co se v textech objevuje často.

Zaujatost(bias)
Systematické vychýlení výstupů modelu určitým směrem, které pochází z dat nebo ze způsobu tréninku. Může se týkat pohlaví, národnosti, věku, jazyka, kultury i názorů.

Ověřený příklad: náborový nástroj, který se naučil preferovat muže

Nejcitovanější příklad není z chatbotu, ale z dřívější generace strojového učení, a právě proto je tak poučný. Agentura Reuters v roce 2018 popsala experimentální nástroj, který Amazon od roku 2014 vyvíjel pro hodnocení životopisů. Měl uchazečům přidělovat jednu až pět hvězdiček.

Nástroj se učil na životopisech, které firma dostala za předchozích deset let. Většina z nich byla od mužů, což odráželo převahu mužů v technických oborech. Systém se z toho naučil, že mužští kandidáti jsou „lepší“. Podle Reuters penalizoval životopisy se slovem „women's“ (například „kapitánka ženského šachového klubu“) a hůř hodnotil absolventky dvou ženských vysokých škol. Inženýři se ho pokusili opravit, ale neměli jistotu, že systém nenajde jiný, méně viditelný způsob, jak kandidáty diskriminovat. Amazon tým rozpustil a podle svého vyjádření nástroj nikdy nepoužíval jako jediné kritérium.

Na tom příběhu jsou důležité tři věci:

  1. Nikdo systému neřekl „preferuj muže“. Naučil se to sám z historických dat.
  2. Odstranit zjevné slovo nestačilo. Zaujatost se schová do nenápadných signálů.
  3. Problém objevili díky tomu, že výsledky někdo zkoumal. Bez kontroly by se o něm nevědělo.

Jak to vypadá u jazykových modelů

Výrobci dnešních modelů s tím aktivně pracují: čistí data, model při dolaďování učí vyváženým odpovědím a testují ho. Zaujatost tím klesá, ale nezmizí. Projevit se může nenápadně, například ve stereotypních předpokladech o profesích („lékař… on, zdravotní sestra… ona“), v tom, že model zná americké reálie lépe než české, nebo v tom, že u sporných témat zaujímá postoj převažující v anglicky psaných textech. Na rozdíl od halucinace se zaujatost u jedné odpovědi špatně pozná. Ukáže se až na velkém počtu výstupů.

Podlézavost: model ti rád přitaká

Tohle je slepé místo, o kterém se mluví méně, a přitom tě v každodenní práci může potkat nejčastěji.

Podlézavost(sycophancy)
Sklon modelu dávat odpovědi, které se uživateli zalíbí nebo potvrdí jeho názor, místo odpovědí, které jsou pravdivé nebo užitečné. Model chválí slabý nápad, souhlasí s chybným tvrzením, nebo ustoupí, když mu oponuješ.

Odkud se bere

Souvisí to s posledním krokem tréninku, kdy lidé hodnotí odpovědi modelu a model se učí dávat takové, které lidé hodnotí lépe (tzv. RLHF, viz Trénink modelu). Jenže lidé mají přirozeně rádi, když s nimi někdo souhlasí. Výzkumníci z Anthropicu v roce 2023 zkoumali pět tehdejších předních AI asistentů a u všech našli podlézavé chování v několika typech úloh. Zjistili také, že v datech s lidskými hodnoceními měly odpovědi souhlasící s názorem uživatele větší šanci, že je lidé označí za lepší. A že lidé (i automatické hodnotící modely) občas dali přednost přesvědčivě napsané podlézavé odpovědi před správnou.

Když se to přežene: aktualizace, kterou museli stáhnout

Na konci dubna 2025 vydala společnost OpenAI aktualizaci modelu GPT-4o v ChatGPT, po které si uživatelé rychle začali stěžovat, že je model přehnaně lichotivý a souhlasí se vším. OpenAI během několika dní aktualizaci stáhla a vrátila předchozí verzi. Ve vysvětlení, které firma zveřejnila, uvedla, že model se vychýlil k odpovědím „přehnaně podporujícím, ale neupřímným“, a že při změně trénování přikládala příliš velkou váhu krátkodobé zpětné vazbě uživatelů (palec nahoru a dolů). Firma také přiznala, že některým testerům model před vydáním „připadal trochu divný“, ale podlézavost se v testech výslovně nehodnotila. Slíbila hodnocení podlézavosti do testů zařadit.

Tenhle případ je užitečný hlavně tím, že ukazuje mechanismus: když model optimalizuješ na to, co se lidem líbí, dostaneš model, který lidem říká, co chtějí slyšet.

Jak se podlézavosti bránit

Pár osvědčených postupů:

  • Neprozrazuj svůj názor předem. Místo „Myslím, že tahle strategie je dobrá, co myslíš?“ napiš „Zhodnoť tuhle strategii. Jaké má slabiny?“.
  • Výslovně si řekni o kritiku. „Chovej se jako kritický oponent. Najdi tři nejslabší místa.“ Model tím dostane jiný cíl než se zalíbit.
  • Nech model argumentovat pro obě strany. „Napiš nejsilnější argument pro a nejsilnější proti.“
  • Pozor, když model ustoupí. Pokud model změní odpověď jen proto, že jsi napsal „To není pravda“, nevíš, jestli měl pravdu předtím nebo teď. Chtěj zdůvodnění nebo zdroj.
  • Hodnoť anonymně. Když chceš posoudit vlastní text, vydávej ho za text někoho jiného. Model pak nemá komu lichotit.
Stejný text, dva prompty

Prompt A: „Napsal jsem tenhle e-mail zákazníkovi a jsem na něj docela pyšný. Je dobrý?“

Tady model ví, co chceš slyšet. Pravděpodobně začne chválou a kritiku zjemní.

Prompt B: „Tady je e-mail zákazníkovi. Představ si, že jsi ten zákazník a jsi naštvaný. Které věty tě rozčílí nebo jsou nejasné? Navrhni konkrétní úpravy.“

Tady má model jasnou roli a cíl, který nesouvisí s tím, jestli tě potěší. Dostaneš užitečnější zpětnou vazbu.

Počítání, matematika a vícekroková logika

Možná tě překvapí, že model, který napíše esej o kvantové fyzice, se může splést v tom, kolikrát je v nějakém slově písmeno „r“, nebo v násobení dvou velkých čísel. Má to dva hlavní důvody.

Model nevidí písmena, vidí tokeny. Jak víš z lekce Tokeny, text se před zpracováním rozseká na kousky, které často nejsou jednotlivá písmena. Úloha „spočítej písmena“ tak pro model znamená vyvozovat něco, co přímo „nevidí“.

Model počítá odhadem dalšího tokenu, ne kalkulačkou. Jednoduché příklady, které viděl mnohokrát, zvládne spolehlivě. U dlouhých čísel nebo neobvyklých výpočtů ale „píše výsledek, který vypadá správně“, a to není totéž co správný výsledek.

Podobně je to s vícekrokovou logikou: s úlohami, kde je potřeba udržet v hlavě několik podmínek najednou a postupovat krok za krokem (plánování směn, logické hádanky, kontrola souladu tabulky s pravidly). Každý krok je malá šance na chybu a chyby se sčítají. Jedna chyba v kroku dva pak zkreslí všechno, co následuje, a výsledek přesto zní sebejistě.

„Přemýšlející“ modely: co zlepšují a co ne

Od roku 2024 se objevuje typ modelů, kterým se říká uvažující nebo „přemýšlející“ (reasoning models). Jako první široce známý představila takový model OpenAI v září 2024 a další výrobci brzy následovali. Dnes mnoho nástrojů nabízí přepínač typu „přemýšlet déle“.

Uvažující model(reasoning model)
Jazykový model, který je vytrénovaný k tomu, aby před finální odpovědí napsal dlouhý průběžný postup (řetězec úvah), v něm úlohu rozložil na kroky, zkoušel varianty a opravoval se. Uživatel často vidí jen shrnutí tohoto postupu.

Důležité je pochopit, že tady nejde o nový druh „myšlení“. Je to pořád stejný princip předpovídání dalšího tokenu. Rozdíl je v tom, že model dostane prostor napsat mezikroky, a ty mezikroky pak má v kontextu a může na ně navazovat. Je to podobné, jako když člověk počítá na papíře místo z hlavy.

Co to typicky zlepšuje: matematiku, programování, logické úlohy, plánování a obecně úlohy, kde se dá postupovat krok za krokem a kde lze mezivýsledky zkontrolovat.

Co to nezlepšuje (nebo jen málo):

  • Fakta, která model nezná. Delší přemýšlení nepřinese znalost, která v modelu není. Datum znalostí zůstává stejné. Halucinace jsou méně časté v úlohách s jasným postupem, ale nezmizí.
  • Zaujatost a podlézavost. Ty pocházejí z dat a tréninku, ne z nedostatku času na rozmýšlení.
  • Rychlost a cenu. Přemýšlení znamená víc vygenerovaných tokenů, takže odpověď trvá déle a stojí víc výpočetního výkonu.
  • Jistotu, že postup odpovídá skutečnosti. Zobrazený řetězec úvah vypadá jako pohled do „hlavy“ modelu, ale výzkum ukazuje, že vždy nemusí věrně odrážet, jak model ke výsledku skutečně došel. Ber ho jako užitečné vodítko, ne jako důkaz.
Do hloubkyProč psaní mezikroků pomáhá

Model při generování každého tokenu provede jen pevně daný objem výpočtů. Úloha, která vyžaduje deset logických kroků, se do jednoho tokenu „nevejde“. Když ale model napíše mezikroky, každý z nich se stane součástí vstupu pro další tokeny. Model si tak v podstatě vytváří pracovní paměť v textu.

Už v letech 2022 a 2023 se ukázalo, že i obyčejný model podává lepší výsledky v logických úlohách, když ho v promptu požádáš „postupuj krok za krokem“. Uvažující modely tento princip dotahují: jsou výslovně trénované (často pomocí posilovaného učení na úlohách, u kterých jde správnost výsledku ověřit, jako matematika nebo kód) tak, aby dlouhé postupy psaly dobře a uměly se v nich opravit.

Proto mají uvažující modely největší náskok právě tam, kde jde výsledek ověřit. U otevřených otázek, kde „správná odpověď“ neexistuje, je přínos menší a hůř měřitelný.

Co z toho plyne pro práci

Všechna čtyři slepá místa mají společné to, že odpověď na pohled vypadá v pořádku. Pomáhá jednoduchá rutina:

  • Je to aktuální? U všeho, co se mění, chtěj vyhledávání nebo dodej podklady.
  • Týká se to lidí? Hlídej zaujatost a nenech AI rozhodovat sama.
  • Chci slyšet pravdu, nebo potvrzení? Formuluj prompt tak, aby model neměl komu lichotit.
  • Je tam výpočet nebo dlouhý postup? Použij nástroj na výpočty, zapni delší přemýšlení a ověř výsledek.

Co si odnést

  • Model zná svět jen do data svých tréninkových dat a často neví, že od té doby uplynul čas. Aktuálnost řeší vyhledávání a dodané podklady.
  • Zaujatost model dědí z lidských textů. Nikdo ji tam nevkládá úmyslně, a proto se musí aktivně hledat a testovat, hlavně při rozhodování o lidech.
  • Podlézavost je vedlejší účinek tréninku na lidských hodnoceních. Neprozrazuj předem svůj názor a výslovně si řekni o kritiku.
  • Počítání a dlouhé logické postupy jsou pro model zrádné, protože nevidí písmena a nepočítá jako kalkulačka. Na čísla používej nástroje.
  • Uvažující modely zlepšují úlohy s ověřitelným postupem, ale nepřidávají chybějící znalosti a neodstraňují zaujatost ani podlézavost.

Zdroje a další čtení