Jak pilot vyhodnotit

Na konci pilotu se obvykle sejde porada a někdo řekne: „Lidem se to líbí, myslím, že to šetří dost času.“ Všichni přikývnou, protože nikdo nechce být ten, kdo pilot pohřbí. O půl roku později firma platí licence pro sto lidí a nikdo neumí říct, co za ně dostává. Tahle lekce je o tom, jak tuhle poradu proměnit v rozhodnutí podložené daty.

Navazuje přímo na přípravu pilotu. Pokud máš zadání s výchozím měřením a předem danými prahy, máš polovinu práce hotovou. Pokud ne, tahle lekce ti aspoň ukáže, proč je vyhodnocení bez nich tak těžké.

Čísla: pět věcí, které měříš

Kvantitativní část vyhodnocení odpovídá na otázku „kolik“. Měříš stejné věci, stejným způsobem, jako u výchozího měření. Jinak srovnáváš jablka s hruškami.

1. Čas na úlohu proti výchozímu stavu

Hlavní metrika většiny pilotů. Ber ji ze systémů (helpdesk, tiketový systém, záznam v CRM), ne z dotazníků. Uváděj spíš medián než průměr: pár extrémně dlouhých případů (dotaz, u kterého se čekalo tři dny na sklad) by průměr zkreslil.

Medián(median)

Prostřední hodnota, když seřadíš všechna měření od nejmenšího po největší. Polovina případů je kratší, polovina delší. Na rozdíl od průměru ho jeden extrémní případ skoro neovlivní.

Pozor na to, co přesně měříš. Čas práce agenta na dotaz a doba, než zákazník dostane odpověď, jsou dvě různé věci. AI může zkrátit první a druhé nezměnit, protože dotaz stejně leží ve frontě. Obojí je užitečné vědět, ale do zprávy napiš, co jsi měřil.

2. Kvalita: hodnocení podle pravidel

Kvalitu neposuzuj dojmem. Vezmi náhodný vzorek výstupů z pilotu i ze srovnávací skupiny (nebo z výchozího měření) a nech je ohodnotit podle stejné stupnice. Nejpoctivější je, když hodnotitel neví, který výstup vznikl s AI a který bez ní. Říká se tomu slepé hodnocení a je to nejlevnější ochrana proti tomu, aby hodnotitel viděl to, co vidět chce.

U technicky náročnějších řešení můžeš kvalitu měřit i automaticky, pomocí testovací sady a evaluací. Jak na to, rozebírají lekce Měření kvality a Testovací sady. V pilotu ale lidské hodnocení vzorku skoro vždy potřebuješ, protože jde o to, jak výstup obstojí ve skutečné práci.

3. Chybovost

Kolik výstupů obsahovalo věcnou chybu, která prošla až ven? Kolik jich musel agent zásadně přepsat? Kolik tiketů se znovu otevřelo? Tohle je tvoje „brzda“: zlepšení času nemá cenu, pokud se zaplatí chybami u zákazníků. Počítej zvlášť chyby, které zachytila kontrola (to je v pořádku, od toho tam je), a chyby, které prošly.

4. Používání

Jak často lidé nástroj skutečně použili, když mohli? Kolik návrhů přijali beze změny, kolik upravili, kolik zahodili? Nízké používání je samo o sobě výsledek. Nástroj, který šetří čas, ale nikdo ho nepoužívá, nešetří nic.

Sleduj používání v čase, týden po týdnu. Křivka ti řekne víc než jedno číslo za celý pilot (proč, uvidíš u efektu novosti).

5. Náklad na úlohu

Kolik stál jeden vyřízený dotaz: poplatky za model, licence, podíl nastavení a údržby. Teprve když ho porovnáš s ušetřeným časem lidí, víš, jestli se řešení vyplatí. A počítej s tím, že při rozšíření se náklady chovají jinak než v pilotu. Jak náklady odhadnout a jak je ovlivňuje volba modelu, vysvětluje lekce Náklady a volba modelu.

Rozhovory: proč čísla nestačí

Čísla ti řeknou, co se stalo. Proč se to stalo, se dozvíš jen od lidí. Na konci pilotu udělej s každým uživatelem krátký rozhovor (20–30 minut stačí) a ptej se na konkrétní situace, ne na názory:

• „Vzpomeneš si na poslední dotaz, kde ti návrh pomohl? A kde tě zdržel?“
• „Kdy jsi návrh rovnou smazal a psal sám? Proč?“
• „Dělal jsi něco jinak, než jsme plánovali? Třeba jsi návrh kopíroval do jiného okna, upravoval si prompt, obcházel nějaký krok?“
• „Co by se muselo změnit, abys to používal u všech dotazů?“

Nejcennější jsou obcházky (workarounds): místa, kde si lidé nástroj přizpůsobili nebo ho obešli. Když agenti návrhy kopírují do Wordu, aby je přepsali, nástroj nejspíš píše moc dlouze nebo nevhodným tónem. Když u jednoho typu dotazů návrh nikdo nepoužívá, model tam možná nemá potřebné informace. Obcházky ti ukážou, co opravit, a často i to, proč čísla vyšla tak, jak vyšla.

Pasti, které výsledky zkreslují

Vyhodnocení pilotu je malý experiment a má stejné slabiny jako každý experiment s lidmi. Tady jsou ty nejčastější.

Efekt novosti

Nové nástroje lidé zpočátku zkoušejí víc a s větším nadšením. První dva týdny používání raketově roste, pak klesá a ustálí se někde níž. Opačně to platí taky: první dny jsou lidé pomalejší, protože se nástroj učí. Pokud vyhodnotíš pilot po prvních dnech, změříš buď nadšení, nebo zaučení, ale ne běžný provoz.

Obrana: pilot nech běžet dost dlouho, aby se používání ustálilo, první týden nebo dva vyřaď z hlavního vyhodnocení (předem, v zadání) a sleduj křivky v čase.

Hawthornský efekt

Lidé se chovají jinak, když vědí, že jsou pozorovaní. Tým v pilotu ví, že se na něj dívá vedení, a tak se snaží víc. Zlepšení pak může pocházet z pozornosti, ne z AI.

Do hloubkyOdkud se Hawthornský efekt vzal a proč je kolem něj spor+

Název pochází z pokusů v továrně Hawthorne Works firmy Western Electric u Chicaga, které probíhaly v letech 1924–1932. Výzkumníci měnili například osvětlení dílny a sledovali, jak se mění výkon dělnic. Podle tradovaného výkladu výkon rostl skoro při každé změně, i když se světlo ztlumilo, a to proto, že dělnice věděly, že se na ně někdo dívá. Pojem „Hawthornský efekt“ vznikl až v 50. letech.

Pozdější výzkum tenhle příběh hodně zpochybnil. Ekonomové Steven Levitt a John List v roce 2009 našli původní data z pokusů s osvětlením, která se považovala za ztracená, a došli k závěru, že dramatické vzorce, které se o nich desítky let vyprávěly, v datech nejsou. Našli jen slabé náznaky efektu. Jiní autoři upozorňují, že v Hawthorne hrála roli i zpětná vazba (dělnice viděly svůj výkon) a učení.

Pro tvůj pilot z toho plyne střízlivé poučení: nevíme přesně, jak silný efekt pozorování je, ale nemůžeš ho vyloučit. Proto srovnávací skupina, která je pozorovaná stejně jako pilotní, jen nemá AI. Pokud se zlepší obě skupiny, zlepšení nezpůsobila AI.

Vybrané příklady

V závěrečné prezentaci se skoro vždy objeví tři skvělé odpovědi, které AI napsala. Jsou skutečné, a přesto nic nedokazují. Ze stovek výstupů se vždycky najde pár výborných, stejně jako pár katastrofálních. O výsledku rozhoduje typický případ a podíl chyb, ne nejlepší ukázka. Pokud chceš příklady ukázat, vyber je náhodně, nebo ukaž nejlepší i nejhorší vedle sebe.

Pocitové úspory času místo změřených

Tohle je možná nejzrádnější past, protože působí jako data. „Kolik času ti AI ušetřila?“ je otázka, na kterou lidé odpovídají pocitem, a ten může být od skutečnosti hodně daleko.

Dobře to ukázala studie organizace METR z roku 2025. Šestnáct zkušených vývojářů open-source softwaru řešilo 246 skutečných úkolů na svých vlastních projektech, u části z nich směli používat AI nástroje, u části ne. Před studií vývojáři odhadovali, že s AI budou o 24 % rychlejší. Po studii si mysleli, že byli o 20 % rychlejší. Změřený výsledek: s AI jim úkoly trvaly o 19 % déle.

Je to jedna studie, s malým počtem lidí a v jedné specifické práci (zkušení vývojáři na kódu, který dobře znají), takže z ní neplyne, že AI práci zpomaluje obecně. Plyne z ní něco jiného a pro tebe důležitějšího: pocit úspory času a změřená úspora se můžou lišit dokonce i ve znaménku. Proto čas měř ze systémů nebo přímým měřením, a dotazník používej na to, v čem je dobrý: na zkušenost, spokojenost a nápady.

Slabé výchozí měření

Pilot můžeš „vyhrát“ i tím, že ho srovnáš se špatným výchozím stavem. Výchozí měření z nejhoršího týdne v roce, srovnání s procesem, který se mezitím zlepšil i bez AI (nová znalostní báze, víc lidí), nebo srovnání „pilot s AI a novým postupem“ proti „starý postup bez AI“. V posledním případě nevíš, co pomohlo, jestli AI, nebo nový postup.

Obrana: srovnávací skupina ve stejném období, stejná metrika, a pokud jsi při pilotu změnil i postup, přiznej to ve zprávě.

Rozhodnutí: rozšířit, iterovat, nebo skončit

V den rozhodnutí položíš výsledky vedle prahů, které jste si dali v zadání. Možnosti jsou tři.

Rozšířit. Kritéria jsou splněná, rizika zvládnutá, lidé nástroj používají. Další krok není „zapnout to všem“, ale naplánovat rozšíření: další týmy, provozní dohled, odpovědnosti. To je téma lekce Škálování a governance.

Iterovat. Výsledek je v šedé zóně: přínos je vidět, ale něco brání (u jednoho typu dotazů návrhy nefungují, agenti si stěžují na délku textu). Iterace má smysl jen tehdy, když víš, co konkrétně změníš, a dáš si na to pevný čas a nové datum rozhodnutí. Iterace bez konkrétní změny je jen odklad.

Skončit. Hlavní metrika se nepohnula, nebo chybovost překročila limit, nebo lidé nástroj nepoužívají a víš proč. Tohle je legitimní a často velmi dobrý výsledek.

Proč je ukončení úspěch

Pilot je nástroj, jak se něco levně dozvědět. Pokud za šest týdnů a za zlomek ceny plného nasazení zjistíš, že to nefunguje, ušetřil jsi firmě peníze, čas a zklamání stovky lidí. Dražší by bylo to nevědět.

Aby ukončení opravdu bylo úspěch, musí mít dvě vlastnosti. Musí být včasné (podle data v zadání, ne po půl roce váhání) a musí přinést poučení: proč to nefungovalo a co z toho plyne pro další piloty. „Model neměl přístup k aktuálnímu stavu skladu“ je cenné zjištění, které ti pomůže u dalšího případu použití. Ve firmě, kde se za ukončený pilot trestá, budou lidé piloty uměle prodlužovat a výsledky přikrášlovat.

Závěrečná zpráva pilotu

Výsledky shrň do krátké zprávy (dvě až čtyři strany), kterou si přečte i člověk, který u pilotu nebyl. Struktura:

1. Shrnutí (pět vět). Co jsme zkoušeli, hlavní výsledek, doporučení, co je potřeba k dalšímu kroku.
2. Výsledky proti kritériím. Tabulka: metrika, výchozí měření, výsledek pilotu, srovnávací skupina, předem daný práh, splněno ano/ne. Bez přidaných metrik, které v zadání nebyly. Pokud nějakou přidáváš, označ ji jako doplňkovou.
3. Co jsme se dozvěděli od lidí. Hlavní zjištění z rozhovorů, obcházky, nejčastější výhrady. Citace anonymně.
4. Náklady. Skutečné náklady pilotu a odhad nákladů při rozšíření, včetně nákladu na jednu úlohu.
5. Rizika, která se ukázala. Chyby, které prošly, incidenty, problémy s daty nebo s právem a jak se řešily.
6. Omezení vyhodnocení. Co mohlo výsledky zkreslit: krátká doba, malý vzorek, změna procesu během pilotu, sezóna. Poctivost tady zvyšuje důvěryhodnost celé zprávy.
7. Doporučení. Rozšířit, iterovat, nebo skončit, a proč.
8. Co je potřeba k dalšímu kroku. Při rozšíření: kdo, kdy, rozpočet, školení, provozní dohled (Monitoring). Při iteraci: co se změní a nové datum rozhodnutí. Při ukončení: co si bereme do dalších pilotů.

Bod 6 v mnoha zprávách chybí, a přitom je pro rozhodujícího člověka nejužitečnější. Zpráva, která přizná, že vzorek byl malý a výsledek je proto spíš orientační, je důvěryhodnější než zpráva, kde všechno vyšlo skvěle.

Jak nezůstat v pilotním očistci

Pilotní očistec(pilot purgatory)

Stav, kdy firma spustí jeden pilot za druhým, ale žádný z nich nedojde do provozu ani se neukončí. Piloty běží „dočasně“ celé měsíce, nikdo nerozhodne a nikdo nemá odpovědnost za další krok.

Pilotní očistec obvykle nevzniká proto, že by piloty nefungovaly. Vzniká, protože chybí datum rozhodnutí, chybí člověk, který rozhoduje, nebo chybí cesta, jak úspěšný pilot převést do provozu: rozpočet, vlastník, dohled, napojení na firemní systémy. Analytická firma Gartner v roce 2024 předpověděla, že nejméně 30 % projektů generativní AI skončí po fázi proof of concept, mimo jiné kvůli nejasné obchodní hodnotě. Předpověď sama nic nedokazuje, ale popisuje problém, který zná skoro každá firma, co s AI začala.

Tři pojistky proti očistci:

• Datum rozhodnutí v zadání a člověk, který ho dodrží. O tom byla předchozí lekce.
• Plán „co když se to povede“ už před startem. Kdo bude řešení vlastnit v provozu, odkud se zaplatí, kdo bude hlídat kvalitu. Pokud na to nikdo neumí odpovědět, úspěšný pilot nemá kam pokračovat.
• Portfolio, ne sbírka. Piloty patří do roadmapy a mají společná pravidla: jak se zadávají, jak se vyhodnocují, kdo rozhoduje. Jak to ve firmě nastavit natrvalo, rozebírá lekce Škálování a governance.

Co si odnést

• Měř stejné věci stejným způsobem jako u výchozího měření: čas (medián ze systémů), kvalitu (slepé hodnocení vzorku), chybovost, používání v čase a náklad na úlohu.
• Rozhovory s uživateli vysvětlí, proč čísla vyšla tak, jak vyšla. Nejcennější jsou obcházky a lidé, kteří nástroj přestali používat.
• Hlídej pasti: efekt novosti, efekt pozorování, vybrané příklady, pocitové úspory času a slabé výchozí měření. Proti většině z nich pomáhá srovnávací skupina.
• Rozhoduj podle prahů ze zadání: rozšířit, iterovat s konkrétní změnou a termínem, nebo skončit. Včasné ukončení s poučením je úspěch.
• Závěrečná zpráva poctivě srovná výsledky s kritérii, přizná omezení a řekne, co je potřeba k dalšímu kroku. Bez data rozhodnutí a vlastníka hrozí pilotní očistec.

Zdroje a další čtení

• Becker, Rush, Barnes, Rein: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (arXiv, 2025) – studie METR, ve které se pocitová a změřená úspora času lišily i ve znaménku.
• Brynjolfsson, Li, Raymond: Generative AI at Work (NBER, 2023) – měření AI asistenta v zákaznické podpoře podle vyřešených dotazů za hodinu, s rozdíly mezi začátečníky a zkušenými.
• Levitt, List: Was there Really a Hawthorne Effect at the Hawthorne Plant? (NBER, 2009) – nová analýza původních dat z pokusů s osvětlením.
• Hawthorne effect (Wikipedia) – přehled historie pojmu a kritiky.
• THE Journal: Gartner: 30% of Gen AI Projects Will Be Abandoned (2024) – předpověď Gartneru o projektech, které skončí po PoC.