Škálování a governance

Pilot se povedl. Pět lidí z obchodu tři měsíce připravovalo nabídky s AI, čas na jednu nabídku klesl a kvalita se podle vedoucího nezhoršila. Teď přijde otázka „tak to dáme všem“. A s ní řada dalších, které v pilotu nikoho nezajímaly: Kdo to bude spravovat, až autor odjede na dovolenou? Co když dodavatel změní model? Kdo schválí, když bude marketing chtít něco podobného? Kolik to bude stát pro sto lidí místo pěti?

Tahle lekce je o přechodu z „projektu, který se povedl“ na „věc, kterou firma umí dlouhodobě dělat“. Odborně se tomu říká governance. To slovo zní byrokraticky, ale v jádru jde o jednoduchou věc: aby bylo jasné, kdo o čem rozhoduje, podle jakých pravidel a jak se pozná, že to funguje.

Governance AI(AI governance)

Souhrn rolí, pravidel a postupů, kterými firma rozhoduje o tom, jaké AI systémy používá, jak je schvaluje, sleduje a kdy je mění nebo vypíná. Dobrá governance je přiměřená velikosti firmy a riziku, nikoli co nejobsáhlejší.

Z pilotu do provozu

Pilot často běží „na koleni“: jeden nadšenec, ruční kroky, sdílený účet, žádná dokumentace. To je v pilotu v pořádku, protože testuješ, jestli to má smysl. V provozu by to byla časovaná bomba. Než řešení rozšíříš, projdi s ním tyhle body:

Oblast	Co musí platit před rozšířením	Kde se o tom dozvíš víc
Bezpečnost	Kontrola, kam tečou data, kdo má jaký přístup, ochrana proti zneužití vstupů	Prompt injection, Oprávnění a lidská kontrola
Právo a data	Smlouva s dodavatelem, osobní údaje, zařazení podle AI Actu	Smlouvy s dodavateli, Kategorie rizika
Kvalita	Testovací sada z pilotu, která se dá spouštět znovu	Testovací sady
Monitoring	Co se loguje, jaké metriky se sledují, kdo dostane upozornění	Monitoring a logování
Podpora	Kam se lidé obrátí, když to nefunguje, a kdo je zástupce vlastníka	níže
Dokumentace	K čemu to je, jak to funguje, jaká má omezení, co dělat při výpadku	níže

Dva body z tabulky stojí za rozvedení, protože se na ně zapomíná nejčastěji.

Model podpory. Každé řešení potřebuje jmenovaného vlastníka (člověk z byznysu, který odpovídá za to, že řešení plní účel) a technického správce (kdo ho udržuje v chodu). V malé firmě to může být tentýž člověk, ale musí mít zástupce. Uživatelé potřebují vědět, kam hlásit problém, a musí existovat záložní postup: co dělat, když AI nefunguje nebo dává nesmysly. Pokud by výpadek zastavil celý proces, není řešení připravené.

Dokumentace. Stačí jedna až dvě strany: účel, kdo ho používá, jaká data zpracovává, jaký model a dodavatel, známá omezení (kde chybuje), jak se výstupy kontrolují a kdo je vlastník. Tahle stránka je zároveň záznam do registru, ke kterému se dostaneme za chvíli.

Governance přiměřená velikosti firmy

Velké korporace mají výbory pro etiku AI, risk officery a stostránkové směrnice. Firma se 40 lidmi nic z toho nepotřebuje. Potřebuje ale odpovědět na stejné otázky. Přiměřená struktura vypadá zhruba takto:

Prvek	Malá firma (do 50 lidí)	Střední firma (50–250)	Větší firma
Vlastník AI pravidel	Jeden člověk z vedení, pár hodin měsíčně	Určená role, část úvazku	Tým nebo samostatná funkce
Posouzení nových případů	Vlastník + jeden kolega (IT nebo právník)	Malá rada 3–4 lidí, schůzka jednou za měsíc	Formální rada se zástupci práva, bezpečnosti, IT, byznysu
Pravidla	Jednostránkové pravidlo používání	Pravidlo + krátký postup schvalování	Směrnice, standardy, školení
Registr	Tabulka	Tabulka nebo nástroj	Nástroj napojený na další systémy

Rada pro posouzení AI(AI review board)

Malá skupina lidí, kteří posuzují nové návrhy na použití AI z pohledu rizik, dat, práva a přínosu a rozhodují, jestli a za jakých podmínek mohou pokračovat. Nejde o to návrhy zdržovat, ale zachytit ty, které potřebují víc péče.

Nejdůležitější vlastnost dobré governance je, že rozlišuje. Nová šablona pro psaní e-mailů ve schváleném nástroji nepotřebuje žádné schvalování. Chatbot, který bude radit zákazníkům, ano. Pokud všechno projde stejným dlouhým procesem, lidé ho začnou obcházet a vrátíš se k používání potají, které jsme řešili v minulé lekci.

Úrovně rizika a vazba na AI Act

Osvědčuje se rozdělit případy použití do tří interních úrovní a ke každé přiřadit, kolik posouzení potřebuje. Úrovně se přirozeně opírají o kategorie AI Actu (zakázané praktiky, vysoce rizikové systémy, systémy s povinnostmi transparentnosti a ostatní), které podrobně vysvětluje lekce Kategorie rizika. Interní úrovně jsou ale jemnější, protože zohledňují i rizika, která AI Act neřeší: únik obchodního tajemství, chyby vůči zákazníkům, pověst.

Interní úroveň	Příklady	Postup
Zelená	Osobní práce ve schváleném nástroji: texty, shrnutí, nápady	Žádné schvalování, platí pravidlo používání
Oranžová	Automatizace interního procesu, práce s osobními údaji, výstupy jdoucí zákazníkům po kontrole člověkem, chatbot s povinností informovat, že jde o AI	Vyplnit žádost, posouzení vlastníkem a jedním odborníkem, testovací sada, monitoring
Červená	Cokoli, co může spadat do vysoce rizikových oblastí AI Actu (například výběr uchazečů o práci, hodnocení zaměstnanců, úvěruschopnost), automatická rozhodnutí o lidech	Plné posouzení radou, právní posouzení, často raději nedělat nebo jen s externí pomocí
Zakázáno	Praktiky zakázané AI Actem	Nedělá se

Formulář pro nové případy použití

Aby posouzení netrvalo týdny, potřebuješ krátký formulář, který si navrhovatel vyplní sám. Dobře vyplněný formulář vyřeší polovinu posouzení dřív, než začne.

1. Název a navrhovatel. Kdo bude vlastník?
2. Jaký problém řešíme? Který proces, kolik času nebo peněz to dnes stojí (viz Od cílů firmy k případům použití).
3. Kdo bude výstupy používat a kdo je uvidí? Jen interně, zákazníci, veřejnost?
4. Jaká data do systému půjdou? Osobní údaje, obchodní tajemství, data zákazníků?
5. Jaký nástroj nebo dodavatel? Je už schválený?
6. Rozhoduje systém o lidech (zaměstnanci, uchazeči, zákazníci)? Jak?
7. Kde je člověk? Kdo výstup kontroluje před použitím a jak?
8. Co se stane, když systém udělá chybu? Jak se to pozná a dá se to vrátit?
9. Jak poznáme úspěch? Metrika a výchozí hodnota.
10. Navrhovaná úroveň: zelená / oranžová / červená.

Registr AI

Registr AI(AI inventory)

Seznam všech AI systémů a nástrojů, které firma používá, s tím, k čemu slouží, kdo je vlastník, jaká data zpracovávají, od jakého dodavatele jsou a do jaké úrovně rizika patří.

Registr zní jako byrokracie, ale je to základ všeho ostatního. Bez něj nevíš, co máš zkontrolovat, když dodavatel změní podmínky, když vyjde nová povinnost z AI Actu, nebo když se zeptá zákazník, jestli jeho data zpracováváte pomocí AI. V malé firmě stačí tabulka se sloupci: název, účel, vlastník, dodavatel a model, typ dat, úroveň rizika, datum posledního přezkumu, odkaz na dokumentaci.

Nejtěžší je registr udržet úplný. Nové AI funkce se objevují uvnitř nástrojů, které už firma má (kancelářský balík, CRM, účetnictví), často bez jakéhokoli oznámení. Proto do registru patří i tyhle „vestavěné“ funkce a jednou za čtvrtletí se vyplatí projít seznam hlavních nástrojů a zeptat se: přibylo v nich něco s AI?

Dodavatelé a změny modelů

Při škálování se z jednoho dodavatele často stane několik. Pro každého platí totéž, co rozebírá lekce Smlouvy s dodavateli: kde jsou data, jestli se na nich trénuje, jaká je podpora. K tomu přibývá provozní otázka: modely se mění pod rukama.

Dodavatelé pravidelně vydávají nové modely a staré vyřazují. Například Anthropic v dokumentaci popisuje životní cyklus, kdy model je nejdřív aktivní, pak zastaralý (stále funguje, ale má datum vyřazení) a nakonec vyřazený, kdy požadavky na něj selhávají. Zákazníkům s aktivním používáním slibuje oznámení nejméně 60 dní předem. U jiných dodavatelů jsou lhůty jiné a u nástrojů s chatovým rozhraním se model často mění bez jakékoli volby na tvé straně.

Pro tebe z toho plyne jednoduché pravidlo: každá změna modelu je změna systému. Postup:

1. V registru je u každého systému uvedený model a jeho plánované vyřazení.
2. Při oznámení nového modelu spusť testovací sadu na starém i novém a porovnej výsledky.
3. Zkontroluj šablony a prompty. Nový model může na stejné zadání reagovat jinak, často lépe, ale ne vždy.
4. Přepni a první týdny sleduj monitoring pozorněji.

Bez testovací sady je každá změna modelu skok do neznáma. To je asi nejsilnější praktický argument, proč si sadu z pilotu uchovat.

Rozpočet a měření hodnoty v čase

Náklady při škálování rostou jinak, než se v pilotu zdálo. Licence na uživatele rostou lineárně s počtem lidí. Náklady na volání přes API rostou s objemem a můžou překvapit, když se řešení rozšíří do procesu s mnoha požadavky (jak náklady řídit, rozebírá lekce Náklady, rychlost a volba modelu). A pak jsou náklady, které v pilotu nebyly vidět vůbec: čas vlastníků a správců, ambasadoři, údržba knihovny, posouzení nových případů.

Do ročního rozpočtu na AI proto patří:

• licence a provoz (s rezervou na růst používání),
• lidský čas na správu, podporu a školení,
• obnovu – čas na přezkum případů a přechod na nové modely,
• malý fond na experimenty, ze kterého se financují nové piloty.

Hodnotu měř u každého případu použití znovu aspoň dvakrát ročně, stejnými metrikami, jaké se stanovily v žádosti a v pilotu. Přínosy mají sklon „vyprchat“: proces se změní, lidé přestanou šablonu používat, nebo se ukáže, že ušetřený čas se nikam nepřelil. Případ, který po roce nepřináší, co sliboval, je kandidát na úpravu nebo vypnutí. Umět věci vypínat je stejně důležité jako je zavádět.

ISO/IEC 42001: volitelný rámec

ISO/IEC 42001(AI management system)

Mezinárodní norma vydaná v prosinci 2023, která stanoví požadavky na systém řízení AI v organizaci (AI management system, AIMS): jak ho zavést, provozovat, udržovat a neustále zlepšovat. Je určená firmám, které AI vyvíjejí, poskytují nebo používají, a dá se podle ní získat certifikace od akreditovaného certifikačního orgánu.

Norma má stejnou stavbu jako jiné normy pro systémy řízení, například ISO/IEC 27001 pro bezpečnost informací nebo ISO 9001 pro kvalitu. Pokud firma některou z nich už má, přidat AI je o poznání snazší, protože principy (politika, role, posouzení rizik, interní audity, přezkum vedením) jsou stejné.

Potřebuješ ji? Pro většinu malých a středních firem ne. Certifikace dává smysl hlavně tam, kde ji vyžadují zákazníci (typicky velcí odběratelé nebo veřejný sektor), nebo kde firma AI dodává jako produkt a chce důvěryhodně doložit, že ji řídí. Jako inspirace se ale hodí každému: co pokrývá, je dobrý kontrolní seznam pro vlastní governance. Podobnou roli hraje dobrovolný americký rámec NIST AI RMF se čtyřmi funkcemi: řídit, mapovat, měřit a spravovat (govern, map, measure, manage).

Do hloubkyVztah normy k AI Actu+

ISO/IEC 42001 a AI Act jsou dvě různé věci. AI Act je právní předpis s povinnostmi, které závisí na roli firmy a kategorii systému. Norma je dobrovolná a říká, jak má vypadat systém řízení, ne jaké konkrétní povinnosti musíš splnit.

Mnoho prvků se překrývá (řízení rizik, dokumentace, lidský dohled, sledování v provozu), takže firma s fungujícím systémem podle normy má k plnění AI Actu blíž. Certifikace podle ISO/IEC 42001 ale sama o sobě neznamená, že firma splňuje AI Act. Pro vysoce rizikové systémy se v EU připravují harmonizované normy, na které se bude AI Act odkazovat; jejich stav se v době psaní vyvíjí, takže sleduj aktuální informace v lekci Povinnosti a termíny.

Jak udržet portfolio čerstvé

AI je zvláštní tím, že se nástroje zlepšují rychleji než skoro cokoli jiného ve firmě. Má to dva důsledky.

Zaprvé, případy, které loni nefungovaly, můžou fungovat letos. Udržuj si seznam nápadů, které neprošly pilotem kvůli kvalitě modelu (ne kvůli tomu, že nedávaly obchodní smysl), a jednou za čas je zkus znovu na nové generaci modelů. Testovací sada z neúspěšného pilotu má hodnotu právě tady.

Zadruhé, řešení, které jste pracně postavili, může zastarat. Co loni vyžadovalo vlastní aplikaci, může být letos funkcí v běžném nástroji. Proto se u každého případu při pravidelném přezkumu zeptej znovu na otázku z lekce Koupit, nebo postavit.

Prakticky stačí jednou za půl roku krátká schůzka vlastníka AI pravidel s vlastníky jednotlivých řešení a projít registr: co přináší, co ne, co je zastaralé, co zkusit znovu. Z toho vzejde aktualizace roadmapy na další období.

Co si odnést

• Před rozšířením pilotu ho převeď do provozu: bezpečnost, smlouvy, testovací sada, monitoring, vlastník se zástupcem, záložní postup a krátká dokumentace.
• Governance má být přiměřená velikosti firmy a hlavně rozlišovat: běžná práce ve schváleném nástroji bez schvalování, rizikovější případy přes krátký formulář a posouzení.
• Interní úrovně rizika se opírají o kategorie AI Actu, ale pokrývají i obchodní rizika. U všeho blízko vysoce rizikových oblastí si nech zařazení ověřit.
• Registr AI (klidně tabulka) je základ: bez něj nevíš, co kontrolovat, když se změní dodavatel, model nebo zákon. Patří do něj i AI funkce vestavěné do nástrojů, které už máš.
• Každá změna modelu je změna systému: spusť testovací sadu, zkontroluj šablony, sleduj monitoring.
• Hodnotu měř opakovaně a měj odvahu věci vypínat. ISO/IEC 42001 je užitečná inspirace, certifikace dává smysl hlavně, když ji chtějí zákazníci.

Na konec celé cesty

Tohle je poslední lekce celé akademie. Začínal jsi u otázky, co to vlastně je AI a jak se stroje učí, a končíš u registrů, rad a rozpočtů. Mezi tím jsi zjistil, že jazykový model předpovídá další token, že sebejistě halucinuje, že dobrý výsledek závisí na zadání, že kvalitu je potřeba měřit, ne odhadovat, a že většina práce při zavádění AI není technická, ale lidská.

Upřímně: velká část konkrétních detailů z téhle akademie zastará. Názvy modelů, ceny, funkce nástrojů, možná i některé termíny AI Actu. To není chyba, tak to v oboru, který se mění po měsících, prostě je. Co nezastará, jsou principy: model optimalizuje věrohodnost, ne pravdu; výstup se ověřuje mimo model; kvalita se měří na vlastních testech; za výsledek odpovídá člověk; a změna se dělá s lidmi, ne jim.

Jak se učit dál, když se obor hýbe tak rychle:

• Zkoušej sám, pravidelně. Když vyjde nový model, dej mu tři úlohy, které znáš ze své práce. Naučí tě to víc než deset článků.
• Čti primární zdroje. Dokumentaci výrobců, oficiální texty EU, původní studie. Shrnutí na sociálních sítích bývají rychlá, ale často nepřesná.
• Měj zdravou skepsi oběma směry. Ani „AI všechno změní do roka“, ani „je to jen bublina“ ti nepomůže rozhodnout, co dělat v pondělí. Pomůže ti vlastní test a čísla z vlastních procesů.
• Uč se s ostatními. Komunita praxe ve firmě, kolegové z oboru, ambasadoři. Co se naučíš vysvětlit druhým, rozumíš doopravdy.
• Vracej se k základům. Když narazíš na nový pojem nebo nástroj, zkus ho zařadit do toho, co už víš: je to model, nástroj, nebo způsob, jak je propojit? Co se děje s daty? Jak se měří kvalita?

Autor téhle akademie se učí stejně jako ty, a za rok bude některé věci vysvětlovat jinak. Pokud jsi došel až sem, máš víc než přehled. Máš způsob, jak o AI přemýšlet. To je dobrý základ pro všechno, co přijde.

Zdroje a další čtení

• AWS: ISO/IEC 42001 FAQs – co norma pokrývá a jak funguje certifikace, z pohledu certifikované firmy.
• NIST: AI Risk Management Framework – dobrovolný rámec řízení rizik AI včetně profilu pro generativní AI.
• Anthropic: Model deprecations – příklad toho, jak dodavatel vyřazuje modely a jak na to upozorňuje.
• Evropská komise: AI Act – oficiální přehled nařízení a kategorií rizika.