Expert

Kvalita, bezpečnost a provoz AI

Jak změřit, že AI odpovídá dobře, jak ji uhlídat v provozu, kolik stojí a jak se bránit útokům typu prompt injection.

Obsah kurzu

1. Modul 1: Evaluace

   1. ✓Jak měřit kvalitu odpovědíProč „v ukázce to fungovalo“ není důkaz, jak si pro svou úlohu definovat, co je dobrá odpověď, jaké měřítko se hodí na třídění, vytahování údajů a volný text, a proč se evaluace musí spouštět při každé změně promptu nebo modelu.14 min
   2. ✓Testovací sady a hodnocení modelemJak sestavit zlatou testovací sadu ze skutečných a záludných případů, kdo má určit správné odpovědi, jak funguje hodnocení jiným modelem (LLM-as-a-judge), jaké má známé slabiny a jak ho ověřit proti lidem. Na konci celý evaluační plán pro asistenta nad personální příručkou.14 min
   3. + kvíz (6 otázek)

2. Modul 2: Provoz a náklady

   1. ✓Monitoring a logováníCo zapisovat u každého volání AI, jak to skloubit s ochranou osobních údajů, jak sledovat vícekrokové agenty, které signály hlídat, jak vybírat odpovědi k lidské kontrole a co dělat, když se k zákazníkovi dostane špatná odpověď. A proč se AI může změnit, i když jsi na nic nesáhl.15 min
   2. ✓Náklady, rychlost a volba modeluCo doopravdy určuje cenu a rychlost AI v provozu, kdy se vyplatí velký a kdy malý model, jak fungují routování, cache promptů a dávkové zpracování, kdy dává smysl vlastní model a jak si spočítat měsíční náklady včetně citlivosti na změny. A proč vlastní test porazí každý žebříček.16 min
   3. + kvíz (6 otázek)

3. Modul 3: Bezpečnost

   1. ✓Prompt injection a únik datProč jazykový model nedokáže spolehlivě odlišit pokyny od dat, jak vypadá přímý a nepřímý útok, jak se z AI asistenta stane kanál pro únik firemních dat a jak se bránit ve vrstvách, když stoprocentní oprava zatím neexistuje.16 min
   2. ✓Oprávnění a lidská kontrolaJak dát AI nástrojům a agentům jen ta oprávnění, která potřebují, proč musí firemní AI respektovat přístupová práva každého uživatele, kde musí rozhodovat člověk a jak zařídit, aby jeho schválení nebylo jen odklikávání. Se vzorem schvalovací matice.14 min
   3. + kvíz (6 otázek)