Od pravidel k ChatGPT: historie, která vysvětluje dnešek

Sedmdesát let umělé inteligence v kostce: velké sliby, dvě zimy a nakonec průlom. A hlavně proč přišel právě teď, abys uměl lépe posoudit, co se o AI říká dnes.

Když v listopadu 2022 vyšel ChatGPT, působilo to jako blesk z čistého nebe. Pro většinu lidí to byla první AI, se kterou si mohli normálně popovídat. Ve skutečnosti za ním ale stálo víc než sedmdesát let práce, několik slepých uliček a dvě období, kdy se o umělé inteligenci skoro přestalo mluvit.

Tahle lekce není dějepis pro dějepis. Historie AI je hlavně příběh o tom, jak se střídalo nadšení se zklamáním, a o tom, co se muselo sejít, aby to tentokrát vyšlo. Když tomu porozumíš, budeš mnohem lépe rozpoznávat, které dnešní sliby stojí na pevných základech a které ne.

1950: Turing a otázka „Mohou stroje myslet?“

Příběh se obvykle začíná vyprávět v roce 1950. Britský matematik Alan Turing, který za války pomáhal luštit německé šifry, tehdy v odborném časopise Mind publikoval článek Computing Machinery and Intelligence. Otevírá ho větou „I propose to consider the question, ‚Can machines think?‘“ („Navrhuji zabývat se otázkou: Mohou stroje myslet?“).

Turing věděl, že na tuhle otázku se nedá rozumně odpovědět, dokud nikdo neví, co přesně „myslet“ znamená. Navrhl proto praktickou zkoušku, takzvanou hru na napodobování, dnes známou jako Turingův test: pokud tazatel v písemném rozhovoru spolehlivě nerozezná stroj od člověka, má smysl mluvit o stroji jako o myslícím. V článku také odhadl, že zhruba za padesát let budou počítače hrát tuhle hru tak dobře, že průměrný tazatel po pěti minutách nebude mít víc než 70% šanci správně určit, kdo je kdo.

Pozoruhodné je, že Turing už v tom článku uvažoval o strojích, které se učí, místo aby měly všechno předem naprogramované. Trvalo ale desítky let, než se tahle myšlenka stala hlavním proudem.

1956: Dartmouth a zrod oboru

Samotný název „umělá inteligence“ (artificial intelligence) pochází z návrhu letního výzkumného projektu na Dartmouth College v USA. Návrh s datem 31. srpna 1955 podepsali John McCarthy, Marvin Minsky, Nathaniel Rochester a Claude Shannon. Navrhovali dvouměsíční setkání deseti vědců v létě 1956.

Jejich výchozí předpoklad zněl velmi sebevědomě: že každý aspekt učení nebo jakoukoli jinou vlastnost inteligence lze v principu popsat tak přesně, že ho stroj dokáže napodobit. Autoři věřili, že výrazného pokroku lze dosáhnout za jediné léto. Nedosáhlo se ho, ale setkání dalo oboru jméno, komunitu a ambice. A taky první vzor, který se v historii AI opakuje dodnes: velmi chytří lidé výrazně podcenili, jak těžký ten problém je.

Symbolická AI: inteligence jako pravidla

Prvních několik desetiletí ovládal obor přístup, kterému se dnes říká symbolická AI.

Symbolická AI(symbolic AI): Přístup, podle kterého se inteligence dá vytvořit tak, že znalosti zapíšeme jako symboly a logická pravidla („pokud platí A a B, pak C“) a počítač z nich vyvozuje závěry.

Pro jasně ohraničené úlohy to fungovalo. Programy dokazovaly matematické věty, hrály dámu a šachy a řešily logické hádanky. V 70. a 80. letech z toho vyrostly expertní systémy: programy, do kterých se ručně přepsaly znalosti lidských odborníků ve formě stovek až tisíců pravidel. Známý příklad je MYCIN ze Stanfordu, který v 70. letech radil s diagnózou a léčbou bakteriálních infekcí krve. Firma Digital Equipment Corporation zase od roku 1980 používala systém XCON (známý i jako R1) ke konfiguraci svých počítačů VAX.

Problém se ukázal, když se systémy měly vypořádat se skutečným světem. Pravidla se musela psát ručně, a to je drahé a pomalé. Nikdy jich nebylo dost na všechny výjimky. Systémy se neuměly samy učit, špatně snášely neobvyklé vstupy a jejich údržba byla čím dál nákladnější. Přesně ten problém, který jsi viděl na spamovém filtru v předchozí lekci, jen v mnohem větším měřítku.

AI zimy: když sliby předběhnou výsledky

AI zima(AI winter): Období, kdy po přehnaných očekáváních přijde zklamání, klesne zájem a s ním i peníze na výzkum umělé inteligence.

Historici obvykle mluví o dvou velkých zimách, i když jejich přesné vymezení i to, jak hluboké doopravdy byly, je předmětem debat.

První zima (zhruba 1974–1980). Ve Velké Británii v roce 1973 zpráva matematika Jamese Lighthilla tvrdě kritizovala, že AI nesplnila své „grandiózní cíle“, a financování výzkumu tam výrazně kleslo. V USA zase agentura DARPA přesunula peníze od otevřeného výzkumu k projektům s jasným vojenským využitím. Ještě dřív, v roce 1969, ukázali Marvin Minsky a Seymour Papert v knize Perceptrons vážná omezení tehdejších jednoduchých neuronových sítí, a o ty pak dlouho nebyl zájem.
Druhá zima (zhruba od konce 80. let do 90. let). Na expertní systémy se v 80. letech nalilo hodně peněz. V roce 1987 se ale zhroutil trh se speciálními počítači (Lisp machines), na kterých tyto systémy běžely, protože je dohnaly levnější běžné počítače. Expertní systémy se ukázaly jako drahé na údržbu a křehké. Japonský ambiciózní projekt počítačů páté generace, zahájený v roce 1981, skončil v roce 1992, aniž by naplnil své původní cíle.

Zajímavost: samotný výraz „AI zima“ zazněl poprvé v roce 1984 na konferenci americké asociace pro umělou inteligenci (dnes AAAI). Výzkumníci Roger Schank a John McDermott tam varovali, že nadšení se vymklo kontrole a přijde zklamání. Za tři roky začal trh skutečně padat.

Obrat ke statistice: učit se z dat

Zatímco o „umělé inteligenci“ se v 90. letech mluvilo opatrně, potichu se prosazoval jiný přístup. Místo ručního psaní pravidel se systémy začaly učit z dat pomocí statistiky, tedy strojové učení.

Pomohly k tomu dvě věci. Za prvé, počítače zlevnily a zrychlily. Za druhé, s rozvojem internetu začalo přibývat dat: textů, e-mailů, záznamů o nákupech. Na statistických metodách začalo stát rozpoznávání řeči, strojový překlad, doporučování i spamové filtry. Často se jim ani neříkalo AI, prostě fungovaly.

Do tohoto období patří i slavné okamžiky typu šachového počítače Deep Blue od IBM, který v roce 1997 porazil mistra světa Garriho Kasparova. Deep Blue ale stál hlavně na obrovském výpočetním výkonu a promyšleném prohledávání tahů, ne na učení. Byl spíš vyvrcholením staré školy než předzvěstí té nové.

Neuronové sítě mezitím nezmizely. Klíčová technika pro jejich trénink, zpětné šíření chyby (viz DeepDive v předchozí lekci), se rozšířila už v 80. letech. Jenže na velké sítě tehdy nebylo dost dat ani výpočetního výkonu. Šlo o myšlenku, která čekala na svou dobu.

2012: průlom hlubokého učení

Ta doba přišla kolem roku 2010. A překvapivě k ní přispěly dvě věci, které s AI původně neměly nic společného.

První byla data s popisky. Tým kolem Fei-Fei Li ze Stanfordu představil v roce 2009 databázi ImageNet: miliony fotografií ručně roztříděných do tisíců kategorií, na jejichž označování se podílely desítky tisíc lidí přes internetovou službu Amazon Mechanical Turk. Na ní se pořádala každoroční soutěž v rozpoznávání obrázků.

Druhou byly grafické karty (GPU). Vyvinuly se pro počítačové hry, kde je potřeba spočítat obrovské množství jednoduchých operací souběžně. A přesně takové výpočty potřebuje i neuronová síť.

V roce 2012 se obojí potkalo. Alex Krizhevsky, Ilya Sutskever a Geoffrey Hinton z Torontské univerzity přihlásili do soutěže ImageNet hlubokou neuronovou síť, které se dnes říká AlexNet. Měla 60 milionů parametrů a trénovala se několik dní na dvou herních grafických kartách. V hlavním ukazateli soutěže (jestli je správná odpověď mezi pěti nejpravděpodobnějšími tipy) měla chybovost 15,3 %, zatímco druhý nejlepší tým 26,2 %. V oboru, kde se pokrok měřil v jednotkách procent, to byl skok, který nešlo přehlédnout.

Během několika let se hluboké učení stalo hlavním proudem: v rozpoznávání obrázků, řeči i v překladu. V roce 2016 pak program AlphaGo od DeepMind porazil Lee Sedola ve hře go, která byla považována za mnohem těžší výzvu než šachy.

2017: Transformer, architektura za dnešní AI

Jazyk ale zůstával těžký. Tehdejší sítě četly text slovo po slovu, postupně, a u dlouhých textů jim „vypadával“ začátek. Navíc se kvůli postupnému zpracování špatně trénovaly na mnoha grafických kartách najednou.

V červnu 2017 zveřejnila osmičlenná skupina výzkumníků (většinou z Googlu) článek s názvem Attention Is All You Need („Pozornost je vše, co potřebuješ“). Představili v něm novou architekturu neuronové sítě, transformer.

Transformer(transformer): Typ neuronové sítě, který při zpracování každého slova „se dívá“ na všechna ostatní slova v textu současně a sám si určuje, která jsou pro něj důležitá. Tomuto mechanismu se říká pozornost (attention). Je základem prakticky všech dnešních velkých jazykových modelů.

Proč na tom tolik záleželo? Pozornost umí zachytit souvislosti i mezi vzdálenými slovy. A hlavně se dá počítat paralelně, takže transformer naplno využije tisíce grafických karet. Poprvé tak bylo prakticky možné trénovat opravdu obří modely na opravdu obrovském množství textu. Písmeno „T“ v „GPT“ znamená právě transformer.

Do hloubkyOd GPT-1 ke GPT-3: zvětšování jako strategie

Firma OpenAI na transformer navázala sérií modelů GPT (generative pre-trained transformer, česky volně „generativní předtrénovaný transformer“).

GPT-1 (2018) ukázal postup, který se ujal: nejdřív model „předtrénovat“ na velkém množství obyčejného textu bez ručních popisků, pak ho doladit na konkrétní úlohy.
GPT-2 (2019) měl 1,5 miliardy parametrů a OpenAI ho zpočátku zveřejňovala postupně, s odůvodněním obav ze zneužití.
GPT-3 (2020) měl 175 miliard parametrů. Článek, který ho představil, se jmenoval Language Models are Few-Shot Learners a ukázal, že dostatečně velký model zvládne mnoho úloh, jen když mu v zadání ukážeš pár příkladů, bez dalšího tréninku.

Klíčové zjištění tohoto období zní: když se model, data a výpočetní výkon zvětšovaly společně, výsledky se zlepšovaly dost předvídatelně. To dalo firmám odvahu investovat do stále větších modelů. Jestli tenhle trend bude pokračovat donekonečna, je dnes jedna z hlavních otevřených otázek oboru. Jak přesně předtrénování a doladění funguje, vysvětluje lekce o tréninku modelů.

30. listopadu 2022: ChatGPT

GPT-3 byl působivý, ale znali ho hlavně vývojáři. Zlom přišel 30. listopadu 2022, kdy OpenAI zpřístupnila ChatGPT jako bezplatnou „výzkumnou ukázku“ (research preview). Technicky nešlo o úplně nový objev. Šlo o jazykový model z rodiny GPT, doladěný tak, aby vedl rozhovor a plnil pokyny, mimo jiné pomocí hodnocení od lidí.

Nové bylo něco jiného: rozhraní. Poprvé si mohl kdokoli bez programování otevřít okno chatu a napsat, co potřebuje. Už po několika dnech oznámil šéf OpenAI Sam Altman, že ChatGPT používá přes milion lidí. Následovala vlna konkurenčních modelů od dalších firem a z AI se stalo téma porad, parlamentů i rodinných večeří.

Proč právě teď: tři ingredience

Teď se dostáváme k hlavní pointě celé lekce. Myšlenky, na kterých dnešní AI stojí, jsou z velké části staré. Neuronové sítě jsou tu od 50. let, jejich trénink pomocí zpětného šíření chyby od 80. let. Proč tedy průlom přišel až v posledních zhruba patnácti letech? Protože se konečně sešly tři ingredience.

Ingredience	Co se změnilo	Proč na tom záleží
Data	Internet vytvořil obrovské množství textů, obrázků a záznamů, a vznikly velké označené databáze jako ImageNet	Strojové učení se učí z příkladů, a hluboké sítě jich potřebují obrovské množství
Výpočetní výkon	Grafické karty (GPU), původně pro hry, se ukázaly jako ideální pro výpočty neuronových sítí; vznikla obří datová centra	Trénink znamená miliardy drobných oprav vah, bez masivně paralelních výpočtů by trval nepřijatelně dlouho
Architektura	Transformer (2017) umožnil efektivně zpracovat jazyk a využít tisíce GPU najednou	Bez něj by se nedalo prakticky trénovat na celém tom množství textu

Ani jedna z ingrediencí by sama nestačila. Staré sítě s dnešním výkonem by nefungovaly bez dat, data bez výkonu by byla k ničemu a transformer by bez obojího zůstal zajímavým článkem.

Ve druhém modulu se podíváme dovnitř dnešních jazykových modelů: jak vidí text, jak vybírají další slovo a jak se trénují.

Co si odnést

Obor AI vznikl v 50. letech: Turingův článek z roku 1950 a dartmouthský projekt z roku 1956, který dal oboru jméno.
Symbolická AI a expertní systémy stavěly na ručně psaných pravidlech. Fungovaly v úzkých oblastech, ale byly drahé, křehké a neuměly se učit.
Dvě AI zimy ukázaly, co se stane, když sliby předběhnou technologii. Poučení platí i dnes.
Obrat přišel s učením z dat, průlom hlubokého učení v roce 2012 (AlexNet na ImageNetu) a architektura transformer v roce 2017.
ChatGPT (30. listopadu 2022) nebyl nový vědecký objev, ale přístupné rozhraní k technologii, která dozrávala roky.
Proč teď: sešla se data, výpočetní výkon (GPU) a vhodná architektura. Podle těchto tří věcí můžeš posuzovat i budoucí sliby.

Zdroje a další čtení

A. M. Turing: Computing Machinery and Intelligence (Mind, 1950) – původní článek, ve kterém Turing navrhl hru na napodobování (anglicky).
Návrh dartmouthského projektu z roku 1955 – plné znění návrhu, ve kterém poprvé zazněl termín „artificial intelligence“ (anglicky).
Krizhevsky, Sutskever, Hinton: ImageNet Classification with Deep Convolutional Neural Networks (2012) – článek o síti AlexNet (anglicky).
Vaswani a kol.: Attention Is All You Need (2017) – článek, který představil architekturu transformer (anglicky).
Wikipedia: AI winter – přehled AI zim, jejich příčin i sporů historiků o to, jak hluboké byly (anglicky).