Jak fungují neuronové sítě: od otázky k odpovědi (srozumitelně a do hloubky)

Od otázek k matematice

Když dnes lidé používají umělou inteligenci – ať už pro napsání článku, překlad textu nebo jednoduchou odpověď na otázku – málokdo si uvědomí, co se vlastně odehrává „za oponou“. Vložíme do okénka dotaz a během zlomku vteřiny dostaneme odpověď. Působí to jako kouzlo. Jenže ve skutečnosti jde o čistě matematický proces, který probíhá na pozadí obrovských výpočetních systémů.

Neuronové sítě, na nichž tyto modely stojí, nejsou živé organismy ani skutečné mozky. Jsou to složité funkce, které umí pracovat s čísly tak chytře, že dokážou simulovat něco, co se nápadně podobá lidské inteligenci.

Cílem tohoto článku je vysvětlit, co se přesně stane mezi tím, když uživatel zadá jednoduchou otázku (například „Jaké je hlavní město Francie?“), a okamžikem, kdy dostane odpověď („Paříž“). Podíváme se na to čistě matematickým pohledem, ale přístupně tak, aby to zvládl i čtenář se středoškolskými znalostmi matematiky.

Budeme sledovat celý proces v pěti krocích:

1. Jak se text převádí na čísla.
2. Jak fungují samotné umělé neurony, váhy a aktivace.
3. Jak se neurony skládají do vrstev a jak vzniká síť schopná hledat vzory.
4. Jak se síť učí – tedy co znamená trénink a proč je potřeba tolik dat.
5. Jak se z čísel zase stane odpověď ve formě textu.

2. Od slov k číslům: tokenizace a vektory

Počítače nerozumí slovům. Nerozumí písmenům, významům ani větám tak, jak je vnímáme my. Umí jen manipulovat s čísly. Proto je prvním krokem vždy převod textu na čísla.

Tokenizace

Když do systému zadáme větu „Jaké je hlavní město Francie?“, algoritmus ji rozdělí na menší kousky – tzv. tokeny. Ty nemusí vždy odpovídat slovům.

• „Jaké“ → token 1532
• „je“ → token 27
• „hlavní“ → token 8401
• „město“ → token 4592
• „Francie“ → token 992
• „?“ → token 66

Každý token je tedy převeden na jedno číslo (ID), podobně jako když v knihovně má každá kniha svůj katalogový kód.

Embedding – vektory významu

Aby mohl model s těmito tokeny smysluplně pracovat, musí je zasadit do matematického prostoru, kde lze porovnávat jejich významy. K tomu slouží embedding – převod každého tokenu na vektor.

Vektor je v podstatě seznam čísel, např.:
„Francie“ → [0.13, -0.87, 0.42, 0.05, …]

Takový vektor může mít stovky nebo tisíce prvků. Každý z nich je číslo, které popisuje určitý aspekt významu. V důsledku toho platí, že:

• vektory podobných slov (např. „Francie“, „Itálie“, „Německo“) budou blízko u sebe,
• vektory zcela nesouvisejících slov (např. „Francie“ a „banán“) budou hodně vzdálené.

Matematicky si to můžeme představit tak, že každý token je bod v mnohorozměrném prostoru.

Proč je to důležité

Tento převod je klíčový, protože díky němu umí model chápat podobnost významů. Zatímco číslo 992 samo o sobě nic neznamená, vektor [0.13, -0.87, …] už obsahuje informaci, že se jedná o „něco podobného státu, v Evropě, s hlavním městem“.

3. Jak fungují neurony, váhy a aktivační funkce

Když už máme text převedený na čísla a uložený v podobě vektorů, přichází na řadu samotná neuronová síť. To je matematická struktura, která s těmito čísly pracuje a transformuje je krok za krokem tak, aby se nakonec dostala k odpovědi.

Umělý neuron – základní stavební kámen

Umělý neuron si můžeme představit jako malou „krabičku“, která:

1. vezme několik čísel na vstupu,
2. vynásobí je váhami,
3. sečte je dohromady,
4. přidá konstantu (bias),
5. a nakonec výsledek pošle skrz tzv. aktivační funkci.

Proč jsou váhy důležité

Váhy jsou jako „nastavení knoflíků“. Pokud má neuron rozpoznat, že slovo souvisí třeba s geografií, bude klást důraz na jiné části vektoru než neuron, který se zajímá o sporty.

Každý neuron se tedy „specializuje“ na jiný vzor.

Aktivační funkce – kde začíná nelinearita

Bez aktivační funkce by neuron byl jen lineární rovnicí – a celá síť by nebyla schopná řešit složité problémy. Aktivační funkce dodává „zakřivení“, takže síť dokáže rozlišovat a skládat i velmi složité vzorce.

Příklad:

• Funkce ReLU (Rectified Linear Unit) vrací všechny záporné výsledky jako nulu, kladné nechá. Díky tomu neuron reaguje jen tehdy, když je signál dost silný.
• Funkce sigmoid stlačí výsledek do intervalu (0,1), takže se dá interpretovat jako pravděpodobnost.

Síť z neuronů

Samotný neuron by nic moc nesvedl. Ale když jich spojíme stovky a tisíce do vrstev, a ty vrstvy pak propojujeme mezi sebou, vzniká síť. Ta dokáže transformovat vstupní čísla (vektory slov) na jiné, čím dál složitější reprezentace.

• První vrstvy rozpoznávají velmi obecné vzory.
• Střední vrstvy skládají složitější významy.
• Poslední vrstvy jsou schopny z vektorů „uhodnout“ nejpravděpodobnější pokračování textu.

4. Jak se neuronová síť učí: trénink, chyba a zpětná propagace

Neuronová síť sama od sebe nic neumí. Na začátku má její váhy a biasy nastaveny náhodně. Pokud bychom ji hned použili, odpovědi by byly úplně nesmyslné. Aby se síť stala užitečnou, musí projít tréninkem – tedy procesem, při kterém se váhy postupně upravují, dokud síť nezačne dávat rozumné výsledky.

Princip učení: hledání co nejpřesnější předpovědi

Cílem je, aby síť dokázala správně předpovídat, co následuje v textu. Například:

• vstup: „Paříž je hlavní město …“
• správný výstup: „Francie“

Síť nejprve vyprodukuje svůj tip (např. „Itálie“ s pravděpodobností 0.6 a „Francie“ s 0.3). Tento tip se porovná s realitou (správná odpověď = „Francie“).

Funkce chyby (loss function)

Rozdíl mezi předpovědí a skutečností se vyjádří číslem – tzv. chybou. Typická funkce chyby u jazykových modelů je cross-entropy loss, která měří, jak moc se pravděpodobnostní rozdělení modelu liší od správného rozdělení.

Čím menší chyba, tím blíže je model realitě.

Zpětná propagace (backpropagation)

Jakmile máme chybu, je potřeba ji použít k úpravě vah neuronů. To se děje pomocí algoritmu zvaného zpětná propagace:

1. Chyba se šíří od výstupu zpět k předchozím vrstvám.
2. V každém neuronu se pomocí derivací (ze středoškolské matematiky známe derivaci jako „sklon funkce“) spočítá, jak moc ten který neuron přispěl k chybě.
3. Váhy se podle toho nepatrně posunou – sníží se tam, kde vedly k chybě, a zvýší se tam, kde pomohly správné odpovědi.

Matematicky se tomu říká gradientní sestup (gradient descent). Síť hledá „údolí“ funkce chyby – místo, kde je chyba co nejmenší.

Proč je potřeba tolik dat

Jeden příklad nestačí. Síť musí vidět miliardy vět, aby se její váhy nastavily tak, že budou fungovat obecně. Trénink je tedy:

• dlouhodobé ladění miliard parametrů,
• postupné zmenšování chyby,
• obrovská výpočetní operace, která vyžaduje supervýkonné grafické karty (GPU/TPU).

Výsledek tréninku

Po dostatečně dlouhém tréninku síť ví, že věta „Paříž je hlavní město …“ má s nejvyšší pravděpodobností pokračovat tokenem „Francie“. A co víc – naučí se i mnohem složitější vztahy: gramatiku, styl, dokonce i logické souvislosti.

5. Od dotazu k odpovědi: generování textu v praxi

Po tréninku má neuronová síť miliardy „naladěných“ parametrů. Teď už je připravená k použití. Podívejme se krok za krokem, co se stane, když napíšeme otázku například:

„Jaké je hlavní město Francie?“

1. Převod vstupu na čísla

Text se rozdělí na tokeny a převede na vektory (jak jsme si vysvětlili v první části). Model tedy ve skutečnosti pracuje se sekvencí dlouhých číselných seznamů, které reprezentují významy slov.

2. Průchod neuronovou sítí

Tyto vektory projdou desítkami vrstev neuronů. V každé vrstvě se aplikují matice vah, sčítání a aktivační funkce. Postupně se vytváří čím dál abstraktnější reprezentace významu celé otázky.

• První vrstvy zpracují jednotlivá slova.
• Střední vrstvy rozeznají, že jde o otázku týkající se geografie.
• Poslední vrstvy vytvoří pravděpodobnostní distribuci možných odpovědí.

3. Pravděpodobnostní distribuce

Na konci síť nevypíše rovnou text, ale sestaví tabulku pravděpodobností pro každý možný token. Například:

• „Paříž“ → 0.92
• „Lyon“ → 0.03
• „Francie“ → 0.02
• „Itálie“ → 0.01
• … (další tisíce možností s téměř nulovou pravděpodobností)

Model tedy říká: „S 92% jistotou si myslím, že správná odpověď je ‚Paříž‘.“

4. Výběr tokenu (sampling)

Teď je potřeba vybrat, který token se skutečně použije jako odpověď. Existuje několik metod:

• Greedy decoding – vždy vybere token s nejvyšší pravděpodobností (nejjednodušší).
• Sampling – losuje tokeny s váhou podle jejich pravděpodobnosti, takže odpovědi jsou pestřejší.
• Top-k nebo top-p sampling – vybírá jen z několika nejpravděpodobnějších možností, aby text nebyl příliš náhodný ani příliš jednotvárný.

5. Postupné generování

Model nikdy negeneruje celou odpověď naráz. Vygeneruje jen jeden token, připojí ho k původnímu textu a celý proces zopakuje.

• Nejprve: „Paříž“
• Pak se otázka rozšíří o tento výstup a znovu projde sítí.
• Pokud je cílem vytvořit celou větu, model postupně doplní třeba „Paříž je hlavní město Francie.“

Takto se krok za krokem skládá celá odpověď.

6. Převod zpět na text

Nakonec se číselné tokeny převedou zpět na slova a zobrazí uživateli. My vidíme jen plynulou větu, ale ve skutečnosti proběhlo obrovské množství výpočtů a statistických rozhodnutí.

Shrnutí celé cesty

1. Text → čísla (tokenizace, embeddingy).
2. Čísla → neuronová síť (matice, váhy, aktivační funkce).
3. Výpočet → pravděpodobnosti (jaký token je nejpravděpodobnější).
4. Výběr tokenu → generování odpovědi.

Každá odpověď AI je tedy výsledkem milionů matematických operací, které se provedou během zlomku vteřiny. Žádná magie – jen matematika, statistika a obrovská síla výpočetní techniky.

Časté dotazy ohledně generativní AI

1) Co přesně dělá tokenizace?
Rozdělí text na menší jednotky (tokeny) a každému přiřadí číslo. Díky tomu může model pracovat s textem pomocí matematiky.

2) Co je embedding (vektorová reprezentace)?
Je to převod tokenu na vektor reálných čísel. Vektory podobných slov leží v prostoru blízko sebe, takže se dá počítat „podobnost významů“.

3) Jak funguje umělý neuron?
Sečte vstupy vynásobené vahami, přičte bias a výsledek „ohne“ aktivační funkcí (např. ReLU). Tím vznikne nelineární model schopný zachytit složité vzory.

4) K čemu slouží aktivační funkce?
Zavádí nelinearitu. Bez ní by celá síť byla jen jedna velká lineární funkce a neuměla by řešit složité problémy.

5) Co je ztrátová (loss) funkce a proč se používá cross-entropy?
Loss měří rozdíl mezi předpovědí a realitou. U jazykových modelů se používá cross-entropy, protože porovnává dvě pravděpodobnostní rozdělení (výstup modelu vs. správná odpověď).

6) Jak funguje zpětná propagace a gradientní sestup?
Pomocí derivací spočítá, jak každá váha přispěla k chybě. Gradientní sestup pak váhy upraví směrem, který chybu snižuje.

7) Co je softmax a proč je důležitý?
Softmax převádí skóre na pravděpodobnosti přes všechny možné tokeny. Díky tomu lze vybrat „další slovo“ s nejvyšší pravděpodobností (nebo provést sampling).

8) Jak model vybírá další token (greedy, top-k, top-p)?
Greedy vezme nejpravděpodobnější token. Top-k a top-p dovolí náhodný výběr z malé množiny nejlepších možností, aby text nebyl monotónní ani chaotický.

9) Proč model někdy „halucinuje“?
Nevyvolává fakta z databáze, ale skládá pravděpodobné pokračování textu. Když chybí spolehlivý vzor, může vytvořit přesvědčivě znějící, ale nepravdivou odpověď.

10) Proč potřebuje model obrovská data a výpočetní výkon?
Učí miliardy parametrů na miliardách vět. Velký objem dat a výpočtů je nutný, aby se naučil robustní, obecně použitelné vzory jazyka.