Čo je LLM a ako naozaj funguje: hĺbkové vysvetlenie

Čo LLM v skutočnosti je

Veľký jazykový model (Large Language Model, LLM) je matematická funkcia s miliardami až biliónmi nastaviteľných parametrov, ktorá sa naučila jednu jedinú vec mimoriadne dobre: predpovedať najpravdepodobnejšie ďalšie slovo (presnejšie token) v texte. Znie to prekvapivo jednoducho na niečo, čo dokáže písať kód, vysvetľovať fyziku alebo viesť konverzáciu — a práve v tomto rozpore medzi jednoduchosťou princípu a bohatosťou výsledného správania spočíva väčšina nedorozumení o tom, čo LLM sú a nie sú.

LLM nie je databáza faktov ani vyhľadávač. Je to štatistický model jazyka natrénovaný na obrovskom množstve textu, ktorý si počas trénovania interne vybudoval reprezentácie gramatiky, faktov, štýlu aj (do istej miery) logického uvažovania — nie preto, že by to bolo jeho explicitným cieľom, ale preto, že presné predpovedanie ďalšieho slova si to vyžaduje.

Krok 1: Tokenizácia — ako sa text mení na čísla

Neurónové siete nerozumejú písmenám ani slovám — pracujú výhradne s číslami. Prvý krok je preto tokenizácia: rozdelenie textu na menšie jednotky, tzv. tokeny, z ktorých každý dostane svoje číselné ID zo slovníka (vocabulary) obsahujúceho typicky desiatky až stovky tisíc možných tokenov.

Token nie je to isté čo slovo. Väčšina moderných LLM používa algoritmus podobný Byte-Pair Encoding (BPE), ktorý sa najprv naučí, ktoré sekvencie znakov sa v jazyku vyskytujú najčastejšie, a tie spojí do jedného tokenu. Bežné krátke slová (napr. "a", "je") tak často tvoria jeden token, zatiaľ čo dlhšie alebo zriedkavejšie slová sa rozpadnú na viacero podslovných častí.

Krok 2: Embeddingy — slová ako súradnice vo vesmíre významu

Číselné ID tokenu samo osebe nenesie žiadny význam — "42" nie je "bližšie" k "43" v žiadnom zmysluplnom jazykovom zmysle. Preto sa každý token najprv premení na embedding: vektor stoviek až tisícok desatinných čísel, ktorý reprezentuje jeho význam ako súradnicu vo vysokodimenzionálnom priestore.

Tento priestor sa počas trénovania organizuje tak, že tokeny s podobným významom alebo použitím končia geometricky blízko seba. Slávny (zjednodušený) príklad: vektor pre "kráľ" mínus vektor pre "muž" plus vektor pre "žena" sa vo vytrénovanom priestore blíži k vektoru pre "kráľovná" — model teda zachytáva vzťahy medzi pojmami ako smery v priestore, nie ako explicitné pravidlá niekým naprogramované.

Krok 3: Transformer — architektúra, ktorá to všetko poháňa

Všetky dnešné veľké jazykové modely — GPT, Claude, Gemini, Llama — sú postavené na architektúre Transformer, predstavenej v roku 2017 v článku "Attention Is All You Need". Jej kľúčovým prínosom je mechanizmus zvaný self-attention (vlastná pozornosť).

Self-attention: model si "všíma" relevantné slová

Predstavte si vetu: "Mačka sedela na stoličke, pretože bola unavená." Aby model správne pochopil, na čo odkazuje "bola" — na mačku, alebo na stoličku — musí vedieť prepojiť toto slovo so správnym predchádzajúcim slovom v kontexte celej vety, nie len s najbližším susedom. Presne to robí self-attention: pre každý token vypočíta, do akej miery by mal pri jeho interpretácii "venovať pozornosť" každému inému tokenu vo vete.

Mechanicky sa to deje pomocou troch odvodených vektorov pre každý token — Query (čo hľadám), Key (čo ponúkam) a Value (aký obsah nesiem). Relevancia medzi dvoma tokenmi sa počíta ako súčin ich Query a Key vektorov; výsledné váhy sa použijú na vytvorenie váženého priemeru Value vektorov — čím vzniká nová reprezentácia tokenu, obohatená o kontext celej vety.

Attention(Q, K, V) = softmax( Q · K^T / sqrt(d_k) ) · V

Táto, na prvý pohľad abstraktná formula, je matematickým jadrom prakticky celej modernej AI založenej na jazyku. Model si túto operáciu neprevádza raz, ale súčasne cez viacero "hláv" pozornosti (multi-head attention) — každá hlava sa môže naučiť sledovať iný typ vzťahu (napr. jedna gramatické zhody, iná odkazy na osoby, ďalšia logickú nadväznosť).

Pozičné kódovanie a vrstvenie

Keďže self-attention sama osebe nevníma poradie slov (spracováva ich paralelne, nie postupne ako staršie rekurentné siete), pridáva sa pozičné kódovanie — informácia o tom, na ktorej pozícii vo vete sa token nachádza. Vrstva self-attention je následne doplnená o jednoduchú feed-forward sieť (nezávislú transformáciu každého tokenu), a celý tento blok — attention plus feed-forward, oba obalené tzv. reziduálnym prepojením a normalizáciou — sa v modeli opakuje mnohonásobne za sebou, typicky v desiatkach až stovkách vrstiev. Každá ďalšia vrstva stavia na reprezentáciách tej predchádzajúcej a zachytáva čoraz abstraktnejšie vzťahy — od gramatiky v nižších vrstvách po sémantiku a štýl vo vyšších.

Krok 4: Trénovanie — odkiaľ sa berú "znalosti" modelu

Samotná architektúra je len prázdna štruktúra. Skutočné "znalosti" sídlia v parametroch (váhach) — číslach, ktoré určujú, ako presne model transformuje vstup na výstup v každej vrstve. Tie sa nastavujú počas trénovania (pre-training).

Princíp je koncepčne jednoduchý: modelu sa predloží obrovské množstvo textu (webové stránky, knihy, kód, vedecké články — rádovo bilióny tokenov), z ktorého sa časť skryje, a model má za úlohu predpovedať, čo nasleduje. Na začiatku háda náhodne. Pri každej predpovedi sa porovná s reálnym nasledujúcim slovom, vypočíta sa chyba (tzv. loss) a algoritmus backpropagation upraví milióny až miliardy parametrov o malý kúsok smerom, ktorý chybu o niečo zníži. Tento cyklus sa opakuje biliónkrát, na tisíckach špecializovaných GPU/TPU čipov bežiacich súčasne po dobu týždňov až mesiacov.

Toto obrovské škálovanie nie je samoúčelné: výskum opakovane ukázal, že s rastúcim počtom parametrov, dát a výpočtového výkonu sa kvalita modelu zlepšuje predvídateľne — a čo je zaujímavejšie, pri určitých veľkostiach sa objavujú emergentné schopnosti, ktoré menšie modely nemali vôbec (napr. viackrokové logické uvažovanie), bez toho, aby boli explicitne trénované práve na ne.

Krok 5: Doladenie a zarovnanie (fine-tuning a alignment)

Model natrénovaný čisto na predpovedanie ďalšieho slova z internetového textu je mimoriadne schopný, ale nie nutne užitočný ani bezpečný asistent — rovnako ochotne dokončí nebezpečný návod ako report o počasí, pretože oboje sa na internete vyskytuje. Preto nasleduje niekoľko ďalších fáz:

• Supervised fine-tuning (SFT) — model sa doučí na starostlivo vybraných príkladoch kvalitných otázok a odpovedí, ktoré demonštrujú požadovaný štýl konverzačného asistenta.
• RLHF (Reinforcement Learning from Human Feedback) — ľudskí hodnotitelia porovnávajú viacero odpovedí modelu na tú istú otázku a označujú, ktorá je lepšia. Z týchto preferencií sa natrénuje samostatný "reward model", ktorý následne slúži ako spätná väzba na doladenie hlavného modelu pomocou techník posilňovaného učenia.
• Ďalšie metódy zarovnania — viaceré laboratóriá dopĺňajú tento proces vlastnými technikami (napr. tréning modelu na vyhodnocovanie vlastných odpovedí voči súboru princípov), aby výsledný systém bol nielen schopný, ale aj predvídateľne bezpečný a užitočný.

Práve táto fáza je dôvod, prečo sa surový, len predtrénovaný model (base model) správa výrazne inak než produkt, s ktorým bežne komunikujete cez chatovacie rozhranie.

Ako LLM skutočne generuje text (inference)

Keď LLM "odpovedá", nerobí to naraz — generuje text autoregresívne, jeden token po druhom. Pri každom kroku model spočíta pravdepodobnostné rozdelenie cez celý svoj slovník (aká je šanca, že ďalší token bude "the", aká, že "however", aká, že "42"...) a vyberie jeden token, ktorý sa pripojí k doterajšiemu textu — celý proces sa potom zopakuje pre ďalší token, teraz už s predošlým výberom ako súčasťou vstupu.

Spôsob výberu tokenu z pravdepodobnostného rozdelenia sa dá nastaviť:

• Greedy decoding — vždy sa vyberie najpravdepodobnejší token. Deterministické, ale často vedie k nudnému, opakujúcemu sa textu.
• Temperature (teplota) — parameter, ktorý "vyhladzuje" alebo "zaostruje" pravdepodobnostné rozdelenie. Nízka teplota robí výstup predvídateľnejším a konzervatívnejším, vysoká zvyšuje náhodnosť a kreativitu (aj riziko nezmyslov).
• Top-k a top-p (nucleus) sampling — namiesto výberu spomedzi úplne všetkých tokenov v slovníku sa výber obmedzí len na najpravdepodobnejšiu skupinu (napr. top-k najlepších kandidátov, alebo najmenšiu skupinu, ktorej súčet pravdepodobností presiahne prah p), čím sa eliminujú extrémne nepravdepodobné a nezmyselné pokračovania.

Práve táto pravdepodobnostná povaha generovania je dôvod, prečo ten istý model môže na tú istú otázku pri opakovanom položení odpovedať mierne odlišne — nejde o chybu, ale o vlastnosť princípu, na ktorom je postavený.

Kontextové okno: pracovná pamäť modelu

LLM nemá trvalú pamäť medzi konverzáciami — každá nová konverzácia začína "od nuly". To, čo si model "pamätá" počas jedného rozhovoru, je obmedzené na tzv. kontextové okno — maximálny počet tokenov (váš vstup, história konverzácie aj generovaný výstup dokopy), ktoré model dokáže spracovať naraz. Moderné modely majú kontextové okná od desiatok tisíc po státisíce tokenov, no čokoľvek presiahne tento limit, sa z "pracovnej pamäte" modelu jednoducho stratí.

Prečo LLM halucinujú

Halucinácia — sebavedomo vyslovené, no nesprávne alebo vymyslené tvrdenie — nie je náhodná chyba softvéru, ktorú možno jednoducho "opraviť". Je to priamy dôsledok toho, čím LLM v jadre je: štatistický generátor najpravdepodobnejšieho pokračovania textu, nie systém, ktorý si pri každom tvrdení overuje fakty voči nejakej databáze pravdy.

Keď model nepozná odpoveď s istotou, jeho tréning ho napriek tomu naučil, že plynulá, sebavedomo znejúca veta je štatisticky pravdepodobnejším "dobrým" pokračovaním textu než priznanie neistoty — pretože ľudský text, na ktorom bol trénovaný, obsahuje pomerne málo príkladov úprimného "neviem" v kontextoch, kde sa od autora očakávala odpoveď. Novšie reasoning modely a lepšie zarovnanie (alignment) toto riziko znižujú, no princíp — model generuje to, čo je štatisticky pravdepodobné, nie nutne to, čo je pravdivé — ostáva fundamentálnou vlastnosťou architektúry, nie chybou konkrétnej implementácie.

Reasoning modely: "premýšľanie" pred odpoveďou

Novšia generácia modelov pridáva krok navyše — pred vygenerovaním finálnej odpovede model interne vytvorí dlhší reťazec medzikrokov (tzv. chain-of-thought), v ktorom si problém rozloží na časti, vyskúša viacero prístupov alebo si overí vlastnú prácu. Tento prístup, označovaný ako zvýšenie test-time compute (výpočtu venovaného v čase odpovede, nie len počas trénovania), výrazne zlepšuje výkon na úlohách vyžadujúcich viackrokovú logiku, matematiku či programovanie — v podstate tým, že modelu dovolí "premýšľať dlhšie" nad ťažšími problémami, podobne ako človek pri zložitejšej úlohe siahne po papieri namiesto okamžitej odpovede spamäti.

Za hranicami textu: multimodalita a nástroje

Rovnaký princíp — tokenizácia, embedding, self-attention — sa dá rozšíriť aj mimo textu. Obrázok sa dá rozdeliť na malé časti (patches), ktoré sa tokenizujú podobne ako slová; zvuk sa dá previesť na sekvenciu diskrétnych jednotiek. Výsledné multimodálne modely tak spracúvajú text, obrázky, zvuk aj video v rámci tej istej architektúry.

Ďalším rozšírením je schopnosť volania nástrojov (tool use / function calling) — model sa naučí rozpoznať, kedy nevie odpovedať len z vlastných parametrov, a namiesto hádania vygeneruje štruktúrovanú požiadavku na externý nástroj (vyhľadávanie na webe, spustenie kódu, volanie API), počká na výsledok a ten zapracuje do svojej odpovede. Presne táto schopnosť stojí za dnešnými agentickými AI systémami, ktoré dokážu samostatne vykonávať viackrokové úlohy.

Bezpečnostné riziká špecifické pre LLM

Architektúra opísaná vyššie prináša aj triedu bezpečnostných rizík, ktoré pred nástupom LLM prakticky neexistovali:

• Prompt injection — keďže LLM nerozlišuje principiálne medzi "inštrukciami od vývojára" a "textom, ktorý práve spracúva", útočník môže do webstránky, dokumentu alebo e-mailu, ktorý model číta, ukryť text formulovaný ako príkaz. Ak model tento vložený text vyhodnotí ako inštrukciu, môže konať proti pôvodnému zámeru používateľa — súvisí to priamo s témou nášho článku o najčastejších kybernetických útokoch.
• Jailbreaking — starostlivo formulované vstupy, ktoré sa snažia obísť bezpečnostné zábrany nastavené počas alignment fázy, napríklad rámcovaním nebezpečnej požiadavky ako fiktívneho scenára alebo hry na rolu.
• Únik trénovacích dát — pri určitých typoch vstupov dokážu modely za istých okolností reprodukovať fragmenty textu, ktorý videli počas trénovania, čo pri citlivých alebo osobných údajoch v trénovacích dátach predstavuje riziko úniku súkromia.
• Otrávenie dát (data poisoning) — keďže model sa učí zo obrovského korpusu webového textu, útočník s dostatočnými zdrojmi môže teoreticky vkladať zavádzajúci alebo škodlivý obsah na verejne dostupné weby s cieľom ovplyvniť budúce trénovanie modelov, ktoré z týchto zdrojov čerpajú.
• Nedeterminizmus ako výzva pre testovanie — keďže výstup LLM nie je pri rovnakom vstupe vždy identický a "správnosť" odpovede nie je binárna ako pri klasickom softvéri, tradičné prístupy k bezpečnostnému testovaniu a QA je potrebné výrazne prispôsobiť.

Zhrnutie

LLM je vo svojej podstate elegantná, no mimoriadne výpočtovo náročná aplikácia jednej myšlienky: naučiť sa predpovedať ďalší token dostatočne presne na obrovskom množstve textu, a nechať zložité správanie — gramatiku, fakty, štýl, čiastočne aj logiku — vzniknúť ako vedľajší produkt tejto úlohy. Text sa rozloží na tokeny, tokeny sa premenia na vektory významu, self-attention mechanizmus v Transformer architektúre prepája každé slovo s relevantným kontextom naprieč celou vetou aj dokumentom, trénovanie na biliónoch príkladov nastaví miliardy parametrov, a fáza zarovnania (RLHF a podobné techniky) premení surový model na použiteľného asistenta. Výsledkom je systém mimoriadne užitočný, no zároveň fundamentálne odlišný od klasického deterministického softvéru — čo prináša nové príležitosti aj nové bezpečnostné riziká, s ktorými sa odbor kybernetickej bezpečnosti len učí pracovať.