A Markov-láncoktól a gondolkodó kódmodellekig
Hogyan lesz néhány egyszerű valószínűségi szabályból olyan rendszer, amely szöveget értelmez, összetett problémákat bont fel, és akár programkódot is ír?
A modern nagy nyelvi modellek működése elsőre varázslatnak tűnhet, de alapjaik jól követhető ötletekre épülnek: Markov-láncokra, neurális hálózatokra, embeddingekre és a Transformer architektúra figyelmi mechanizmusára. Ebben az áttekintésben végigkövetjük, hogyan tanulnak ezek a modellek a szövegből, miként kezelik a kontextust, és miért képesek egyre összetettebb következtetésekre.
A cél nem a matematikai részletek elrejtése, hanem azok közérthető megmutatása — hogy világosabbá váljon, mi történik a kulisszák mögött, amikor egy LLM válaszol, gondolkodik vagy kódot generál.