Hoe LLM's werken: van tokens tot transformers

Tokenization-algoritmen

Tokenization-voorbeelden

Vocabulairegrootte per model

Trainingsdoel: cross-entropy-verlies

Gegeven een sequentie van tokens [t₁, t₂, ..., tₙ] wordt het model getraind om de log-waarschijnlijkheid van elk token, gegeven alle voorafgaande tokens, te maximaliseren:

Elke voorwaartse doorloop verwerkt een volledige sequentie en produceert parallel op elke positie een verlies (teacher forcing). Tijdens inferentie worden tokens autoregressief gegenereerd, één voor één.

Chinchilla-schaalwetten

Hoffmann et al. (2022) toonden aan dat eerdere grote modellen (GPT-3, Gopher) ondergetraind waren — te veel parameters voor te weinig tokens. De optimale Chinchilla-verhouding is:

Belangrijke modellen in één oogopslag

Pretraining-data

Gedistribueerde training

Fase 1: Supervised fine-tuning (SFT)

Het basismodel wordt fijngeregeld op een dataset van (instructie, ideale respons)-paren, geschreven of gecureerd door menselijke annotatoren. Dit leert het model het formaat van het volgen van instructies. Het trainingsdoel is identiek aan pretraining (cross-entropy), maar de dataset is klein (tienduizenden voorbeelden) en van hoge kwaliteit. Na SFT kan het model instructies volgen maar kan het nog onwaar of schadelijk zijn.

De volledige RLHF-pijplijn

graph LR
  A[Pretrained LLM] --> B[SFT on Instruction Data]
  B --> C[SFT Model]
  C --> D[Generate Completions]
  D --> E[Human Preference Labels]
  E --> F[Train Reward Model]
  F --> G[RLHF with PPO]
  G --> H[Aligned LLM]

DPO: Direct Preference Optimisation

Rafailov et al. (2023) toonden aan dat het RLHF-doel rechtstreeks op het policy-model kan worden geoptimaliseerd zonder apart reward-model of RL-lus. Gegeven paren van geprefereerde en afgewezen responsen herparametriseert DPO de reward als functie van de log-waarschijnlijkheden van het policy- en referentiemodel:

DPO is eenvoudiger, stabieler en goedkoper dan RLHF met PPO. De meeste open-source uitgelijnde modellen (Llama 4 Instruct, Mistral Instruct) gebruiken DPO of een variant (SimPO, IPO) voor de voorkeursalignmentfase.

KV-cache: inferentie praktisch maken

Tijdens autoregressieve generatie herberekent het model bij elke stap de attention voor elk token — naïef O(n²) per stap. De KV-cache slaat de key- en value-tensoren van alle voorafgaande tokens op. Bij elke nieuwe stap worden alleen de Q, K, V van het nieuwe token berekend en worden de gecachte K, V toegevoegd. Dit reduceert de generatie van O(n²) naar O(n) per nieuw token.

Vergelijking van contextvensters

*Effectieve lengte: het venster waarover het model informatie betrouwbaar ophaalt. „Lost in the middle“-onderzoek toont dat de prestaties afnemen voor inhoud die in het midden van zeer lange contexten is geplaatst.

Quantisatie: kleinere modellen, vergelijkbare kwaliteit

Het verlagen van de numerieke precisie van modelgewichten verkleint het VRAM en versnelt de berekening. Moderne technieken (GPTQ, AWQ, GGUF) passen quantisatie niet-uniform toe en beschermen de gevoeligste gewichten.

Inferentieservers

PagedAttention & continue batching

vLLM's PagedAttention (Kwon et al., 2023) beheert het KV-cache-geheugen als virtueel geheugen in een besturingssysteem — door het op te splitsen in niet-aaneengesloten toegewezen pagina's van vaste grootte. Dit elimineert fragmentatie en verspilde reservering en maakt 2–24× meer doorvoer mogelijk dan HuggingFace Transformers bij gelijk GPU-geheugen.

Continue batching stelt nieuwe verzoeken in staat zich bij een lopende batch te voegen zodra een sequentie klaar is, in plaats van op de volledige batch te wachten. Dit verbetert de GPU-benutting bij workloads van variabele lengte drastisch.

Standaardbenchmarks

Benchmarkscores van modellen

Het LLM-as-Judge-patroon

Voor open taken zonder referentieantwoorden kan een krachtig LLM responsen scoren met een gestructureerde rubriek. MT-Bench en Chatbot Arena gebruiken deze aanpak. Het belangrijkste risico is positievertekening (de jury verkiest antwoorden die als eerste verschijnen) en breedsprakigheidsvertekening (langere antwoorden scoren hoger ongeacht de kwaliteit).

from openai import OpenAI

client = OpenAI()

def llm_judge(question: str, answer: str, rubric: str) -> dict:
    prompt = f"""You are an expert evaluator. Score the following answer on a 1-10 scale.

Question: {question}

Answer: {answer}

Rubric: {rubric}

Respond with JSON: {{"score": <int>, "reasoning": "<str>", "strengths": ["..."], "weaknesses": ["..."]}}"""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0.0,
    )
    import json
    return json.loads(response.choices[0].message.content)

result = llm_judge(
    question="Explain the attention mechanism in transformers.",
    answer="Attention computes a weighted sum of values...",
    rubric="Accuracy (4pt), Clarity (3pt), Completeness (3pt)",
)
print(f"Score: {result['score']}/10 — {result['reasoning']}")