Comment fonctionnent les LLM : des tokens aux transformers

Algorithmes de tokenization

Exemples de tokenization

Taille du vocabulaire par modèle

Objectif d'entraînement : la perte d'entropie croisée

Étant donné une séquence de tokens [t₁, t₂, ..., tₙ], le modèle est entraîné à maximiser la log-vraisemblance de chaque token conditionnellement à tous les tokens précédents :

Chaque passe avant traite une séquence complète et produit une perte à chaque position en parallèle (teacher forcing). Lors de l'inférence, les tokens sont générés de manière autorégressive, un à la fois.

Lois d'échelle de Chinchilla

Hoffmann et al. (2022) ont montré que les grands modèles précédents (GPT-3, Gopher) étaient sous-entraînés — trop de paramètres pour trop peu de tokens. Le ratio optimal de Chinchilla est :

Principaux modèles en un coup d'œil

Données de pré-entraînement

Entraînement distribué

Étape 1 : Réglage fin supervisé (SFT)

Le modèle de base est affiné sur un jeu de données de paires (instruction, réponse idéale), rédigées ou curées par des annotateurs humains. Cela enseigne au modèle le format de suivi d'instructions. L'objectif d'entraînement est identique au pré-entraînement (entropie croisée), mais le jeu de données est petit (des dizaines de milliers d'exemples) et de haute qualité. Après le SFT, le modèle peut suivre des instructions mais peut encore être mensonger ou nuisible.

Le pipeline RLHF complet

graph LR
  A[Pretrained LLM] --> B[SFT on Instruction Data]
  B --> C[SFT Model]
  C --> D[Generate Completions]
  D --> E[Human Preference Labels]
  E --> F[Train Reward Model]
  F --> G[RLHF with PPO]
  G --> H[Aligned LLM]

DPO : Optimisation directe des préférences

Rafailov et al. (2023) ont montré que l'objectif RLHF peut être optimisé directement sur le modèle de politique sans modèle de récompense distinct ni boucle de RL. Étant donné des paires de réponses préférées et rejetées, DPO reparamètre la récompense comme une fonction des log-probabilités du modèle de politique et du modèle de référence :

DPO est plus simple, plus stable et moins coûteux que le RLHF avec PPO. La plupart des modèles open source alignés (Llama 4 Instruct, Mistral Instruct) utilisent DPO ou une variante (SimPO, IPO) pour l'étape d'alignement des préférences.

KV-cache : rendre l'inférence praticable

Durant la génération autorégressive, le modèle recalcule l'attention pour chaque token à chaque étape — naïvement O(n²) par étape. Le KV-cache stocke les tenseurs de clés et de valeurs de tous les tokens précédents. À chaque nouvelle étape, seuls les Q, K, V du nouveau token sont calculés et les K, V en cache sont ajoutés. Cela réduit la génération de O(n²) à O(n) par nouveau token.

Comparaison des fenêtres de contexte

*Longueur effective : la fenêtre sur laquelle le modèle récupère l'information de manière fiable. Les travaux « Lost in the middle » montrent que les performances se dégradent pour les contenus placés au milieu de contextes très longs.

Quantisation : modèles plus petits, qualité similaire

Réduire la précision numérique des poids du modèle réduit la VRAM et accélère le calcul. Les techniques modernes (GPTQ, AWQ, GGUF) appliquent la quantisation de façon non uniforme, en protégeant les poids les plus sensibles.

Serveurs d'inférence

PagedAttention et batching continu

Le PagedAttention de vLLM (Kwon et al., 2023) gère la mémoire du KV-cache comme la mémoire virtuelle d'un OS — en la divisant en pages de taille fixe allouées de façon non contiguë. Cela élimine la fragmentation et la réservation gaspillée, permettant un débit 2–24× supérieur à HuggingFace Transformers à mémoire GPU égale.

Le batching continu permet à de nouvelles requêtes de rejoindre un lot en cours dès qu'une séquence se termine, plutôt que d'attendre la fin du lot entier. Cela améliore considérablement l'utilisation du GPU sous des charges de longueur variable.

Benchmarks standard

Scores des modèles aux benchmarks

Le motif LLM-as-Judge

Pour les tâches ouvertes sans réponses de référence, un LLM puissant peut noter les réponses à l'aide d'une grille structurée. MT-Bench et Chatbot Arena utilisent cette approche. Le risque principal est le biais de position (le juge préfère les réponses qui apparaissent en premier) et le biais de verbosité (les réponses plus longues obtiennent de meilleures notes quelle que soit leur qualité).

from openai import OpenAI

client = OpenAI()

def llm_judge(question: str, answer: str, rubric: str) -> dict:
    prompt = f"""You are an expert evaluator. Score the following answer on a 1-10 scale.

Question: {question}

Answer: {answer}

Rubric: {rubric}

Respond with JSON: {{"score": <int>, "reasoning": "<str>", "strengths": ["..."], "weaknesses": ["..."]}}"""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0.0,
    )
    import json
    return json.loads(response.choices[0].message.content)

result = llm_judge(
    question="Explain the attention mechanism in transformers.",
    answer="Attention computes a weighted sum of values...",
    rubric="Accuracy (4pt), Clarity (3pt), Completeness (3pt)",
)
print(f"Score: {result['score']}/10 — {result['reasoning']}")