LLM et IA Générative
Grands modèles de langage et génération de contenu
Les Large Language Models (LLM) et l'IA générative représentent une révolution dans l'intelligence artificielle, capable de générer du texte, des images, du code et bien plus encore.
Qu'est-ce qu'un LLM ?
Un Large Language Model est un modèle de Deep Learning entraîné sur d'immenses quantités de texte pour prédire le mot suivant.
Entrée : "Le chat dort sur le"
↓
┌─────────┐
│ LLM │
└─────────┘
↓
Sortie : "canapé" (probabilité: 0.23)
"lit" (probabilité: 0.18)
"tapis" (probabilité: 0.12)
...Malgré leur simplicité conceptuelle (prédire le mot suivant), les LLM émergent avec des capacités surprenantes : raisonnement, résumé, traduction, code...
Évolution des LLM
2017 Transformer ("Attention Is All You Need")
│
2018 GPT-1 (117M) / BERT (340M)
│
2019 GPT-2 (1.5B) - "Too dangerous to release"
│
2020 GPT-3 (175B) - Émergence du few-shot learning
│
2022 ChatGPT - Démocratisation massive
│ InstructGPT, RLHF
│
2023 GPT-4, Claude 2, LLaMA 2, Mistral
│ Multimodal, 100k+ contexte
│
2024 Claude 3, GPT-4 Turbo, Gemini
│ Agents, function calling
│
2025 Claude 3.5/4, o1, raisonnement avancéChiffres clés
| Modèle | Paramètres | Données d'entraînement | Contexte |
|---|---|---|---|
| GPT-2 | 1.5B | 40 GB | 1K tokens |
| GPT-3 | 175B | 570 GB | 4K tokens |
| GPT-4 | ~1.7T (estimé) | ~13T tokens | 128K tokens |
| Claude 3 | Non divulgué | Non divulgué | 200K tokens |
| LLaMA 2 | 7B-70B | 2T tokens | 4K tokens |
| Mistral | 7B-8x22B | Non divulgué | 32K tokens |
Comment ça fonctionne ?
1. Tokenization
Le texte est découpé en tokens (mots, sous-mots, caractères).
"Bonjour, comment allez-vous ?"
↓ Tokenization
["Bon", "jour", ",", " comment", " allez", "-", "vous", " ?"]
↓
[15496, 28542, 11, 2961, 14436, 12, 42507, 949]2. Embeddings
Chaque token devient un vecteur de grande dimension.
Token "chat" → [0.23, -0.45, 0.12, ..., 0.67] (dimension 4096+)3. Transformer
Le cœur du modèle : attention + feed-forward, répétés N fois.
Embeddings → [Transformer Block] × 96 → Logits → Softmax → Probabilités4. Génération
Échantillonnage du prochain token, puis répétition.
"Le" → "chat" → "dort" → "sur" → "le" → "canapé" → "."IA Générative
L'IA générative crée du nouveau contenu : texte, images, audio, vidéo, code.
Types de modèles génératifs
| Type | Modèles | Output |
|---|---|---|
| LLM | GPT, Claude, LLaMA | Texte, code |
| Diffusion | Stable Diffusion, DALL-E, Midjourney | Images |
| Audio | Whisper, Bark, Eleven Labs | Parole, musique |
| Vidéo | Sora, Runway | Vidéos |
| Multimodal | GPT-4V, Claude 3, Gemini | Texte + Images |
Modèles de diffusion
Génèrent des images en "débruitant" progressivement du bruit aléatoire.
Bruit pur → Étape 1 → Étape 2 → ... → Image finale
↑ ↑
Aléatoire "Un chat sur la lune"
(guidé par le prompt)Capacités émergentes
Les LLM montrent des capacités qui n'ont pas été explicitement entraînées :
- Raisonnement : résolution de problèmes logiques
- Few-shot learning : apprendre d'exemples dans le prompt
- Chain-of-thought : décomposer un raisonnement
- Instruction following : suivre des consignes complexes
- Code generation : écrire et débugger du code
- Multilinguisme : traduire sans entraînement spécifique
Ces capacités "émergent" avec la taille du modèle. Un modèle de 1B paramètres n'a pas les mêmes capacités qu'un modèle de 100B.
Utilisation des LLM
Via API
from anthropic import Anthropic
client = Anthropic()
message = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=1024,
messages=[
{"role": "user", "content": "Explique-moi la photosynthèse"}
]
)
print(message.content[0].text)Via interface web
- ChatGPT (chat.openai.com)
- Claude (claude.ai)
- Gemini (gemini.google.com)
En local
# Avec Ollama
ollama run llama2
ollama run mistralLimites et risques
Hallucinations
Les LLM peuvent générer des informations fausses mais convaincantes.
User: "Qui a écrit 'Le Petit Prince' ?"
LLM: "Le Petit Prince a été écrit par Victor Hugo en 1923."
❌ (C'est Antoine de Saint-Exupéry, 1943)Autres limites
| Limite | Description |
|---|---|
| Cutoff date | Connaissances figées à la date d'entraînement |
| Raisonnement mathématique | Erreurs sur calculs complexes |
| Contexte limité | Ne peut pas traiter des documents très longs |
| Biais | Reproduit les biais des données d'entraînement |
| Confidentialité | Risque de fuite de données sensibles |
Applications
- Assistants : ChatGPT, Claude, Copilot
- Code : GitHub Copilot, Cursor, Claude Code
- Recherche : Perplexity, You.com
- Création : Jasper, Copy.ai
- Entreprise : Analyse de documents, automatisation
- Éducation : Tuteurs personnalisés
- Santé : Aide au diagnostic (avec supervision)