IA générative – Transformeurs, invites et modèles de fondation

Bonne lecture et bon apprentissage ! Junior TSAFACK – 11/09/2026 ⏱️ Temps de lecture estimé : 13 minutes

L’IA générative est un sous-ensemble du Deep Learning, mais avec un objectif différent : au lieu de classer ou prédire à partir de données existantes, elle crée du contenu original — texte, image, son, vidéo, code — qui ressemble à ses données d’entraînement sans en être une copie. Ce module (24 % de l’examen AIF-C01, le domaine le plus pondéré après le module 3) pose les bases théoriques indispensables avant d’aborder les applications concrètes.

Modèles de fondation : la matière première de l’IA générative

Un modèle de fondation (FM) est un réseau neuronal très grand et complexe — parfois des milliards de paramètres — pré-entraîné sur d’énormes quantités de données non structurées (texte, images…) collectées sur Internet et ailleurs. Il sert de socle réutilisable : plutôt que d’entraîner un modèle à partir de zéro pour chaque tâche, on part d’un FM déjà entraîné et on l’adapte.

💡 Ordre de grandeur : à peine 1 % à 3 % des données brutes collectées survivent au nettoyage (qualité, biais, contenu nuisible) avant d’entrer réellement dans le pré-entraînement. C’est une donnée essentielle si vous devez estimer le volume de données à collecter pour un projet de pré-entraînement.

Le transformeur : le mécanisme derrière les LLM modernes

L’architecture qui a rendu possible l’explosion actuelle des grands modèles de langage (LLM) est le transformeur, introduit dans l’article de 2017 « Attention Is All You Need ». Avant lui, les réseaux de neurones récurrents (RNN) traitaient le texte mot par mot, séquentiellement — lent, et incapable de bien capturer des dépendances lointaines dans une phrase.

Le transformeur introduit le mécanisme d’auto-attention : pour chaque mot généré, le modèle évalue l’importance relative de tous les autres mots de la séquence d’entrée, en parallèle plutôt que séquentiellement. Cela permet :

de traiter des séquences beaucoup plus longues et volumineuses, plus rapidement ;
de capturer des relations contextuelles complexes (« il » se réfère à quel nom, dix mots plus tôt ?) ;
l’intégration de position (positional embedding), qui encode où se trouve chaque mot dans la phrase, indispensable puisque le traitement parallèle perd sinon la notion d’ordre.

Un LLM basé sur un transformeur (GPT, Claude, Titan…) est pré-entraîné sur des quantités massives de texte, puis peut être ajusté pour des tâches spécifiques avec relativement peu de données supplémentaires.

Jetons, vocabulaire et embeddings : comment le texte devient des chiffres

Le Machine Learning ne manipule pas directement du texte — il manipule des nombres. Chaque modèle génératif basé sur le langage possède un générateur de jetons (tokenizer) qui découpe le texte en unités (mots, sous-mots, ponctuation) et les convertit en identifiants numériques appartenant au vocabulaire du modèle.

Chaque jeton est ensuite représenté par un vecteur d’embedding — une liste ordonnée de nombres qui encode sa signification sémantique et ses relations avec les autres jetons dans un espace à haute dimension. Plus deux jetons sont proches dans cet espace vectoriel, plus leur signification est proche.

💡 Analogie utile : pensez à un embedding comme à une cellule dans une immense feuille de calcul Excel — sa position (ligne, colonne, et bien d’autres dimensions) encode son sens. La différence vectorielle entre « lamantin » et « dugong » ressemblera à celle entre « grand requin-marteau » et « requin-marteau » : ce sont des relations, pas juste des mots isolés.

Ces embeddings alimentent les couches d’auto-attention du transformeur, qui permettent au modèle de représenter — statistiquement — la structure du langage humain.

Invites, complétion et apprentissage en contexte

L’entrée que vous envoyez à un modèle génératif s’appelle une invite (prompt) ; la sortie qu’il produit est une complétion. Ce cycle se produit au moment de l’inférence.

Quelques concepts à maîtriser :

La fenêtre contextuelle : la quantité de texte (mesurée en jetons) que le modèle peut prendre en compte à la fois, invite et historique de conversation compris.
L’apprentissage en contexte (in-context learning) : fournir des exemples directement dans l’invite pour orienter la réponse, sans réentraîner le modèle. On distingue :
- Zero-shot : aucune exemple fourni (« classe le sentiment de ce commentaire »).
- One-shot : un seul exemple.
- Few-shot : plusieurs exemples, pour calibrer plus finement le comportement attendu.

👉 Nous approfondirons les techniques d’ingénierie des prompts (chaîne de pensée, modèles d’invite, garde-fous) dans le module 3.

Modèles unimodaux, multimodaux et modèles de diffusion

Un modèle unimodal ne traite qu’un seul type de donnée en entrée et sortie — un LLM classique, texte vers texte. Un modèle multimodal combine plusieurs types de données (texte, image, audio, vidéo), permettant par exemple de générer une légende pour une image ou de répondre à une question portant sur le contenu visuel d’une photo. Les cas d’usage typiques : marketing, sous-titrage automatique, conception de produits, chatbots avec avatar.

Les modèles de diffusion constituent une autre grande famille, utilisée notamment pour la génération d’image (Stable Diffusion, DALL·E, Midjourney). Le principe : partir d’un bruit aléatoire et le débruiter itérativement jusqu’à obtenir une sortie cohérente. Le modèle apprend, à l’entraînement, à prédire le bruit ajouté à chaque étape — puis, à l’inférence, il inverse le processus. Comparés aux réseaux antagonistes génératifs (GAN) et aux autoencodeurs variationnels (VAE), les modèles de diffusion produisent généralement des résultats de meilleure qualité, plus diversifiés, et sont plus stables à entraîner.

Type de modèle	Entrée / sortie	Exemple
Unimodal	Une seule modalité (texte → texte)	Un LLM classique
Multimodal	Plusieurs modalités combinées	Générer une légende à partir d’une image
Diffusion	Bruit → contenu cohérent (image, audio)	Stable Diffusion, disponible via Amazon SageMaker JumpStart

Points clés à retenir

Un modèle de fondation est pré-entraîné sur d’énormes volumes de données non structurées et sert de socle réutilisable pour de nombreuses tâches.
Le transformeur et son mécanisme d’auto-attention permettent de traiter le texte en parallèle plutôt que mot par mot, capturant des relations contextuelles complexes.
Le texte est converti en jetons puis en vecteurs d’embedding qui encodent le sens ; plus deux jetons sont proches dans l’espace vectoriel, plus ils sont sémantiquement liés.
L’apprentissage en contexte (zero-shot, one-shot, few-shot) permet d’orienter un modèle sans le réentraîner, simplement via des exemples dans l’invite.
Les modèles multimodaux combinent plusieurs types de données ; les modèles de diffusion génèrent du contenu en débruitant itérativement un signal aléatoire.

Glossaire

Terme	Définition
Modèle de fondation (FM)	Grand réseau de neurones pré-entraîné sur des données massives, réutilisable comme point de départ.
Transformeur	Architecture de réseau neuronal basée sur l’auto-attention, cœur des LLM modernes.
Jeton (token)	Unité de texte (mot, sous-mot) traitée par le modèle.
Embedding	Représentation vectorielle numérique d’un jeton, encodant son sens.
Invite (prompt)	Texte d’entrée fourni à un modèle génératif.
Complétion	Sortie générée par le modèle en réponse à une invite.
Fenêtre contextuelle	Quantité de texte (en jetons) qu’un modèle peut considérer simultanément.

Prochain chapitre

L’IA générative promet beaucoup — mais avec des limites bien réelles (hallucinations, non-déterminisme). Voyons comment évaluer objectivement ses capacités face à un problème métier.

👉 Chapitre 2 : Capacités, limites et indicateurs métier de l’IA générative

Junior TSAFACK – 11/09/2026