📘 Dossier : Comprendre ChatGPT et les modèles LLM

1. Qu’est-ce qu’un LLM (Large Language Model) ?

Un LLM est un modèle de langage de grande taille, entraîné sur d’immenses volumes de texte pour prédire la probabilité des mots dans une séquence. Ces modèles, comme ceux de la famille GPT (Generative Pre-trained Transformer), peuvent générer, traduire, résumer ou compléter du texte avec un haut degré de fluidité.

Exemples de LLM :

GPT-3.5, GPT-4 (OpenAI)
Claude (Anthropic)
Gemini (Google)
LLaMA (Meta)

2. Qu’est-ce que ChatGPT ?

ChatGPT est une application basée sur un LLM développé par OpenAI. Elle permet d’interagir avec un modèle de langage de manière conversationnelle. ChatGPT peut :

Répondre à des questions
Aider à la rédaction
Écrire du code
Traduire
Résumer
Créer des contenus créatifs

ChatGPT est alimenté par des modèles GPT, comme GPT-3.5 ou GPT-4, en fonction de la version utilisée.

3. Comment fonctionne un LLM ?

Un LLM fonctionne via deux étapes principales :

a) Pré-entraînement

Il lit des milliards de phrases tirées d’Internet (livres, forums, articles).
Il apprend à prédire le mot suivant dans une phrase donnée, ex. :
- Entrée : “Le chat est sur le”
- Prédiction : “toit” avec une certaine probabilité

b) Fine-tuning (ajustement)

Le modèle est affiné pour améliorer son comportement (via des humains ou du renforcement).

4. Le modèle comprend-il les questions ?

Non, ChatGPT ne comprend pas au sens humain. Il ne possède ni conscience, ni intentions. Il calcule la meilleure réponse possible basée sur des modèles statistiques de langage.

Il simule une compréhension en identifiant des structures connues et en y répondant de manière cohérente.

5. Comment fonctionne la probabilité dans un LLM ?

Chaque mot généré par ChatGPT est sélectionné selon une probabilité conditionnelle :

Exemple : « Le ciel est bleu » → Le mot « bleu » a une probabilité plus élevée que « vert » ou « rapide ».

Le modèle utilise une fonction softmax pour convertir les scores en probabilités. Ensuite, il échantillonne ou choisit le mot le plus probable (ou un mot aléatoire dans le top-k).

6. Qu’est-ce qu’une hallucination ?

Une hallucination survient quand le modèle génère une réponse fausse mais plausible.
Exemples :

« Napoléon a été président de la France. »
« Le cœur a 4 poumons. »

Les hallucinations arrivent car le modèle improvise des réponses en fonction de motifs de texte, même s’il n’a pas de mécanisme de vérification factuelle.

7. Qu’est-ce qu’un prompt ?

Un prompt est l’instruction donnée à ChatGPT.
Exemples :

Simple : « Résume ce texte en 100 mots. »
Complexe : « Agis comme un expert en cybersécurité et crée un plan de protection pour une PME. »

Un bon prompt est :

Précis
Structuré
Contextualisé
Directif

8. Comment bien configurer un prompt ?

Pour maximiser la qualité d’un prompt :

🎯 Définir un rôle : « Tu es professeur d’histoire. »
🧩 Donner un contexte : « Ce devoir porte sur la Révolution française. »
📏 Spécifier le format : « Fais un tableau avec 3 colonnes. »
⏱️ Limiter la longueur : « Fais une réponse de 10 lignes maximum. »
🔁 Anticiper les itérations : demander une première version puis améliorer

Prompt efficace :

“Agis comme un conseiller marketing. Tu dois créer une stratégie digitale en 5 étapes pour une startup de livraison éthique. Sois concis et donne des exemples.”

9. Que sont les GPT (Generative Pretrained Transformers) ?

Les GPT sont des modèles développés par OpenAI, fondés sur l’architecture Transformer :

Évolution :

Version	Année	Capacité approximative	Nouveautés
GPT-1	2018	117M paramètres	Prototype
GPT-2	2019	1,5B	Texte long et fluide
GPT-3	2020	175B	API publique
GPT-3.5	2022	–	Amélioré pour ChatGPT
GPT-4	2023	Multimodal, plugins	Raisonnement plus fiable
GPT-4o	2024	Temps réel, voix, vision	Réponse fluide