Concept

Fenêtre de contexte

La fenêtre de contexte, c'est la quantité de texte qu'un modèle de langage peut considérer en même temps quand il te répond.

D'où ça vient

La notion est liée à l'architecture transformer, présentée en 2017 par des chercheurs de Google dans l'article « Attention Is All You Need ». Cette architecture repose sur le mécanisme d'attention, développé par Bahdanau et ses collègues en 2014. C'est ce mécanisme qui travaille à l'intérieur de la fenêtre de contexte.

C'est quoi, concrètement

Un modèle de langage découpe le texte en unités appelées jetons (tokens en anglais). Le mécanisme d'attention détermine ensuite quels jetons sont pertinents les uns par rapport aux autres, à l'intérieur de la fenêtre de contexte. Un modèle peut être entraîné pour des contextes allant jusqu'à une certaine longueur, et cette limite se compte en jetons. Dans ton travail, c'est ce qui détermine la quantité de texte que le modèle peut garder « sous les yeux » dans une même conversation.

Exemples

Yarn-Llama-2-13b-128k : Une version de Llama 2 13B dont le contexte a été étendu à 128K jetons grâce à la méthode YaRN.
Qwen2.5-7B-Instruct-1M : Un modèle dont le « 1M » dans le nom indique la longueur du contexte en jetons, et non le nombre de paramètres.
Modèles « long » : Certains modèles portent la mention « long » dans leur nom pour signaler que leur longueur de contexte a été étendue.
Harnais logiciel : Un harnais logiciel peut donner à un modèle de la mémoire et l'accès à des outils comme la recherche sur le web, en complément de sa fenêtre de contexte.

Ce que ça permet

Le mécanisme d'attention relie tous les éléments d'une séquence en même temps, peu importe leur distance.
Le modèle peut tenir compte de plusieurs éléments de ta demande à la fois.
Certains modèles sont entraînés expressément pour de longs contextes.
Des méthodes comme YaRN permettent d'étendre le contexte d'un modèle existant.
Le nom d'un modèle indique souvent sa longueur de contexte, ce qui facilite la comparaison.

Pièges à éviter

La fenêtre a une limite supérieure: tout ce qui dépasse n'est pas considéré par le modèle.
Le chiffre dans le nom d'un modèle peut prêter à confusion: il peut compter des jetons de contexte plutôt que des paramètres.
Une fenêtre plus grande ne rend pas les réponses automatiquement exactes. Des données d'entraînement biaisées ou inexactes rendent les résultats moins fiables.
Les jetons ne sont pas des mots: ne compte pas ta limite en pages ou en mots à l'aveugle.

Pour ta PME

Avant de coller un long document dans un outil, pense à ce qui doit entrer dans la fenêtre: donne seulement les extraits utiles à la tâche. Évite d'y mettre des renseignements personnels ou des données sensibles de clients, et garde la Loi 25 en tête. Fais toujours relire par une personne les résumés et les analyses avant de les utiliser ou de les envoyer.

Sources : Wikipédia · mis à jour le 2026-11-06

Infolettre gratuite

« 5 prompts, 1 café »

Reçois 5 prompts prêts à copier chaque matin à 6 h 30.