Fenêtre de contexte : définition simple

Un assistant d’intelligence artificielle (IA) ne tient compte que de ce qui entre dans sa fenêtre de contexte, et non de tout ce qui s’est dit depuis le début. Cette limite explique beaucoup d’« oublis » dans les longues conversations, et bien des réponses approximatives sur les gros documents. La connaître permet de travailler avec, plutôt que de la subir.

Que désigne la fenêtre de contexte ?

La fenêtre de contexte désigne tout ce qu’un modèle de langage a sous les yeux au moment de produire une réponse, dans une limite fixée en tokens.

L’expression traduit l’anglais context window. La fenêtre contient les instructions système de l’application, vos messages, les réponses précédentes du modèle, les documents joints, les résultats d’une éventuelle recherche sur le web, et la réponse en cours d’écriture. Le modèle n’a aucune autre trace de la conversation : ce qui n’est pas dans la fenêtre n’existe pas pour lui.

Une image aide à le comprendre : la fenêtre de contexte ressemble à un plan de travail. Tout ce qui est posé dessus peut servir, rien de ce qui est rangé ailleurs ne compte, et quand la surface est pleine, il faut retirer quelque chose pour en ajouter.

Elle se mesure en tokens, les fragments de texte que lit un modèle, et non en pages ou en mots. C’est une caractéristique propre à chaque grand modèle de langage, fixée par sa conception.

Quelle est la taille d’une fenêtre de contexte ?

La taille d’une fenêtre de contexte varie fortement d’un modèle à l’autre, et elle a nettement augmenté au fil des générations de modèles. Les chiffres évoluent vite : mieux vaut consulter la documentation du modèle utilisé que retenir un ordre de grandeur.

Deux précisions comptent en pratique. La taille annoncée est un maximum technique, et l’application ou l’offre que vous utilisez peut n’en exposer qu’une partie. La longueur de la réponse est, elle, plafonnée à part, souvent bien en dessous de ce que le modèle peut lire.

Que se passe-t-il quand la fenêtre de contexte déborde ?

Quand la fenêtre de contexte déborde, une partie du texte cesse d’être prise en compte, et le modèle répond sans elle, sans toujours le signaler.

Le début d’une longue conversation s’efface

Dans une conversation qui s’étire, l’outil doit faire de la place : selon les cas, les premiers échanges sont retirés, remplacés par un résumé, ou l’application invite à ouvrir une nouvelle conversation. Les consignes posées au départ, comme le ton à adopter ou les informations à ne pas utiliser, peuvent alors cesser d’être appliquées. L’outil semble « oublier » ce qui avait été convenu.

Les informations se noient

Même sans débordement, remplir la fenêtre n’est pas neutre. Une information précise, perdue au milieu d’une grande masse de texte, peut être moins bien exploitée. Plus une même conversation mélange de sujets et de documents, plus le risque de confondre ou d’omettre un détail augmente.

Les documents trop longs sont coupés

Un fichier qui dépasse la limite est, selon l’outil, refusé, lu en partie ou réduit à des extraits recherchés au moment de la question. Dans les deux derniers cas, la réponse peut paraître complète alors qu’elle ignore une partie du document. Le modèle peut alors combler les manques par du contenu plausible, ce qui est un terrain classique d’hallucination d’une IA.

Comment travailler avec la limite de la fenêtre de contexte ?

Trois réflexes simples permettent de travailler avec la fenêtre de contexte : repartir d’un résumé, donner des documents ciblés et ouvrir une conversation par sujet.

Repartir d’un résumé

Quand une conversation devient longue, demandez à l’assistant de résumer les décisions prises, les consignes en vigueur et les points ouverts. Relisez ce résumé, corrigez-le, puis collez-le au début d’une nouvelle conversation. Vous repartez avec l’essentiel, sans le bruit des échanges intermédiaires.

Donner des documents ciblés

Plutôt que le rapport complet, transmettez le chapitre utile ; plutôt que tous les contrats, celui qui est en cause. Moins de texte, c’est souvent une réponse plus précise, plus rapide et, pour un usage facturé à la consommation, moins coûteuse.

Une conversation par sujet

Ouvrez une conversation pour la relance d’un client, une autre pour la synthèse d’une réunion. Mélanger les sujets remplit la fenêtre d’informations sans rapport et augmente le risque de confusion. Les consignes permanentes trouvent leur place dans les instructions que la plupart des assistants permettent d’enregistrer.

Quelle différence entre fenêtre de contexte, mémoire et entraînement ?

La fenêtre de contexte est ce que le modèle lit pour la réponse en cours ; elle ne se confond ni avec ce qu’il a appris pendant son entraînement, ni avec la mémoire d’une application.

Un modèle « sait » donc des choses de deux façons : ce qu’il a appris, et ce qu’on lui donne à lire. Seule la seconde se contrôle au moment de l’usage. Le token, unité de mesure de la fenêtre, est lui aussi défini dans le glossaire de l’IA.

Comment analyser un document long avec une IA ?

Un document long s’analyse mieux section par section, en demandant à l’outil de citer les passages, qu’en une seule question sur le document entier. C’est sur ce travail que la fenêtre de contexte pèse le plus dans une petite ou moyenne entreprise (PME) : contrats, appels d’offres, procédures, comptes rendus.

Une grande fenêtre ne dispense pas de choisir ce qu’on donne à lire. Sur un appel d’offres, ce découpage rend la vérification possible, et les oublis se voient.

Tout ce qui entre dans la fenêtre est aussi transmis au fournisseur de l’outil, sauf si le modèle fonctionne sur vos propres machines. Avant de joindre un document confidentiel, la question de l’offre et de ses réglages se pose donc, comme pour toute donnée collée dans une conversation.

À retenir

• La fenêtre de contexte est la quantité de texte, mesurée en tokens, qu’un modèle prend en compte en une seule fois.
• Elle contient la consigne, l’historique de la conversation, les documents joints et la réponse en cours d’écriture.
• Quand elle déborde, les premiers échanges ou une partie des documents cessent d’être pris en compte, selon l’outil.
• Repartir d’un résumé, donner des documents ciblés et ouvrir une conversation par sujet limitent ces pertes.
• Une grande fenêtre de contexte ne remplace ni le choix des passages utiles, ni la vérification des réponses.