Token en IA : définition et pourquoi ça compte

Les modèles de langage, sur lesquels reposent les assistants d’intelligence artificielle (IA), ne lisent ni des lettres, ni des mots : ils lisent des tokens. Cette unité invisible explique pourquoi un long document peut être tronqué, pourquoi une conversation finit par perdre ses premières consignes, et comment se calcule le coût d’un usage automatisé. Nul besoin de compter les tokens au quotidien, mais savoir qu’ils existent évite plusieurs malentendus.

Qu’est-ce qu’un token, concrètement ?

Un token est un fragment de texte, mot entier ou morceau de mot, qu’un modèle traite comme une seule unité. Le mot anglais token se traduit par « jeton ».

Avant d’être traité par un grand modèle de langage, chaque texte est converti en une suite de tokens, et chaque token en un numéro. C’est cette suite de numéros que le modèle reçoit en entrée. À la sortie, le chemin inverse transforme les numéros produits en texte lisible.

Le principe ne concerne pas que le texte. Les images ou les fichiers transmis à un modèle sont eux aussi convertis en unités de calcul, que les fournisseurs comptent le plus souvent en tokens.

Comment un texte est-il découpé en tokens ?

Un texte est découpé en tokens par un programme de découpage, appelé tokeniseur (tokenizer, en anglais), qui applique un vocabulaire de fragments fixé lors de la conception du modèle.

Ce vocabulaire est construit à partir des fragments les plus fréquents dans de grandes quantités de textes. Un mot courant y figure souvent tel quel et vaut alors un seul token. Un mot long ou rare, comme « anticonstitutionnellement », un nom propre ou une référence produit sont souvent découpés en plusieurs morceaux.

On peut comparer ce vocabulaire à une boîte de pièces de construction. Les assemblages fréquents existent en un seul bloc, tandis que les formes rares se montent avec plusieurs petites pièces.

Quelques repères, à prendre comme des tendances et non comme des règles :

• un mot peut valoir plusieurs tokens, surtout s’il est long, rare ou mal orthographié ;
• la ponctuation et les retours à la ligne comptent aussi ;
• les nombres longs, les codes et les adresses web sont souvent découpés en nombreux fragments ;
• le français consomme souvent davantage de tokens que l’anglais pour le même contenu, avec un écart qui varie selon les modèles ;
• deux modèles différents ne découpent pas le même texte de la même façon.

Ce découpage explique en partie une bizarrerie connue : un modèle peut se tromper en comptant les lettres d’un mot, parce qu’il ne manipule pas des lettres, mais des fragments.

Pourquoi les tokens comptent-ils ?

Les tokens comptent parce qu’ils mesurent trois choses qui touchent directement l’usage : ce que le modèle peut lire d’un coup, ce que coûte un usage facturé à la consommation et le temps de réponse.

Une limite de lecture

Chaque modèle ne peut prendre en compte qu’un nombre limité de tokens à la fois : c’est sa fenêtre de contexte. Consigne, historique de la conversation, documents joints, tout ce que le modèle lit entre dans ce total, et la réponse produite est elle aussi plafonnée en tokens.

Une unité de facturation

L’accès aux modèles par une interface de programmation (API), qui permet de brancher l’IA sur un logiciel, est le plus souvent facturé au token. Les tokens envoyés au modèle et ceux qu’il produit sont comptés séparément, souvent à des tarifs différents. Le coût d’un traitement automatisé dépend donc directement du volume de texte lu et écrit.

Un temps de réponse

Un modèle produit sa réponse token après token. Plus la réponse est longue, plus elle prend de temps, et une consigne très volumineuse peut aussi retarder le début de la réponse.

Des tokens qu’on ne voit pas

Dans une conversation, le modèle reprend en compte l’historique des échanges à chaque nouveau message : une longue conversation mobilise donc de plus en plus de tokens. Les instructions système de l’application, les documents joints et, pour certains modèles, un raisonnement intermédiaire non affiché s’ajoutent aux tokens consommés.

Un token est-il un mot ou un caractère ?

Un token n’est ni un mot, ni un caractère, ni un paramètre du modèle, et le même mot anglais désigne aussi, en informatique, des choses sans rapport avec l’IA générative.

Le mot token désigne aussi les jetons des cryptomonnaies, sans aucun rapport avec les modèles de langage. Un jeton d’accès, lui, se garde secret : il ne se colle jamais dans une conversation avec un assistant. Quand un mot de l’IA générative vous échappe, le glossaire de l’IA en entreprise est le premier endroit où chercher.

Quand les tokens deviennent-ils un coût ?

Les tokens pèsent sur la facture dès qu’un projet branche l’IA sur un logiciel ; pour une petite ou moyenne entreprise (PME) équipée d’un simple abonnement, ils se comptent rarement, mais expliquent plusieurs comportements de l’outil.

Un document très long peut n’être lu qu’en partie, une conversation interminable peut perdre ses premières consignes, et une limite d’usage peut être atteinte plus vite avec de gros fichiers. D’où deux réflexes simples : des documents ciblés, et une conversation par sujet.

Pour un projet branché sur un logiciel, ce coût s’estime avant de se lancer : nombre de documents, longueur moyenne, fréquence des traitements. Une consigne détaillée répétée à chaque appel, ou un historique renvoyé en entier, peut peser plus lourd que prévu. Cette estimation se fait de préférence sur des volumes réels, plutôt que sur un ordre de grandeur générique.

À retenir

• Un token est un fragment de texte, mot entier ou morceau de mot, qu’un modèle de langage traite comme une seule unité.
• Le découpage dépend du modèle : le même texte ne compte pas le même nombre de tokens d’un outil à l’autre.
• Un mot peut valoir plusieurs tokens, et un texte en français en demande souvent davantage que sa version anglaise.
• Les tokens mesurent ce qu’un modèle peut lire d’un coup et servent d’unité de facturation pour l’accès aux modèles par API.
• Pour un projet automatisé, le volume de tokens s’estime sur des cas réels avant de se lancer.