IA multimodale : définition et cas d'usage

À leur arrivée, les assistants conversationnels d’intelligence artificielle (IA) comme ChatGPT prenaient du texte et rendaient du texte. Les modèles multimodaux ouvrent la porte aux contenus tels qu’ils existent vraiment dans une petite ou moyenne entreprise (PME) : des scans, des photos, des messages vocaux, des réunions. C’est un vrai changement d’usage, avec des limites qu’il faut connaître avant de s’y fier.

Que veut dire « multimodale » ?

« Multimodale » veut dire que l’IA travaille avec plusieurs modalités, c’est-à-dire plusieurs types de contenus : le texte, l’image, le son et la vidéo.

La multimodalité joue dans les deux sens. En entrée, l’IA comprend une image ou un enregistrement. En sortie, elle produit une image, une voix de synthèse ou une vidéo. Un même outil peut faire l’un, l’autre, ou les deux.

Elle ne se voit pas toujours. Quand un assistant écoute un message vocal puis y répond, il s’agit parfois d’un seul modèle qui traite directement le son, parfois de plusieurs outils enchaînés : une transcription, un modèle de langage, une voix de synthèse. Pour l’utilisateur, le résultat se ressemble ; pour la qualité et la confidentialité, la différence peut compter.

Comment fonctionne une IA multimodale ?

Un modèle multimodal convertit chaque type de contenu en une même forme de représentation, des suites de nombres, qu’il peut ensuite traiter ensemble.

Pour le texte, le modèle découpe les phrases en tokens (jetons), des mots ou des morceaux de mots. Une image est découpée en petites zones, chacune transformée en une suite de nombres que le modèle traite comme il traite des mots. Le son suit un principe voisin. En pratique, une image envoyée à un assistant compte elle aussi dans ce que le modèle peut lire en une fois.

Pendant son entraînement, le modèle apprend à relier ces représentations : une photo et sa description, un son et sa transcription. C’est ce qui lui permet de répondre à une question écrite sur une image. Beaucoup de grands modèles de langage (LLM) récents acceptent désormais des images en plus du texte.

La différence ressemble à celle qui sépare dicter un document à un collègue et le lui tendre : il le lit lui-même, avec ce qu’il comprend bien et ce qu’il comprend de travers.

Cinq usages de l’IA multimodale en PME

Dans une PME, l’IA multimodale sert surtout à exploiter des contenus qui ne sont pas du texte propre : scans, photos, enregistrements.

Lire une facture scannée

La comptabilité transmet le scan d’une facture fournisseur et obtient le nom du fournisseur, la date, les montants et les références, prêts à être vérifiés puis saisis. L’intérêt est réel sur les documents mal structurés, que les outils de lecture classiques interprètent souvent mal.

Décrire une photo de chantier

Un conducteur de travaux prend des photos en fin de journée. L’IA en tire une première description de l’avancement et peut signaler ce qui semble anormal, pour préparer le compte rendu. Elle ne remplace pas l’œil du métier : elle décrit ce qui se voit, pas ce qui est caché.

Transcrire et résumer une réunion

Un enregistrement de réunion devient une transcription, puis un résumé avec les décisions et les actions à suivre. Prévenir les participants avant d’enregistrer est indispensable, et le résumé gagne à être relu par quelqu’un qui était présent.

Préremplir une demande avec photo

Au service client, un client envoie la photo d’une pièce abîmée. L’IA décrit le défaut, relève la référence visible sur l’étiquette et préremplit la demande de prise en charge, que l’équipe valide.

Produire des visuels ou une voix

En sortie, la multimodalité sert aussi à produire une illustration pour un support interne ou une voix de synthèse pour un tutoriel. Cette partie relève de l’IA générative et demande la même relecture qu’un texte généré.

IA multimodale, IA générative, LLM : quelles différences ?

L’IA multimodale se définit par les types de contenus qu’elle traite, l’IA générative par le fait qu’elle produit du contenu, et le LLM par sa matière première, le texte.

Les catégories se recoupent. Un LLM devenu multimodal continue souvent d’être appelé LLM, et la plupart des assistants multimodaux sont aussi génératifs. Les autres notions sont définies dans le glossaire de l’IA.

Limites et points de vigilance

Une IA multimodale lit avec assurance, y compris quand elle lit mal : ses erreurs ont la même allure que ses bonnes réponses.

• Les erreurs de lecture. Un chiffre mal lu sur un scan pâle, une ligne de tableau décalée, une écriture manuscrite mal interprétée. Sur un montant ou une date, l’erreur passe inaperçue si personne ne compare avec l’original.
• Les détails inventés. Face à une image floue ou ambiguë, le modèle peut décrire un élément qui n’y figure pas.
• Les mesures et les comptages. Compter des objets, lire une cote sur un plan ou estimer une distance sur une photo restent des exercices souvent fragiles.
• Le son. Noms propres, jargon, accents, personnes qui parlent en même temps : la transcription se trompe, et l’attribution des propos à la bonne personne aussi.
• Les données personnelles. Un visage, une voix ou une plaque d’immatriculation sont des données personnelles, et un document posé sur un bureau peut en contenir d’autres. Un tableau blanc ou un écran allumé à l’arrière-plan peut aussi révéler des informations confidentielles.

Par quel usage commencer ?

Pour introduire l’IA multimodale, la démarche raisonnable part d’un flux précis et répétitif, comme les factures fournisseurs ou les demandes de prise en charge avec photo. L’outil se teste ensuite sur de vrais documents, y compris les plus mal scannés, avant d’être généralisé.

Deux règles évitent l’essentiel des déconvenues. Les montants, les dates et les noms restent validés par une personne. Et ce qu’on peut envoyer à quel outil, sous quel compte, est décidé avant les premiers essais, pas après.

À retenir

• Une IA multimodale traite ou produit plusieurs types de contenus : texte, image, son ou vidéo.
• Un modèle multimodal convertit chaque contenu en une représentation commune, ce qui lui permet de répondre par écrit à une question sur une image ou un enregistrement.
• En PME, elle sert à lire des factures scannées, décrire des photos, transcrire et résumer des réunions ou préremplir des demandes.
• Ses erreurs de lecture ont la même allure que ses bonnes réponses, donc les montants, les dates et les noms se vérifient sur l’original.
• Images et enregistrements contiennent souvent des données personnelles, ce qui oblige à choisir l’outil et le compte avant de les envoyer.