Biais algorithmique : définition et exemples

Un logiciel qui trie des candidatures, attribue un score à un client ou reconnaît une image peut se tromper plus souvent pour certains groupes que pour d’autres, sans que personne l’ait voulu. Le problème se voit rarement dans une décision isolée, mais dans la répétition. Il concerne toute entreprise qui laisse un outil influencer une décision sur des personnes, quelle que soit sa taille.

Qu’est-ce qu’un biais algorithmique ?

Un biais algorithmique est un écart systématique dans les résultats d’un système automatisé, qui se répète dans le même sens, au détriment ou au profit des mêmes groupes ou des mêmes types de cas.

Le mot important est « systématique ». Tout système se trompe parfois. Il y a biais quand les erreurs ne tombent pas au hasard : un groupe de personnes subit plus souvent la mauvaise décision, ou un type de situation est régulièrement mal traité.

Le biais ne suppose aucune intention. Il apparaît souvent sans que les concepteurs l’aient voulu, ni même remarqué. C’est ce qui le rend difficile à voir : chaque décision, prise isolément, semble raisonnable.

Le terme vaut pour tout système qui décide ou recommande automatiquement, d’un simple jeu de règles à un modèle de machine learning. L’hallucination, notion voisine souvent confondue avec le biais, est traitée à part dans le glossaire de l’IA.

D’où viennent les biais algorithmiques ?

Les biais algorithmiques viennent de trois sources : les données qui ont servi à construire le système, les choix faits pendant sa conception, et la manière dont il est utilisé.

Les données

Un modèle apprend ce qu’on lui montre. Si l’historique reflète des décisions déséquilibrées, le modèle les prend pour la norme. Si un groupe est peu présent dans les exemples, le modèle se trompe davantage à son sujet.

Retirer une donnée sensible, comme le sexe ou l’âge, ne suffit pas. D’autres variables, comme le prénom, l’adresse ou le parcours, peuvent la refléter indirectement. Les étiquettes posées par des humains transportent aussi leurs jugements : un modèle qui apprend à prédire des évaluations partiales apprend leur partialité.

La conception

Prédire « qui a été embauché » n’est pas prédire « qui réussira dans le poste ». Le premier objectif risque de reproduire les recruteurs d’hier, le second demande d’autres données.

La mesure de réussite peut aussi masquer un problème. Un modèle juste dans l’immense majorité des cas peut se tromper très souvent sur un groupe minoritaire, sans que sa précision globale le révèle.

L’usage

Un outil correct peut produire des effets biaisés selon l’usage qu’on en fait. Un modèle conçu pour une population peut perdre sa fiabilité sur une autre. Et un score présenté comme une simple aide peut finir par être suivi sans examen : c’est le biais d’automatisation, la tendance à faire trop confiance à la machine.

Un système peut enfin s’auto-entretenir. S’il écarte toujours le même type de dossiers, il ne reçoit jamais de contre-exemple, et les données futures confirment sa règle.

Quels exemples de biais algorithmiques connaît-on ?

Parmi les exemples de biais algorithmiques les plus étudiés figurent les systèmes qui trient, notent ou reconnaissent des personnes : recrutement, crédit, reconnaissance d’images, et désormais IA générative.

Dans le recrutement. Un outil de tri entraîné sur les embauches passées d’un métier très masculin peut apprendre à pénaliser des indices indirectement liés au sexe, comme une interruption de carrière ou un temps partiel, sans que le sexe figure dans les données. Il automatise alors un déséquilibre que personne n’a décidé de reproduire.

Dans le crédit et l’évaluation de clients. Un score de risque construit sur l’historique des remboursements peut défavoriser les personnes dont le dossier est peu documenté, par exemple faute d’antécédents bancaires. Des variables comme le lieu de résidence peuvent aussi reproduire des inégalités sociales. La même logique vaut pour un score qui fixe les délais de paiement accordés à un client professionnel.

Dans la reconnaissance d’images. Un système entraîné surtout sur certains profils peut reconnaître moins bien les autres, par exemple selon la couleur de peau ou l’âge des personnes photographiées, et ce déséquilibre se retrouve dans ses taux d’erreur. En production, le même mécanisme explique qu’un défaut rare dans les images d’entraînement soit mal repéré.

Dans l’IA générative. Les grands modèles de langage peuvent reproduire des stéréotypes présents dans leurs données, par exemple en associant un métier à un sexe. Ce biais ne produit pas forcément une information fausse, mais une vision déformée.

Biais, erreur ponctuelle, hallucination : ce qui les sépare

Un biais algorithmique se distingue d’une simple erreur par sa régularité, et d’une hallucination par sa nature : il déforme les résultats dans un sens constant, là où l’hallucination invente une information.

Biais cognitif et biais algorithmique se croisent souvent : le biais cognitif de ceux qui conçoivent ou utilisent un outil peut devenir un biais algorithmique. Pour les parades propres aux réponses inventées, voir la définition de l’hallucination.

Un biais algorithmique peut aussi conduire à une discrimination, qui est une notion juridique. Pour le cadre réglementaire applicable à l’IA, voir la définition de l’AI Act.

Comment réduire les biais algorithmiques dans une PME ?

Une petite ou moyenne entreprise (PME) réduit les biais algorithmiques avec quatre gestes proportionnés : examiner les données, tester les résultats, garder une supervision humaine réelle et documenter ses choix.

Supprimer tout biais n’est pas un objectif réaliste. Le but est de repérer les écarts, de décider lesquels sont acceptables pour l’usage prévu, et de pouvoir expliquer ces décisions.

Examiner les données. Qui est présent dans l’historique, et qui en est absent ? Les décisions passées étaient-elles elles-mêmes équitables ? Quelles variables pourraient refléter indirectement une caractéristique sensible ?

Tester les résultats. Avant de déployer un outil, comparez ses résultats entre groupes. Une méthode simple consiste à soumettre des dossiers fictifs identiques, qui ne diffèrent que par un prénom, un âge ou une adresse. Si l’outil vient d’un fournisseur, demandez-lui quels tests il a menés et sur quelles données. Refaites ces vérifications de temps en temps, car les données et les usages évoluent.

Garder une supervision humaine réelle. Pour toute décision qui touche une personne, gardez une validation humaine. Réelle veut dire que la personne a le temps, l’information et l’autorité pour contredire l’outil : une validation apposée sans examen ne supervise rien. Prévoyez aussi un moyen de contester une décision.

Documenter. Notez à quoi sert l’outil, sur quelles données il repose, quels tests ont été faits, quelles limites sont connues et qui en répond. Une page suffit pour corriger vite quand un problème apparaît, et pour montrer ce qui a été fait.

Le premier geste est simple : listez les outils qui influencent déjà une décision sur des personnes, y compris les fonctions automatiques de vos logiciels de recrutement ou de gestion.

À retenir

• Un biais algorithmique est un écart systématique dans les résultats d’un système automatisé, qui avantage ou désavantage de façon répétée les mêmes groupes ou les mêmes types de cas.
• Un biais algorithmique peut venir des données d’entraînement, des choix de conception ou de la manière dont l’outil est utilisé.
• Retirer une donnée sensible comme le sexe ou l’âge ne suffit pas à supprimer un biais, car d’autres variables peuvent la refléter indirectement.
• Un biais algorithmique se repère notamment en comparant les résultats d’un outil entre groupes, par exemple avec des dossiers fictifs qui ne diffèrent que par un critère.
• Dans une PME, tester les résultats, garder une supervision humaine réelle et documenter ses choix permettent de repérer et de limiter les biais.