La pièce manquante de la gouvernance de l'IA : lutter contre les biais en entrée et en sortie

Si vous avez écouté mon podcast récent (Naviguer entre innovation et confiance à l'ère de l'IA) avec Kim Basile, directrice des systèmes d'information de Kyndryl, vous savez que j'aime travailler avec des acronymes. Face à l'explosion du monde de l'IA, les entreprises et les dirigeants souffrent de la peur de rater quelque chose. Kyndryl étant le plus grand fournisseur mondial de services d'infrastructure informatique, Kim a clairement compris que la peur de rater quelque chose est une réalité, pour Kyndryl et ses clients. La perception (la réalité ?) est que si vous n'êtes pas dans le monde de l'IA, votre entreprise est à la traîne.

J'ai également discuté avec Kim d'un deuxième acronyme lié à l'IA : FOMU (Fear Of Messing Up). Je pense que c'est un élément encore plus important pour réussir le lancement d'initiatives d'IA. Kim a longuement évoqué la gouvernance nécessaire pour gérer correctement les projets d'IA et instaurer la confiance interfonctionnelle. La gouvernance n'est pas une responsabilité exclusive, mais une équipe de supervision de premier plan qui veillera à la mise en place de garde-fous adéquats. Les projets d'IA sont comparables à toute autre initiative gérée au sein des entreprises.

Si vous êtes sur LinkedIn et que vous avez des relations dans le secteur technologique, vous avez certainement vu des publications faisant référence à l'étude du MIT selon laquelle « 95 % des organisations n'ont constaté aucun retour sur investissement malgré un investissement de 30 à 40 milliards de dollars dans GenAI » dans des articles comme celui-ci (Selon une étude du MIT, les investissements dans l'IA n'ont généré aucun rendement pour 95 % des entreprises). Compte tenu de tout le battage médiatique et des investissements associés, cette statistique est effrayante. Mais pourquoi en est-il ainsi ?

Je suis convaincu que la peur de rater quelque chose (FOMO) et le fait de se lancer dans des initiatives d'IA sans planification ni gouvernance approfondies font partie du problème. Je pense également que le manque d'attention portée à la peur de rater quelque chose (FOMU) dans ces projets a conduit à l'échec. Mais je crois qu'un autre acronyme contribue au succès moins escompté de l'IA : BIBO (Bias In Bias Out). Ce phénomène peut s'appliquer aux sources de données sélectionnées pour l'entraînement des modèles et aux instructions associées utilisées pour obtenir les résultats des modèles. Les biais dans les systèmes sont à l'origine de problèmes qui conduisent à des échecs.

Que peut-on faire pour minimiser le BIBO et pour tendre vers des systèmes d’IA sans biais ?

Il est primordial de comprendre la grande variété de biais qui peuvent être introduits dans les systèmes d'IA. Cet article (Biais de l'IA : exploration des modèles de prise de décision algorithmique discriminatoire et application de solutions possibles centrées sur la machine, adaptées de l'industrie pharmaceutique – PMC) fait un excellent travail en identifiant les principaux types de biais :

• Biais historique
• Biais de représentation
• Biais de mesure
• Biais d'évaluation
• Paradoxe de Simpson (biais de sous-groupe)
• Biais d'échantillonnage
• Biais de production de contenu
• Biais algorithmique

Il est nécessaire de constituer des ensembles de données non biaisés pour aboutir à un ensemble de résultats prédéterminé. La construction d'une base de données adéquate commence par des audits approfondis des ensembles de données d'entraînement afin d'identifier les lacunes de représentation, les inégalités historiques et les échantillons biaisés avant le début du développement du modèle. L'objectif est simple : éliminer les biais dès le départ. Mettre en œuvre diverses stratégies d'approvisionnement en données qui recherchent activement des perspectives et des cas d'utilisation sous-représentés plutôt que de s'appuyer sur des ensembles de données facilement accessibles ou pratiques.

D'après l'article mentionné ci-dessus, « Les algorithmes s'appuient sur des données, et leurs résultats sont généralement aussi bons que les données fournies et étiquetées, ainsi que la façon dont les formulations mathématiques sont élaborées. Même dans un modèle d'apprentissage automatique non supervisé travaillant avec des données brutes, la machine pourrait identifier des schémas sociétaux discriminatoires et les reproduire. »

Un exemple de « biais de représentation » mentionné dans l'article remonte aux débuts de l'adoption généralisée de l'IA. Amazon a développé un modèle d'IA pour examiner, analyser et noter automatiquement le parcours des candidats. Mais après environ un an d'utilisation de ce système, l'entreprise a constaté qu'il donnait aux hommes une bien meilleure note qu'aux femmes.Insight – Amazon abandonne un outil de recrutement secret basé sur l'IA qui démontrait des préjugés contre les femmes | Reuters). Le modèle a été formé sur les données d'embauche des dix dernières années, largement dominées par les hommes. En résumé, le modèle s'est auto-formé en pensant que les candidats masculins étaient « meilleurs ». Ce modèle n'a pas pu suivre le rythme des postes technologiques et d'une main-d'œuvre de plus en plus populaire auprès des femmes.

Les entreprises courent un risque juridique et financier réel si des biais apparaissent également dans les actions et les résultats de l'IA. La plateforme RH Workday est poursuivie en justice car son système de suivi des candidatures (ATS) a montré des biais à l'encontre des candidats plus âgés.https://styledispatch.com/the-hidden-ageism-in-ai-hiring-tools/). Les modèles d'IA examinent les antécédents avec des lacunes dans le CV, en utilisant une terminologie obsolète et des dates d'obtention du diplôme (qui peuvent dériver l'âge) qui pourraient créer un désavantage pour les candidats plus expérimentés (c'est-à-dire plus âgés).

Comme Kim l'a mentionné dans notre podcast, la gestion des initiatives d'IA par des experts pluridisciplinaires peut contribuer à soutenir différentes perspectives et à réduire les risques de biais. Organisez des exercices où les membres de l'équipe remettent spécifiquement en question les hypothèses et identifient les angles morts dans la conception des modèles, l'acquisition des données et leur mise en œuvre. Si certaines parties prenantes peuvent hésiter à participer, l'IA leur semblant trop technique, l'apport de membres de l'équipe non techniques est souvent essentiel pour repérer les ensembles de données biaisés et les signaux problématiques.

Des tests rigoureux, une validation et une gouvernance continue seront essentiels pour établir et maintenir des systèmes d'IA exempts de biais. Élaborez des protocoles de détection des biais qui testent les performances des modèles sur différents groupes démographiques, cas d'utilisation et conditions de pointe avant leur déploiement. Mettez en œuvre des systèmes de surveillance continue qui suivent les écarts de performance des modèles en production, facilitant ainsi les revues régulières par les équipes de gouvernance.

Tout est une question d'optimisation rapide, rapide, rapide...

Alors que les utilisateurs finaux cherchent à utiliser des LLM spécialement formés via des interfaces en langage naturel similaires à ChatGPT, la formulation et la façon dont vous formulez vos invites peuvent produire des résultats très différents. J'ai récemment eu un débat interne avec un collègue sur le nom d'un produit particulier. J'avais reçu des commentaires externes indiquant que le nom que nous avions choisi pouvait être amélioré. Mon collègue a consulté ChatGPT et a obtenu des résultats démontrant la pertinence du nom utilisé. J'ai contacté Claude et j'ai essayé de formuler une invite aussi neutre que possible, en préparant la question, en détaillant le produit, en présentant nos deux choix de noms et en lui demandant de choisir le nom le plus adapté au marché. Claude nous a recommandé d'utiliser l'autre nom que nous envisagions.

Aucun résultat n'était « correct » ou « incorrect ». Juste des résultats complètement différents selon les suggestions. Ai-je vraiment formulé une suggestion aussi neutre que possible ? Pas exactement. J'ai omis d'inclure certains attributs du produit qui corroborent le nom actuel. J'ai donc consulté Claude, inclus la suggestion initiale, ajouté ces détails très pertinents sur le produit, et le résultat est revenu : nous pouvions choisir l'un ou l'autre nom, avec les avantages et les inconvénients de chacun.

Ne « manipulez pas le témoin ». Nous devons former les utilisateurs à la façon dont les biais inconscients dans la conception des messages peuvent fausser les résultats, en leur fournissant des directives pour un langage neutre et inclusif. Comme le montre mon exemple de nom de produit, si vous orientez le moteur d'IA dans une certaine direction, par exemple « pourquoi le nom actuel est-il pertinent », le moteur obéira à cette exigence. Les équipes d'IA doivent créer des modèles de messages et des garde-fous pour aider les utilisateurs à éviter les questions suggestives ou les suppositions susceptibles de perpétuer des stéréotypes ou de fausser involontairement les résultats.

Avancer.

La voie du succès en IA ne consiste pas seulement à éviter la peur de manquer quelque chose (FOMO) ou à gérer la peur de manquer quelque chose (FOMU), mais aussi à s'attaquer au troisième facteur caché, certainement responsable de 95 % des échecs d'investissement en IA : le BIBO (Bias In Bias Out). De l'algorithme de recrutement d'Amazon, biaisé par les hommes, aux subtiles façons dont nos messages peuvent fausser les résultats, les biais peuvent s'infiltrer dans les systèmes d'IA à tous les niveaux, transformant des initiatives prometteuses en échecs coûteux. La solution exige la même gouvernance rigoureuse que celle préconisée par Kim Basile, mais en mettant l'accent sur la diversification des sources de données, la détection transversale des biais et la formation des utilisateurs à la création de messages neutres qui ne « manipulent pas le témoin ». Les organisations qui maîtrisent le BIBO éviteront non seulement de figurer dans cette statistique alarmante de 95 % d'échecs, mais elles libéreront le véritable potentiel de l'IA, tandis que leurs concurrents peinent à résoudre des problèmes avec des systèmes qui perpétuent les problèmes qu'ils sont censés résoudre.