Comment auditer la gouvernance des modèles d'IA sans trop compliquer les choses

La gouvernance des modèles d'IA peut vite devenir complexe. Les équipes parlent de fiches de modèle, de validation, de tests de biais, d'explicabilité, de modèles tiers et de mesures techniques avant même que l'auditeur ait établi à quoi sert le modèle.

Un meilleur audit commence par une question plus simple : l'organisation peut-elle démontrer que chaque modèle d'IA important a un objectif clair, un responsable désigné, des contrôles appropriés et des preuves que quelqu'un vérifie s'il se comporte encore comme prévu?

Ainsi, l'audit reste centré sur la gouvernance plutôt que de se transformer en projet de science des données.

Commencer par l'inventaire des modèles

La première étape consiste à déterminer quels modèles d'IA comptent réellement.

Un inventaire utile devrait indiquer le modèle ou le système d'IA, le responsable métier, l'utilisation prévue, les utilisateurs, les principales sources de données, le fournisseur ou le développeur, l'état du déploiement et la classification du risque. Il devrait distinguer les modèles développés à l'interne des systèmes de tiers.

Le cadre de gestion des risques liés à l'IA du NIST (AI Risk Management Framework) place les inventaires d'IA dans sa fonction Govern. Il prévoit des mécanismes pour inventorier les systèmes d'IA et des processus de gouvernance couvrant tout le cycle de vie, y compris les logiciels, le matériel et les données de tiers.

Dans le cadre de l'audit, comparez l'inventaire officiel avec les dossiers d'approvisionnement, les inventaires technologiques, les listes de fournisseurs et les entrevues auprès des équipes d'affaires. L'objectif est de déterminer si des systèmes d'IA importants peuvent fonctionner en dehors du processus de gouvernance sans être repérés.

Vérifier que les responsabilités sont claires

Chaque modèle important devrait avoir un responsable de son utilisation.

Cette personne n'a pas à maîtriser chaque détail technique, mais quelqu'un doit être responsable de l'objectif d'affaires, des décisions sur les risques, de l'état d'approbation, de la surveillance et de l'escalade lorsque le modèle change ou fonctionne mal.

Le cadre d'audit de l'intelligence artificielle de l'Institute of Internal Auditors (Artificial Intelligence Auditing Framework) met l'accent sur la gouvernance, la gestion, la responsabilité et la surveillance de l'IA. Il recommande aux auditeurs internes d'évaluer la maturité de la gouvernance de l'IA et de vérifier si les processus de contrôle sont adaptés aux risques en cause.

Pour vérifier les responsabilités, choisissez plusieurs modèles et demandez qui approuve les changements, qui examine le rendement, qui décide si la poursuite de l'utilisation est acceptable et qui peut arrêter le modèle en cas de problème grave. Si les réponses varient selon la personne interrogée, la gouvernance n'existe peut-être que sur papier.

Confirmer que l'utilisation prévue est documentée

Un modèle ne peut pas être bien gouverné si personne n'a clairement défini ce qu'il a le droit de faire.

Documentez les utilisateurs prévus, les décisions appuyées, les données en cause, les limites, les utilisations interdites et l'examen humain requis. Un modèle approuvé pour résumer des documents internes ne devrait pas être automatiquement considéré comme approuvé pour établir des cotes de risque ou influencer des conclusions d'audit.

L'AI RMF du NIST fait du contexte un élément central de la gestion des risques. Sa fonction Map sert à établir le contexte dans lequel un système d'IA fonctionne, afin d'évaluer les risques en fonction des personnes, des processus, des données et des décisions concernés.

Lors des tests, comparez l'utilisation réelle avec l'utilisation approuvée. Interrogez les utilisateurs et examinez la documentation des flux de travail. L'élargissement progressif de la portée est souvent plus facile à repérer en pratique que dans une politique.

Examiner les preuves à l'appui de l'approbation

La gouvernance devrait exiger des preuves que le modèle était adéquat avant d'être mis en service.

La validation exacte dépend du cas d'utilisation. Un assistant de rédaction à faible risque n'exige pas les mêmes tests qu'un modèle qui influence une décision importante. Ce qui compte, c'est que l'organisation définisse ce qu'est un rendement acceptable avant de s'appuyer sur le modèle.

La fonction Measure du NIST fait partie de sa structure plus large (Govern, Map, Measure et Manage) pour évaluer les risques de l'IA. Les lignes directrices de l'IESBA sur la technologie indiquent de même que les professionnels comptables qui utilisent des résultats issus de la technologie doivent évaluer leur adéquation à l'usage prévu, comprendre les limites et les hypothèses, évaluer la qualité des données et les biais potentiels, et déterminer la mesure appropriée dans laquelle s'y fier.

Les auditeurs n'ont pas à refaire chaque test technique. Ils doivent plutôt vérifier si des critères de validation existaient, si les résultats ont été examinés, si les limites importantes ont été documentées et si les problèmes non résolus ont été officiellement acceptés.

Examiner la gestion des changements

Un modèle d'IA peut changer après son approbation, même si le processus d'affaires semble identique.

Les modèles développés à l'interne peuvent être réentraînés. Les fournisseurs peuvent publier de nouvelles versions, changer de fournisseur sous-jacent, ajouter des fonctions de mémoire ou d'agent, ou modifier leurs pratiques en matière de données. Les changements dans les données d'entrée peuvent aussi influer sur le rendement.

Déterminez quels changements exigent une réévaluation et qui décide si une nouvelle validation est nécessaire. Examinez un échantillon de changements importants, de la demande jusqu'aux tests, à l'approbation, au déploiement et à la documentation.

Cela compte pour l'IA de tiers, car l'organisation ne contrôle peut-être pas le modèle lui-même. La fonction Govern du NIST traite expressément des risques liés aux systèmes d'IA de tiers et aux relations avec les fournisseurs.

Rechercher une surveillance continue significative

L'approbation n'est pas la fin de la gouvernance.

La surveillance devrait montrer si un modèle fonctionne toujours dans des limites acceptables. Selon le cas d'utilisation, elle peut porter sur l'exactitude, les taux d'erreur, les plaintes, les dérogations, les indicateurs de biais, les incidents de sécurité, les résultats inhabituels ou les changements dans les données traitées.

Le cadre d'audit de l'IA de l'IIA indique que l'audit interne peut fournir une assurance sur les processus et les contrôles que la direction utilise pour gérer et surveiller l'IA. Les travaux du Technology Quality Management de l'IAASB soulignent de même que la gouvernance et la gestion des risques sont essentielles, alors que les cabinets utilisent de plus en plus d'outils d'IA qui peuvent être complexes ou difficiles à interpréter.

Demandez ce qui amènerait la direction à enquêter sur le modèle, à le restreindre ou à le retirer. Vérifiez ensuite si ces seuils sont surveillés et si les exceptions donnent lieu à des mesures.

Garder des preuves d'audit simples

Pour chaque modèle important, l'auditeur devrait pouvoir retracer un récit de gouvernance clair : le modèle est inventorié, les responsabilités sont attribuées, l'utilisation prévue est définie, le risque a été évalué, l'approbation s'appuyait sur des tests, les changements importants sont contrôlés et le rendement continu est surveillé.

Les preuves peuvent comprendre une fiche d'inventaire, une note d'approbation, les résultats de validation, l'historique des changements, un tableau de bord de surveillance, une acceptation du risque et des dossiers d'incidents.

Le meilleur audit de la gouvernance des modèles d'IA n'est pas celui qui teste le plus de mesures techniques. C'est celui qui détermine si l'organisation sait quels modèles comptent, qui en est responsable, ce qu'ils ont le droit de faire et comment la direction sait que quelque chose a changé.

Si ces réponses sont claires et appuyées par des preuves, le processus de gouvernance remplit probablement son rôle. Si elles ne le sont pas, des tests techniques supplémentaires ne régleront pas le problème de fond, qui est un problème de responsabilité.

Un problème de moment se cache sous tous les contrôles de gouvernance décrits ci-dessus : une fois qu'une invite est soumise à un modèle d'IA, on ne peut plus la rappeler. L'utilisation approuvée, des responsabilités claires et une surveillance continue comptent tous, mais aucun ne peut annuler l'envoi d'un identifiant de client ou d'un document confidentiel. C'est le principe sur lequel Sanitized Ai est fondé : repérer et caviarder les renseignements sensibles avant que l'invite n'atteigne le modèle, afin que le récit de gouvernance que vous documentez soit aussi celui qui se déroule réellement.

Ce trimestre, choisissez le modèle ou l'outil d'IA sur lequel votre organisation s'appuie le plus et suivez-le à travers le récit de gouvernance ci-dessus, de la fiche d'inventaire jusqu'aux preuves de surveillance. Notez chaque lacune touchant les responsabilités, l'utilisation prévue ou la gestion des changements, et convenez d'un responsable et d'un correctif pour chacune. Si vous voulez voir comment les renseignements sensibles peuvent être repérés avant la soumission plutôt qu'après, demandez une démo et passez en revue avec nous votre propre processus de gouvernance.