La gobernanza de los modelos de IA puede volverse complicada rápidamente. Los equipos pueden hablar de fichas de modelo, validación, pruebas de sesgo, explicabilidad, modelos de terceros y métricas técnicas antes de que el auditor haya establecido siquiera para qué sirve el modelo.
Una mejor auditoría empieza con una pregunta más sencilla: ¿puede la organización demostrar que cada modelo de IA importante tiene un propósito claro, un responsable designado, controles adecuados y evidencia de que alguien supervisa si sigue comportándose como se espera?
Así la auditoría se mantiene centrada en la gobernanza en lugar de convertirse en un proyecto de ciencia de datos.
Empiece por el inventario de modelos
El primer paso es determinar qué modelos de IA importan realmente.
Un inventario útil debería identificar el modelo o sistema de IA, el responsable del negocio, el uso previsto, los usuarios, las fuentes de datos importantes, el proveedor o desarrollador, el estado de implementación y la clasificación de riesgo. Debería distinguir entre los modelos desarrollados internamente y los sistemas de terceros.
El Marco de Gestión de Riesgos de IA del NIST (AI Risk Management Framework) ubica los inventarios de IA dentro de su función Govern. Prevé mecanismos para inventariar los sistemas de IA y procesos de gobernanza que cubran todo el ciclo de vida, incluidos el software, el hardware y los datos de terceros.
Para la auditoría, compare el inventario oficial con los registros de adquisiciones, los inventarios tecnológicos, las listas de proveedores y las entrevistas con los equipos de negocio. El objetivo es determinar si sistemas de IA relevantes pueden operar al margen del proceso de gobernanza sin ser identificados.
Compruebe que las responsabilidades estén claras
Cada modelo importante debería tener a alguien responsable de su uso.
Esa persona no necesita comprender todos los detalles técnicos, pero alguien debe ser responsable del propósito de negocio, las decisiones de riesgo, el estado de aprobación, el monitoreo y la escalación cuando el modelo cambia o su desempeño es deficiente.
El Marco de Auditoría de Inteligencia Artificial del Institute of Internal Auditors (Artificial Intelligence Auditing Framework) hace hincapié en la gobernanza, la gestión, la rendición de cuentas y la supervisión de la IA. Recomienda que los auditores internos evalúen la madurez de la gobernanza de la IA y determinen si los procesos de control son adecuados para los riesgos en juego.
Para comprobar las responsabilidades, seleccione varios modelos y pregunte quién aprueba los cambios, quién revisa el desempeño, quién decide si es aceptable seguir usándolos y quién puede detener el modelo si aparece un problema grave. Si las respuestas cambian según a quién se pregunte, es posible que la gobernanza exista solo en el papel.
Confirme que el uso previsto esté documentado
Un modelo no se puede gobernar bien si nadie ha definido con claridad lo que se le permite hacer.
Documente los usuarios previstos, las decisiones que apoya, los datos involucrados, las limitaciones, los usos prohibidos y la revisión humana requerida. Un modelo aprobado para resumir documentos internos no debería considerarse automáticamente aprobado para asignar calificaciones de riesgo ni para influir en conclusiones de auditoría.
El AI RMF del NIST considera el contexto como un elemento central de la gestión de riesgos. Su función Map establece el contexto en el que opera un sistema de IA para que los riesgos se evalúen en relación con las personas, los procesos, los datos y las decisiones involucrados.
En las pruebas, compare el uso real con el uso aprobado. Entreviste a los usuarios y revise la documentación de los flujos de trabajo. La ampliación gradual del alcance suele ser más fácil de detectar en la práctica que en la política.
Revise la evidencia que respalda la aprobación
La gobernanza debería exigir evidencia de que el modelo era adecuado antes de ponerse en operación.
La validación exacta depende del caso de uso. Un asistente de redacción de bajo riesgo no necesita las mismas pruebas que un modelo que influye en una decisión importante. Lo importante es que la organización defina qué es un desempeño aceptable antes de confiar en el modelo.
La función Measure del NIST forma parte de su estructura más amplia (Govern, Map, Measure y Manage) para evaluar los riesgos de la IA. La guía tecnológica de la IESBA señala de manera similar que los profesionales contables que usan resultados de la tecnología deben evaluar su idoneidad para el fin previsto, comprender las limitaciones y los supuestos, evaluar la calidad de los datos y los posibles sesgos, y determinar el grado adecuado de confianza.
Los auditores no necesitan repetir cada prueba técnica. En cambio, deben comprobar si existían criterios de validación, si se revisaron los resultados, si se documentaron las limitaciones significativas y si los problemas pendientes fueron aceptados formalmente.
Examine la gestión de cambios
Un modelo de IA puede cambiar después de su aprobación aunque el proceso de negocio parezca el mismo.
Los modelos desarrollados internamente pueden volver a entrenarse. Los proveedores pueden lanzar nuevas versiones, cambiar de proveedor subyacente, añadir funciones de memoria o de agente, o modificar sus prácticas con los datos. Los cambios en los datos de entrada también pueden afectar el desempeño.
Determine qué cambios exigen una nueva evaluación y quién decide si es necesaria una nueva validación. Revise una muestra de cambios significativos desde la solicitud hasta las pruebas, la aprobación, la implementación y la documentación.
Esto es importante para la IA de terceros, porque es posible que la organización no controle el modelo en sí. La función Govern del NIST aborda específicamente los riesgos de los sistemas de IA de terceros y de las relaciones con proveedores.
Busque un monitoreo continuo significativo
La aprobación no es el fin de la gobernanza.
El monitoreo debería mostrar si un modelo sigue operando dentro de límites aceptables. Según el caso de uso, puede abarcar la precisión, las tasas de error, las quejas, las anulaciones manuales, los indicadores de sesgo, los incidentes de seguridad, los resultados inusuales o los cambios en los datos procesados.
El marco de auditoría de IA del IIA señala que la auditoría interna puede ofrecer aseguramiento sobre los procesos y controles que la dirección utiliza para gestionar y monitorear la IA. El trabajo de Technology Quality Management del IAASB destaca igualmente que la gobernanza y la gestión de riesgos son fundamentales a medida que las firmas utilizan más herramientas con IA que pueden ser complejas o difíciles de interpretar.
Pregunte qué llevaría a la dirección a investigar, restringir o retirar el modelo. Luego compruebe si esos umbrales se monitorean y si las excepciones generan acciones.
Mantenga la evidencia de auditoría sencilla
Para cada modelo relevante, el auditor debería poder seguir una historia de gobernanza clara: el modelo está inventariado, los responsables están asignados, el uso previsto está definido, se evaluó el riesgo, la aprobación se apoyó en pruebas, los cambios significativos están controlados y el desempeño continuo se monitorea.
La evidencia puede incluir un registro de inventario, un memorando de aprobación, resultados de validación, un historial de cambios, un panel de monitoreo, una aceptación de riesgo y registros de incidentes.
La mejor auditoría de gobernanza de modelos de IA no es la que prueba más métricas técnicas. Es la que determina si la organización sabe qué modelos importan, quién es responsable de ellos, qué se les permite hacer y cómo sabe la dirección cuándo algo ha cambiado.
Si esas respuestas son claras y están respaldadas por evidencia, el proceso de gobernanza probablemente cumple su función. Si no lo son, más pruebas técnicas no resolverán el problema de fondo, que es de rendición de cuentas.
Hay un problema de momento oportuno detrás de todos los controles de gobernanza descritos arriba: una vez que se envía una instrucción a un modelo de IA, ya no se puede retirar. El uso aprobado, los responsables claros y el monitoreo continuo importan, pero ninguno puede deshacer el envío de un identificador de cliente o de un documento confidencial. Este es el principio sobre el que se construye Sanitized Ai: detectar y censurar la información sensible antes de que la instrucción llegue al modelo, para que la historia de gobernanza que usted documenta sea también la que realmente ocurre.
Este trimestre, elija el modelo o la herramienta de IA en la que más confía su organización y siga su recorrido por la historia de gobernanza descrita arriba, desde el registro de inventario hasta la evidencia de monitoreo. Anote cada brecha en las responsabilidades, el uso previsto o el control de cambios, y acuerde un responsable y una solución para cada una. Si desea ver cómo se puede detectar la información sensible antes del envío en lugar de después, solicite una demostración y revise con nosotros su propio proceso de gobernanza.