So prüfen Sie die Governance von KI-Modellen, ohne es zu verkomplizieren

Die Governance von KI-Modellen kann schnell kompliziert werden. Teams sprechen über Modellkarten, Validierung, Bias-Tests, Erklärbarkeit, Modelle von Drittanbietern und technische Kennzahlen, noch bevor ein Prüfer geklärt hat, wofür das Modell überhaupt gedacht ist.

Eine bessere Prüfung beginnt mit einer einfacheren Frage: Kann die Organisation belegen, dass jedes wichtige KI-Modell einen klaren Zweck, einen verantwortlichen Eigentümer, angemessene Kontrollen und Nachweise dafür hat, dass jemand überwacht, ob es sich weiterhin wie vorgesehen verhält?

So bleibt die Prüfung auf die Governance ausgerichtet, statt zu einem Data-Science-Projekt zu werden.

Mit dem Modellinventar beginnen

Der erste Schritt besteht darin, zu bestimmen, welche KI-Modelle tatsächlich relevant sind.

Ein nützliches Inventar sollte das Modell oder KI-System, den fachlichen Verantwortlichen, den vorgesehenen Einsatz, die Nutzer, wichtige Datenquellen, den Anbieter oder Entwickler, den Bereitstellungsstatus und die Risikoklassifizierung ausweisen. Es sollte zwischen intern entwickelten Modellen und Systemen von Drittanbietern unterscheiden.

Das AI Risk Management Framework des NIST ordnet KI-Inventare seiner Funktion Govern zu. Es verlangt Mechanismen zur Inventarisierung von KI-Systemen und Governance-Prozesse, die den gesamten Lebenszyklus abdecken, einschließlich Software, Hardware und Daten von Drittanbietern.

Vergleichen Sie für die Prüfung das offizielle Inventar mit Beschaffungsunterlagen, Technologieinventaren, Lieferantenlisten und Gesprächen mit den Fachbereichen. Ziel ist es festzustellen, ob wesentliche KI-Systeme außerhalb des Governance-Prozesses betrieben werden können, ohne erfasst zu werden.

Prüfen, ob die Verantwortlichkeit klar ist

Jedes bedeutende Modell sollte jemanden haben, der für seinen Einsatz verantwortlich ist.

Diese Person muss nicht jedes technische Detail verstehen, aber jemand sollte den fachlichen Zweck, Risikoentscheidungen, den Genehmigungsstatus, die Überwachung und die Eskalation verantworten, wenn sich das Modell verändert oder schlecht abschneidet.

Das Artificial Intelligence Auditing Framework des Institute of Internal Auditors betont KI-Governance, Management, Rechenschaftspflicht und Aufsicht. Es empfiehlt internen Prüfern, den Reifegrad der KI-Governance zu bewerten und zu beurteilen, ob die Kontrollprozesse den jeweiligen Risiken angemessen sind.

Testen Sie die Verantwortlichkeit, indem Sie mehrere Modelle auswählen und fragen, wer Änderungen genehmigt, wer die Leistung überprüft, wer entscheidet, ob die weitere Nutzung vertretbar ist, und wer das Modell stoppen kann, wenn ein ernstes Problem auftritt. Wenn die Antworten je nach befragter Person unterschiedlich ausfallen, existiert die Governance möglicherweise nur auf dem Papier.

Bestätigen, dass der vorgesehene Einsatz dokumentiert ist

Ein Modell lässt sich nicht gut steuern, wenn niemand klar definiert hat, was es tun darf.

Dokumentieren Sie die vorgesehenen Nutzer, die unterstützten Entscheidungen, die beteiligten Daten, Einschränkungen, untersagte Verwendungen und die erforderliche menschliche Prüfung. Ein Modell, das für die Zusammenfassung interner Dokumente zugelassen ist, sollte nicht automatisch als zugelassen für Risikobewertungen oder für die Beeinflussung von Prüfungsfeststellungen gelten.

Das NIST AI RMF behandelt den Kontext als zentral für das Risikomanagement. Seine Funktion Map legt den Kontext fest, in dem ein KI-System betrieben wird, damit Risiken in Bezug auf die beteiligten Personen, Prozesse, Daten und Entscheidungen bewertet werden können.

Vergleichen Sie beim Testen die tatsächliche Nutzung mit der zugelassenen Nutzung. Befragen Sie Nutzer und prüfen Sie die Workflow-Dokumentation. Eine schleichende Ausweitung des Einsatzbereichs lässt sich in der Praxis oft leichter finden als in Richtlinien.

Die Nachweise für die Genehmigung prüfen

Die Governance sollte Nachweise verlangen, dass das Modell geeignet war, bevor es in Betrieb ging.

Die genaue Validierung hängt vom Anwendungsfall ab. Ein Schreibassistent mit geringem Risiko braucht nicht dieselben Tests wie ein Modell, das eine wesentliche Entscheidung beeinflusst. Wichtig ist, dass die Organisation definiert, was akzeptable Leistung bedeutet, bevor sie sich auf das Modell verlässt.

Die Funktion Measure des NIST ist Teil seiner umfassenderen Struktur aus Govern, Map, Measure und Manage zur Bewertung von KI-Risiken. Die Technologie-Leitlinien des IESBA besagen ähnlich, dass Berufsangehörige im Rechnungswesen, die Ergebnisse von Technologie nutzen, deren Eignung für den Zweck beurteilen, Einschränkungen und Annahmen verstehen, Datenqualität und mögliche Verzerrungen bewerten und das angemessene Maß an Vertrauen bestimmen sollten.

Prüfer müssen nicht jeden technischen Test wiederholen. Sie sollten stattdessen kontrollieren, ob Validierungskriterien vorlagen, Ergebnisse geprüft wurden, wesentliche Einschränkungen dokumentiert sind und ungelöste Probleme förmlich akzeptiert wurden.

Das Änderungsmanagement untersuchen

Ein KI-Modell kann sich nach der Genehmigung verändern, auch wenn der Geschäftsprozess unverändert wirkt.

Intern entwickelte Modelle können neu trainiert werden. Anbieter können neue Versionen veröffentlichen, den zugrunde liegenden Anbieter wechseln, Speicher- oder Agentenfunktionen hinzufügen oder ihre Datenpraktiken ändern. Auch Änderungen an den Eingabedaten können die Leistung beeinflussen.

Bestimmen Sie, welche Änderungen eine Neubewertung erfordern und wer entscheidet, ob eine erneute Validierung nötig ist. Prüfen Sie eine Stichprobe wesentlicher Änderungen von der Anforderung über Test, Genehmigung und Bereitstellung bis zur Dokumentation.

Das ist bei KI von Drittanbietern besonders wichtig, weil die Organisation das Modell selbst möglicherweise nicht kontrolliert. Die Funktion Govern des NIST behandelt ausdrücklich Risiken durch KI-Systeme von Drittanbietern und Lieferantenbeziehungen.

Nach aussagekräftiger laufender Überwachung suchen

Mit der Genehmigung endet die Governance nicht.

Die Überwachung sollte zeigen, ob ein Modell weiterhin innerhalb akzeptabler Grenzen arbeitet. Je nach Anwendungsfall kann sie Genauigkeit, Fehlerraten, Beschwerden, manuelle Korrekturen, Bias-Indikatoren, Sicherheitsvorfälle, ungewöhnliche Ausgaben oder Änderungen an den verarbeiteten Daten umfassen.

Das AI Auditing Framework des IIA besagt, dass die Interne Revision Sicherheit über die Prozesse und Kontrollen geben kann, mit denen das Management KI steuert und überwacht. Auch die Arbeit des IAASB zum Technology Quality Management hebt Governance und Risikomanagement hervor, da Prüfungsgesellschaften zunehmend KI-gestützte Werkzeuge einsetzen, die komplex oder schwer zu interpretieren sein können.

Fragen Sie, was das Management veranlassen würde, das Modell zu untersuchen, einzuschränken oder auszumustern. Prüfen Sie dann, ob diese Schwellenwerte überwacht werden und ob Ausnahmen zu Maßnahmen führen.

Die Prüfungsnachweise einfach halten

Für jedes wesentliche Modell sollte der Prüfer eine klare Governance-Geschichte nachvollziehen können: Das Modell ist inventarisiert, die Verantwortlichkeit ist zugewiesen, der vorgesehene Einsatz ist definiert, das Risiko wurde bewertet, die Genehmigung stützte sich auf Tests, wesentliche Änderungen werden kontrolliert und die laufende Leistung wird überwacht.

Nachweise können aus einem Inventareintrag, einem Genehmigungsvermerk, Validierungsergebnissen, einer Änderungshistorie, einem Überwachungs-Dashboard, einer Risikoakzeptanz und Vorfallsprotokollen bestehen.

Die stärkste Prüfung der KI-Modell-Governance ist nicht die, die die meisten technischen Kennzahlen testet. Es ist die, die feststellt, ob die Organisation weiß, welche Modelle wichtig sind, wer dafür verantwortlich ist, was sie tun dürfen und woran das Management erkennt, dass sich etwas verändert hat.

Sind diese Antworten klar und durch Nachweise belegt, erfüllt der Governance-Prozess wahrscheinlich seinen Zweck. Falls nicht, lösen zusätzliche technische Tests das zugrunde liegende Problem der Verantwortlichkeit nicht.

Unter allen oben beschriebenen Governance-Kontrollen liegt ein Timing-Problem: Sobald ein Prompt an ein KI-Modell übermittelt wurde, lässt er sich nicht mehr zurückholen. Zugelassene Nutzung, klare Verantwortlichkeit und laufende Überwachung sind wichtig, aber keine davon kann rückgängig machen, dass eine Mandantenkennung oder ein vertrauliches Dokument bereits gesendet wurde. Auf diesem Prinzip beruht Sanitized Ai: sensible Informationen zu erkennen und zu schwärzen, bevor der Prompt das Modell erreicht, damit die dokumentierte Governance-Geschichte auch die ist, die tatsächlich stattfindet.

Wählen Sie in diesem Quartal das KI-Modell oder -Werkzeug aus, auf das sich Ihre Organisation am stärksten verlässt, und verfolgen Sie es entlang der oben beschriebenen Governance-Geschichte, vom Inventareintrag bis zum Überwachungsnachweis. Halten Sie jede Lücke bei Verantwortlichkeit, vorgesehenem Einsatz oder Änderungskontrolle fest und vereinbaren Sie für jede einen Verantwortlichen und eine Lösung. Wenn Sie sehen möchten, wie sich sensible Informationen vor der Übermittlung statt danach erkennen lassen, fordern Sie eine Demo an und gehen Sie mit uns Ihren eigenen Governance-Prozess durch.