Fragen zur Sorgfaltsprüfung von KI-Anbietern für Wirtschaftsprüfungsgesellschaften

Wirtschaftsprüfungsgesellschaften verlassen sich zunehmend auf KI-Tools von Drittanbietern für Recherche, Dokumentenprüfung, Entwurfserstellung, Analysen und andere fachliche Aufgaben. Der Anbieter stellt möglicherweise die Benutzeroberfläche bereit, während ein anderes Unternehmen das dahinterliegende Modell, die Cloud-Infrastruktur oder die Datenspeicherung liefert.

Daher ist die Sorgfaltsprüfung von Anbietern ein wichtiger Bestandteil der KI-Governance. Das Ziel besteht nicht einfach darin zu fragen, ob ein Anbieter "sicher" ist. Wirtschaftsprüfungsgesellschaften müssen verstehen, was das Tool mit Mandantendaten macht, wie zuverlässig es für den vorgesehenen Zweck ist, welche Dritten beteiligt sind und was passiert, wenn sich das Produkt ändert.

1. Was genau erlauben wir dem Anbieter zu tun?

Beginnen Sie mit dem Anwendungsfall und nicht mit dem Namen des Anbieters.

Wird das Tool öffentliche Rechnungslegungsleitlinien zusammenfassen, Arbeitspapiere aus der Prüfung verarbeiten, Mandantentransaktionen analysieren, Auftragsdokumentation entwerfen oder eine Verbindung zu einem internen Repository herstellen? Ein Produkt, das für öffentliche Recherchen akzeptabel ist, kann deutlich stärkere Kontrollen erfordern, bevor es vertrauliche Auftragsdaten erhält.

Die PCAOB-Mitarbeiter berichteten, dass die von ihnen kontaktierten Gesellschaften generative KI hauptsächlich für administrative und Rechercheaufgaben nutzten, während viele auch Einsätze bei der Planung und Durchführung von Prüfungen in Betracht zogen. Die Gesellschaften betonten zudem die Notwendigkeit einer starken Aufsicht rund um Datenschutz und Datensicherheit.

Die Freigabe sollte festlegen, welche Verwendungen zulässig sind, welche Datenkategorien erlaubt sind und welche Verwendungen eine zusätzliche Prüfung erfordern.

2. Was passiert mit Prompts, Dateien und Ausgaben?

Bitten Sie den Anbieter, den vollständigen Datenlebenszyklus zu erläutern.

Hilfreiche Fragen sind:

• Werden Prompts und hochgeladene Dateien aufbewahrt?
• Wie lange werden sie aufbewahrt?
• Werden Kundeninhalte zum Trainieren oder Verbessern von Modellen verwendet?
• Lässt sich die Aufbewahrung konfigurieren?
• Wo werden Informationen verarbeitet und gespeichert?
• Wer kann darauf zugreifen?
• Was passiert, wenn Daten gelöscht werden oder der Vertrag endet?

Die aktuellen Technologieleitlinien des IESBA betonen, dass die Vertraulichkeit über den gesamten Datenlebenszyklus hinweg gilt, einschließlich Erhebung, Nutzung, Übertragung, Speicherung, Verbreitung und rechtmäßiger Vernichtung. Sie weisen zudem darauf hin, dass die Nutzung von Mandantendaten für Zwecke wie das Training von KI-Modellen eine ordnungsgemäße Genehmigung erfordert.

Der Vertrag der Gesellschaft sollte mit den Antworten des Anbieters übereinstimmen.

3. Welche Dritten stehen hinter dem Produkt?

Das Unternehmen, das das Produkt verkauft, ist möglicherweise nicht die einzige Organisation, die Daten der Wirtschaftsprüfungsgesellschaft verarbeitet.

Fragen Sie, welche Modellanbieter, Cloud-Plattformen, Unterauftragsverarbeiter und anderen Dritten am Dienst beteiligt sind. Klären Sie, welche Informationen jede Partei erhält und ob der Anbieter die Gesellschaft benachrichtigt, wenn sich wichtige Unterauftragsverarbeiter ändern.

Das Generative AI Profile des NIST identifiziert Integrationen generativer KI von Drittanbietern als einen Bereich, der zusätzliches Risikomanagement erfordert, und ist darauf ausgelegt, Organisationen dabei zu helfen, Risiken im Zusammenhang mit generativen KI-Produkten und -Diensten zu steuern.

Die praktische Frage lautet, ob die gesamte Lieferkette für die vorgesehenen Mandantendaten ausreichend verstanden wird.

4. Wie hat der Anbieter die Zuverlässigkeit getestet?

Sicherheitskontrollen machen KI-Ausgaben nicht zuverlässig.

Fragen Sie, wie der Anbieter Genauigkeit, bekannte Einschränkungen, Fehlermodi und Änderungen zwischen Modellversionen bewertet. Verlangen Sie Nachweise, die für den tatsächlichen Anwendungsfall relevant sind, statt sich nur auf pauschale Benchmark-Aussagen zu verlassen.

Wenn das System fachliche Arbeit unterstützen soll, klären Sie, ob Ausgaben auf Quellinformationen zurückverfolgt und unabhängig überprüft werden können.

Das IESBA stellt fest, dass Berufsangehörige, die Technologieausgaben nutzen, deren Zwecktauglichkeit beurteilen, Einschränkungen und Annahmen verstehen, die Datenqualität und mögliche Verzerrungen bewerten und den angemessenen Umfang des Vertrauens darauf bestimmen sollten. Die berufliche Verantwortung verbleibt beim Berufsangehörigen.

5. Welche Sicherheits- und Zugriffskontrollen sind verfügbar?

Überprüfen Sie die Kontrollen, die in der Umgebung der Gesellschaft von Bedeutung sind.

Dazu können Single Sign-on, Multi-Faktor-Authentifizierung, rollenbasierte Berechtigungen, Audit-Protokolle, administrative Kontrollen, Benutzerbereitstellung, Verschlüsselung und Einschränkungen bei Integrationen gehören.

Fragen Sie, ob die Gesellschaft Mitarbeitende daran hindern kann, nicht genehmigte Konnektoren oder Funktionen zu aktivieren. Ein System, das mit einem Dokumenten-Repository verbunden ist, kann wesentlich mehr Informationen offenlegen als dasselbe Produkt, das nur über manuelle Prompts genutzt wird.

Das Prinzip sollte die geringstmögliche Berechtigung sein: Das KI-Tool erhält nur den Zugriff, der für die genehmigte Aufgabe erforderlich ist.

6. Wie geht der Anbieter mit Vorfällen um?

Fragen Sie, was passiert, wenn etwas schiefgeht.

Wie schnell benachrichtigt der Anbieter die Gesellschaft über einen Sicherheitsvorfall? Welche Informationen wird er bereitstellen? Kann er feststellen, welche Kundendaten betroffen waren? Sind nützliche Protokolle für Untersuchungen verfügbar?

Der Prozess der Gesellschaft zur Reaktion auf Vorfälle hängt teilweise davon ab, welche Nachweise der Anbieter liefern kann. Vage Benachrichtigungszusagen reichen für einen risikoreichen Prüfungsablauf möglicherweise nicht aus.

7. Wie werden wesentliche Produktänderungen kommuniziert?

KI-Produkte können sich nach der Freigabe schnell ändern.

Ein Anbieter kann das zugrunde liegende Modell ersetzen, ein dauerhaftes Gedächtnis einführen, Agentenfunktionen hinzufügen, Aufbewahrungspraktiken ändern oder eine Verbindung zu neuen Diensten herstellen. Der Technology Quality Management Workstream des IAASB untersucht, wie Gesellschaften Qualitätsmanagementstandards auf KI-gestützte und andere neu aufkommende Technologien anwenden, die in Prüfungs- und Assurance-Aufträgen eingesetzt werden.

Die globalen Roundtables des IAASB haben zudem Governance und Risikomanagement als wichtige Themen hervorgehoben, da KI-gestützte Tools stärker in fachliche Arbeit integriert werden.

Fragen Sie, welche Änderungen eine Kundenbenachrichtigung auslösen und ob die Gesellschaft neue Funktionen verzögern oder deaktivieren kann, bis sie geprüft wurden.

Eine Freigabe sollte nicht dauerhaft werden, nur weil der Anbieter die Sorgfaltsprüfung einmal bestanden hat.

8. Was passiert, wenn die Beziehung endet?

Fragen Sie, ob die Gesellschaft notwendige Aufzeichnungen exportieren kann, wie Kundendaten gelöscht werden, ob Backups bestehen bleiben, wie lange verbleibende Kopien fortbestehen und wie Integrationen und Benutzerzugriffe entfernt werden.

Der Vertrag sollte festlegen, was mit Mandanten- und Gesellschaftsinformationen geschieht, wenn der Dienst beendet wird.

Machen Sie aus den Antworten eine Freigabeentscheidung

Ein Anbieterfragebogen ist nur dann nützlich, wenn die Antworten die Entscheidung beeinflussen.

Dokumentieren Sie für jedes vorgeschlagene KI-Tool den vorgesehenen Zweck, die betroffenen Daten, die wesentlichen Risiken, die Kontrollen des Anbieters, die vertraglichen Schutzmaßnahmen, die erforderlichen Kontrollen der Gesellschaft, die verantwortliche Person für die Freigabe und die Auslöser für eine Neubewertung.

Ein risikoarmes Recherchetool erfordert möglicherweise einen leichteren Prozess. Ein System, das vertrauliche Arbeitspapiere verarbeitet oder Prüfungshandlungen beeinflusst, sollte einer tiefergehenden technischen, datenschutzrechtlichen, qualitätsmanagementbezogenen und rechtlichen Prüfung unterzogen werden.

Bei der Sorgfaltsprüfung von KI-Anbietern für Prüfer geht es letztlich darum zu wissen, was zwischen dem Prüfungsteam und der Technologie steht. Wenn die Gesellschaft versteht, wohin die Daten gehen, wer sie verarbeitet, wie das System getestet wird, welche Kontrollen bestehen und wie Änderungen gehandhabt werden, kann sie eine wohlbegründete Entscheidung darüber treffen, wo das Tool in der Prüfungsarbeit seinen Platz hat.

Die Sorgfaltsprüfung von Anbietern legt die Grenzen eines genehmigten Tools fest, kann aber nicht jeden Prompt überwachen, den ein Prüfungsteam unter Termindruck übermittelt. Sobald ein Arbeitspapier oder ein vertraulicher Transaktionsdetail eines Mandanten an ein KI-Tool gesendet wurde, kann es nicht mehr zurückgerufen werden, egal was die Aufbewahrungseinstellungen des Anbieters versprechen. Auf diesem Prinzip baut Sanitized Ai auf: Sensible Auftragsdaten sollten erkannt und geschwärzt werden, bevor ein Prompt überhaupt das Tool erreicht, sodass die Antworten, die ein Anbieter zu Aufbewahrung und Unterauftragsverarbeitern gibt, von vornherein weit weniger vertrauliche Informationen betreffen.

Nehmen Sie sich in diesem Quartal ein genehmigtes KI-Tool vor und durchlaufen Sie einen echten Prüfungsablauf von Anfang bis Ende, wobei Sie genau notieren, welche Mandantendatenkategorien ein Teammitglied einfügen oder hochladen könnte, bevor eine Anbieterkontrolle greift. Diese Übung zeigt in der Regel, wo die Antworten aus der Sorgfaltsprüfung aufhören, eine Rolle zu spielen, und wo eine Kontrolle vor der Übermittlung das Gewicht tragen muss. Wenn Sie sehen möchten, wie diese Kontrolle bei Ihren eigenen Prüfungsanwendungsfällen funktioniert, fordern Sie eine Demo an.