Logo Created with Sketch. SCHUMANN

Der EU AI Act und die Folgen für das Kreditmanagement

Neue Regelungen für Hochrisiko-KI im Kreditmanagement treten in Kraft und verändern bestehende Prozesse. Welche Auswirkungen der EU AI Act mit sich bringt, lesen Sie im SCHUMANN Insights.
Blog Posts, SCHUMANN Insights, Videos
, Prof. Dr. Matthias Schumann

Der EU AI Act und Hochrisiko-KI: Was Kreditmanager jetzt wissen müssen

Die im Juni von der EU erlassene Verordnung zu dem Einsatz künstlicher Intelligenz schlägt hohe Wellen. Die einen sehen darin ein Instrument der Innovationsfeindlichkeit und Bürokratie. Die anderen halten es für dringend geboten, einzelne Personen und Gesellschaften vor den Entscheidungen und Vorschlägen künstlicher Intelligenz zu schützen oder diese zumindest zu kontrollieren. Was bedeutet dieses nun für das Kreditmanagement?

Hochrisiko-KI-Systeme und Kreditmanagement

Besonders relevant sind dabei die in der Verordnung definierten „Hochrisiko-KI-Systeme“. Besonders davon betroffen sind KI-Lösungen, die personenbezogene Daten verarbeiten, auch bibliometrische Daten und insbesondere auch KI-Lösungen zum allgemeinen Verwendungszweck, worunter man insbes. solche fassen kann, die auf Large Language Modellen basieren.

Diskriminierungsverbote und Gesichtserkennung

Spezielle Verbote werden dabei für Lösungen ausgesprochen, die Personen oder Gruppen aufgrund von bestimmten Merkmalen, wie z. B. des Alters, einer Behinderung oder einer sozialen oder wirtschaftlichen Situation diskriminieren oder auch schlechterstellen. Besonders zu berücksichtigen sind auch Systeme zur Gesichtserkennung, Ableitung von Emotionen oder Meinungsbildung.

Kreditwürdigkeit und Bonitätsbewertung im Fokus

Der Anhang listet hier unter Hochrisikosystemen explizit die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen als Hochrisikoanwendung auf. Damit bezieht sich dieses nicht auf juristische Personen, die im Business-Umfeld von besonderer Bedeutung sind. Zu klären wäre, wie denn Ein-Personen-GmbHs zu behandeln sind.

Im Firmenkundenbereich juristischer Personen liegen dagegen derartige Regelungen nicht vor. Natürlich dürfen hier auch personenbezogene Daten nicht in die Prüfung Juristischer Unternehmen eingehen. Ansonsten braucht es keine besondere Behandlung derartiger KI-Systeme. Werden Einzelaspekte, wie z. B. ein Zahlungsverhalten, beurteilt, dann liegt auch noch keine Kredit- oder Bonitätsprüfung vor. Dieser Aspekt ist daher grundsätzlich nicht in eine Hochrisikoklasse einzuordnen.

Anforderungen an Hochrisiko-KI-Systeme

Werden Chatbots zur Kundenbeauskunftung und -beratung eingesetzt, dann beruhen neuere Lösungen zumeist auf generalisierten LLMs. Hier ist zu prüfen, dass die Antworten keinen Bias erzeugen, der nachteilig für die Anfragenden ist. Aber auch dieses kann für die Mehrzahl der Frage-Antwortsysteme, die Auskünfte für Kunden geben, aus Anbietersicht ausgeschlossen werden, so dass hier auch keine erweiterten Anforderungen durch den AI-Akt entstehen.

Für Systeme, die der Hochrisikoklasse zugerechnet werden, gelten umfangreiche Prüfungs- Dokumentations- und Meldepflichten. Neben einer umfangreichen technischen Dokumentation müssen der Test und die Validierung solcher Systeme nachvollziehbar sein. Das entspricht eigentlich Anforderungen, die sonst auch die Bafin an Ratingverfahren stellt. Ebenso ist durch systematische Überprüfungen die angemessene Funktionsfähigkeit der Lösungen regelmäßig zu überprüfen. Dazu gilt es, ein Qualitätsmanagementsystem einzurichten, dass die Einhaltung der in der Verordnung auferlegten Anforderungen an High Risk-Systeme gewährleistet. Dazu gibt es ebenfalls Konformitätsbewertungsverfahren, mit denen die Einhaltung dieser Anforderungen überprüft werden sollen. Ebenso ist die Nutzung der Systeme zu dokumentieren. In sogenannten KI-Reallaboren sollen Systeme, die in hohem Umfang personenbezogene Daten verarbeiten, getestet werden. Dabei geht es insbes. auch um Lösungen zur Unterstützung der öffentlichen Sicherheit, des Umweltschutzes und der biologischen Vielfallt, den Energie- und Verkehrssystemen sowie der Effizienz und Qualität von Tätigkeiten der öffentlichen Verwaltung.

Zukünftige Entwicklungen und Auswirkungen auf das Kreditrisikomanagement

Ob die auf EU einzurichtenden umfangreichen KI-Gremien sowie Beratungs- und Sachverständigengremien wirklich zur Qualität der verwendeten Lösungen beitragen, bleibt dabei abzuwarten. Ebenso müssen Anbieter und Betreiber von Hochrisiko-KI-Lösungen diese zu einer EU-Datenbank anmelden. Es bleibt ebenfalls abzuwarten, wie die dafür entsprechend benannten Stellen die Konformitätsbewertung dann im Einzelfall durchführen.


Fazit: Die Rolle von Risikomanagement Software

Für das Kreditrisikomanagement bleibt festzuhalten, dass im Firmenkundengeschäft mit juristischen Personen keine Regeln für spezifische KI-Lösungen vorhanden sind. Für natürliche Personen ist dieses anders – wie ja auch heute schon bei entsprechenden Systemen Regeln vorhanden sind. Diese werden jetzt aber durch die EU ausgeweitet. Im Finanzdienstleistungsbereich ist darüber hinaus natürlich zu berücksichtigen, dass dort weitere Rahmenbedingungen, z. B. die der Nachvollziehbarkeit durch die BAFIN, zu berücksichtigen sind.

Über den Autor
Prof. Dr. Matthias Schumann

Seit 1991 hat Prof. Dr. Matthias Schumann eine Professur für Betriebswirtschaftslehre und Wirtschaftsinformatik (Professur für Anwendungssysteme und E-Business) an der Universität Göttingen inne. Er leitet auch das gemeinsame Rechenzentrum der Wirtschaftswissenschaftlichen Fakultät und der Sozialwissenschaftlichen Fakultät.
Er ist Gesellschafter der Prof. Schumann GmbH.

In der Forschung beschäftigt sich Prof. Schumann unter anderem mit Informationssystemen bei Finanzdienstleistern und Systemen zum Kreditmanagement sowie Fragen zum Wissens- und Bildungsmanagement. Prof. Schumann verfügt über vielfältige Erfahrungen in der Beratung von Unternehmen, umfangreiche Vortragstätigkeiten und über mehr als 350 Veröffentlichungen.

Universität Göttingen

Matthias Schumann q