Werden Chatbots zur Kundenbeauskunftung und -beratung eingesetzt, dann beruhen neuere Lösungen zumeist auf generalisierten LLMs. Hier ist zu prüfen, dass die Antworten keinen Bias erzeugen, der nachteilig für die Anfragenden ist. Aber auch dieses kann für die Mehrzahl der Frage-Antwortsysteme, die Auskünfte für Kunden geben, aus Anbietersicht ausgeschlossen werden, so dass hier auch keine erweiterten Anforderungen durch den AI-Akt entstehen.
Für Systeme, die der Hochrisikoklasse zugerechnet werden, gelten umfangreiche Prüfungs- Dokumentations- und Meldepflichten. Neben einer umfangreichen technischen Dokumentation müssen der Test und die Validierung solcher Systeme nachvollziehbar sein. Das entspricht eigentlich Anforderungen, die sonst auch die Bafin an Ratingverfahren stellt. Ebenso ist durch systematische Überprüfungen die angemessene Funktionsfähigkeit der Lösungen regelmäßig zu überprüfen. Dazu gilt es, ein Qualitätsmanagementsystem einzurichten, dass die Einhaltung der in der Verordnung auferlegten Anforderungen an High Risk-Systeme gewährleistet. Dazu gibt es ebenfalls Konformitätsbewertungsverfahren, mit denen die Einhaltung dieser Anforderungen überprüft werden sollen. Ebenso ist die Nutzung der Systeme zu dokumentieren. In sogenannten KI-Reallaboren sollen Systeme, die in hohem Umfang personenbezogene Daten verarbeiten, getestet werden. Dabei geht es insbes. auch um Lösungen zur Unterstützung der öffentlichen Sicherheit, des Umweltschutzes und der biologischen Vielfallt, den Energie- und Verkehrssystemen sowie der Effizienz und Qualität von Tätigkeiten der öffentlichen Verwaltung.