KI-Compliance – regelkonformer und verantwortungsvoller Einsatz künstlicher Intelligenz

Was bedeutet KI-Compliance?

KI-Compliance bezeichnet die regelkonforme und kontrollierte Nutzung künstlicher Intelligenz in einem Unternehmen oder einer Organisation.

Dabei geht es nicht nur um den EU AI Act. Abhängig vom jeweiligen Anwendungsfall können weitere Anforderungen relevant sein, beispielsweise aus:

• Datenschutzrecht,
• Informationssicherheitsrecht,
• Arbeitsrecht,
• Urheber- und Lizenzrecht,
• Verbraucherschutzrecht,
• Antidiskriminierungsrecht,
• Vertragsrecht,
• branchenspezifischen Vorschriften.

KI-Compliance verbindet diese Anforderungen mit den tatsächlichen Abläufen des Unternehmens.

Welche KI-Anwendungen können betroffen sein?

KI wird in Unternehmen für sehr unterschiedliche Aufgaben eingesetzt.

Typische Anwendungsbereiche sind:

• Erstellung und Überarbeitung von Texten,
• Recherche und Zusammenfassung von Informationen,
• Bild-, Audio- und Videogenerierung,
• Übersetzungen,
• Kundenservice und Chatbots,
• Marketing und Personalisierung,
• Bewerberauswahl und Personalmanagement,
• Prognosen und Datenanalysen,
• Betrugserkennung,
• Softwareentwicklung,
• Automatisierung von Geschäftsprozessen.

Auch allgemein verfügbare Anwendungen wie Textassistenten oder integrierte KI-Funktionen in Bürosoftware können compliance-relevant sein.

Was regelt der EU AI Act?

Der EU AI Act schafft einen europäischen Rechtsrahmen für die Entwicklung, Bereitstellung und Verwendung von KI-Systemen.

Die Anforderungen richten sich insbesondere nach:

• der Funktion des KI-Systems,
• dem mit seiner Nutzung verbundenen Risiko,
• der Rolle des beteiligten Unternehmens,
• dem konkreten Einsatzgebiet,
• den möglichen Auswirkungen auf Menschen und Grundrechte.

Die Verordnung unterscheidet unter anderem zwischen verbotenen Praktiken, Hochrisiko-KI-Systemen, bestimmten transparenzpflichtigen Systemen und Anwendungen mit geringeren Risiken.

Ihre Vorschriften werden zeitlich gestaffelt anwendbar. Unternehmen sollten deshalb für jeden Anwendungsfall prüfen, welche Anforderungen bereits gelten und welche weiteren Pflichten zu berücksichtigen sind.

Welche Rollen unterscheidet der EU AI Act?

Die Pflichten eines Unternehmens hängen davon ab, welche Rolle es im Zusammenhang mit einem KI-System einnimmt.

Zu den wichtigen Rollen gehören:

• Anbieter: entwickelt ein KI-System oder lässt es entwickeln und bringt es unter eigenem Namen auf den Markt.
• Betreiber: verwendet ein KI-System in eigener Verantwortung im beruflichen oder geschäftlichen Umfeld.
• Einführer: bringt ein KI-System eines außerhalb der EU ansässigen Anbieters in der Europäischen Union in Verkehr.
• Händler: stellt ein KI-System innerhalb der Lieferkette auf dem Markt bereit.

Die meisten Unternehmen, die vorhandene KI-Werkzeuge für ihre Arbeitsprozesse verwenden, werden typischerweise als Betreiber tätig.

Durch eigene Weiterentwicklung, wesentliche Änderungen oder eine veränderte Zweckbestimmung kann ein Unternehmen jedoch zusätzliche Pflichten übernehmen.

Was bedeutet der risikobasierte Ansatz?

Der regulatorische Aufwand richtet sich wesentlich nach den möglichen Risiken eines KI-Einsatzes.

Bei der Bewertung sollten beispielsweise berücksichtigt werden:

• welche Entscheidungen durch die KI vorbereitet oder getroffen werden,
• welche Personen betroffen sind,
• welche Daten verarbeitet werden,
• welche Schäden durch fehlerhafte Ergebnisse entstehen könnten,
• wie stark Menschen auf das Ergebnis vertrauen,
• ob eine wirksame menschliche Kontrolle besteht,
• ob das System in einem besonders sensiblen Bereich eingesetzt wird.

Eine KI-Anwendung zur sprachlichen Überarbeitung eines internen Textes weist in der Regel ein anderes Risikoprofil auf als ein System zur Bewerberbewertung oder Kreditentscheidung.

Was sind verbotene KI-Praktiken?

Der EU AI Act untersagt bestimmte Anwendungen, die als mit europäischen Grundrechten und Werten unvereinbar angesehen werden.

Dazu gehören unter bestimmten Voraussetzungen beispielsweise:

• manipulative oder täuschende Verfahren mit erheblichem Schadenspotenzial,
• Ausnutzung besonderer Schutzbedürftigkeit bestimmter Personen,
• bestimmte Formen des Social Scoring,
• bestimmte biometrische Kategorisierungen,
• ungezieltes Sammeln von Gesichtsbildern zum Aufbau von Erkennungsdatenbanken,
• bestimmte Verfahren zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen.

Ob ein Verbot greift, muss anhand des konkreten Zwecks, der Funktionsweise und der gesetzlichen Voraussetzungen geprüft werden.

Was sind Hochrisiko-KI-Systeme?

Bestimmte KI-Systeme können als Hochrisiko-KI-Systeme eingestuft werden, wenn sie in besonders sensiblen Bereichen eingesetzt werden und erhebliche Auswirkungen auf Personen haben können.

Relevante Anwendungsbereiche können beispielsweise sein:

• Beschäftigung und Personalmanagement,
• berufliche und schulische Bildung,
• Zugang zu wesentlichen privaten oder öffentlichen Dienstleistungen,
• bestimmte sicherheitsrelevante Produktfunktionen,
• biometrische Identifizierung,
• kritische Infrastruktur,
• Strafverfolgung und Justiz.

Nicht jede KI-Anwendung in diesen Bereichen ist automatisch ein Hochrisiko-System. Maßgeblich sind die gesetzlichen Kriterien und die konkrete Funktion.

Welche Pflichten können bei Hochrisiko-KI entstehen?

Für Hochrisiko-KI-Systeme gelten besonders umfangreiche Anforderungen.

Dazu können je nach Rolle gehören:

• Risikomanagement,
• Anforderungen an Daten und Datenqualität,
• technische Dokumentation,
• Protokollierung,
• Transparenz und Gebrauchsanweisungen,
• menschliche Aufsicht,
• Genauigkeit, Robustheit und Cybersicherheit,
• Überwachung während des Betriebs,
• Meldung schwerwiegender Vorfälle.

Betreiber müssen insbesondere die vorgesehenen Nutzungshinweise beachten, menschliche Aufsicht ermöglichen und den Betrieb angemessen kontrollieren.

Welche Transparenzpflichten können bestehen?

Bei bestimmten KI-Anwendungen müssen betroffene Personen erkennen können, dass sie mit einem KI-System interagieren oder dass Inhalte künstlich erzeugt oder verändert wurden.

Transparenzanforderungen können beispielsweise relevant sein bei:

• Chatbots und Dialogsystemen,
• synthetischen Audio-, Bild- oder Videoinhalten,
• Deepfakes,
• bestimmten KI-generierten Texten,
• Systemen zur Emotionserkennung oder biometrischen Kategorisierung.

Welche Kennzeichnung erforderlich ist, hängt von Art, Zweck und Veröffentlichungskontext des jeweiligen Inhalts ab.

Was bedeutet KI-Kompetenz?

Unternehmen müssen dafür sorgen, dass Personen, die KI-Systeme einsetzen oder betreiben, über ein angemessenes Maß an KI-Kompetenz verfügen.

Der notwendige Kenntnisstand richtet sich insbesondere nach:

• der eingesetzten Technologie,
• dem Anwendungskontext,
• der Rolle und Erfahrung der Beschäftigten,
• den betroffenen Personen,
• den möglichen Risiken und Schäden.

Eine angemessene Schulung sollte beispielsweise vermitteln:

• wie das eingesetzte KI-System grundsätzlich funktioniert,
• welche Grenzen und Fehlerquellen bestehen,
• welche Daten eingegeben werden dürfen,
• wie Ergebnisse überprüft werden müssen,
• wann eine menschliche Entscheidung erforderlich ist,
• wie Auffälligkeiten oder Vorfälle gemeldet werden.

Welche Bedeutung hat der Datenschutz?

Verarbeitet ein KI-System personenbezogene Daten, bleibt die DSGVO uneingeschränkt relevant.

Unternehmen müssen unter anderem prüfen:

• welche personenbezogenen Daten verarbeitet werden,
• welche Rechtsgrundlage besteht,
• ob die Verarbeitung für den festgelegten Zweck erforderlich ist,
• welche Anbieter und Unterauftragnehmer beteiligt sind,
• in welchen Ländern Daten verarbeitet werden,
• wie lange Eingaben und Ergebnisse gespeichert werden,
• ob Daten zum Training des Systems verwendet werden,
• ob eine Datenschutz-Folgenabschätzung erforderlich ist.

Besondere Vorsicht ist bei Gesundheitsdaten, Beschäftigtendaten, biometrischen Daten und anderen besonders sensiblen Informationen erforderlich.

Welche Daten dürfen in KI-Systeme eingegeben werden?

Unternehmen sollten verbindlich festlegen, welche Daten in externe oder interne KI-Systeme eingegeben werden dürfen.

Ohne ausdrückliche Freigabe sollten insbesondere nicht eingegeben werden:

• Geschäfts- und Betriebsgeheimnisse,
• vertrauliche Kundendaten,
• personenbezogene Daten,
• Gesundheits- oder Beschäftigtendaten,
• Zugangsdaten und Sicherheitsschlüssel,
• interne Vertrags- oder Preisinformationen,
• nicht veröffentlichte Produkt- und Entwicklungsdaten.

Welche Eingaben zulässig sind, hängt von Vertrag, Systemeinstellungen, Verwendungszweck und Schutzbedarf ab.

Warum müssen KI-Ergebnisse überprüft werden?

Generative KI-Systeme können überzeugend formulierte, aber sachlich falsche oder erfundene Inhalte erzeugen.

Weitere mögliche Probleme sind:

• veraltete Informationen,
• fehlende Quellen,
• unvollständige Ergebnisse,
• unzulässige Verallgemeinerungen,
• diskriminierende Verzerrungen,
• fehlerhafte Berechnungen,
• unbeabsichtigte Übernahme geschützter Inhalte.

KI-Ergebnisse sollten deshalb abhängig vom Risiko durch fachlich geeignete Personen überprüft werden.

Je größer die möglichen Auswirkungen einer Entscheidung sind, desto intensiver muss die menschliche Kontrolle ausgestaltet sein.

Welche urheberrechtlichen Risiken bestehen?

Beim Einsatz generativer KI können urheber- und lizenzrechtliche Fragen entstehen.

Zu prüfen ist beispielsweise:

• ob geschützte Ausgangsmaterialien verwendet werden dürfen,
• welche Nutzungsrechte an erzeugten Inhalten bestehen,
• ob Ergebnisse geschützten Werken zu ähnlich sind,
• ob Marken, Logos oder Persönlichkeitsrechte betroffen sind,
• welche Bedingungen der KI-Anbieter vorgibt,
• ob ein ausreichender menschlicher Gestaltungsanteil vorliegt.

KI-generierte Inhalte sollten deshalb vor einer Veröffentlichung oder kommerziellen Nutzung angemessen geprüft werden.

Welche Bedeutung hat die Informationssicherheit?

KI-Systeme können zusätzliche Informationssicherheitsrisiken erzeugen.

Dazu gehören beispielsweise:

• Offenlegung vertraulicher Informationen,
• unsichere Schnittstellen,
• Manipulation von Eingaben,
• unberechtigte Zugriffe,
• schädliche oder manipulierte Ausgaben,
• Abhängigkeit von externen Anbietern,
• unzureichende Protokollierung,
• unkontrollierte Erweiterungen oder Plugins.

KI-Anwendungen sollten daher in das bestehende Informationssicherheits- und Risikomanagement integriert werden.

Was ist eine KI-Inventarliste?

Eine KI-Inventarliste erfasst die im Unternehmen verwendeten KI-Systeme und Anwendungsfälle.

Sie kann beispielsweise enthalten:

• Name des Systems und Anbieter,
• verantwortlicher Fachbereich,
• Verwendungszweck,
• betroffene Personen und Daten,
• eingesetzte Schnittstellen,
• vertragliche Grundlage,
• Risikoeinstufung,
• Freigabestatus,
• notwendige Kontrollen,
• Überprüfungstermin.

Sie bildet die Grundlage für eine systematische Bewertung und verhindert, dass KI-Anwendungen unkontrolliert eingesetzt werden.

Was sollte eine interne KI-Richtlinie regeln?

Eine interne KI-Richtlinie schafft verbindliche Vorgaben für Beschäftigte.

Sie sollte insbesondere regeln:

• welche KI-Systeme freigegeben sind,
• für welche Zwecke sie verwendet werden dürfen,
• welche Daten eingegeben werden dürfen,
• wie Ergebnisse überprüft werden müssen,
• welche Kennzeichnungspflichten gelten,
• wer neue Anwendungen freigibt,
• wie Vorfälle oder Unsicherheiten gemeldet werden,
• welche Dokumentation erforderlich ist.

Die Richtlinie sollte zur tatsächlichen Arbeitsweise passen und regelmäßig aktualisiert werden.

Wie wird ein KI-System geprüft?

Vor der Einführung sollte eine strukturierte Prüfung durchgeführt werden.

Typische Prüffragen sind:

• Welchen Zweck erfüllt das System?
• Welche Rolle übernimmt das Unternehmen?
• Welche Daten werden verarbeitet?
• Welche Personen können betroffen sein?
• Welche Entscheidungen werden unterstützt oder automatisiert?
• Welche rechtlichen Anforderungen gelten?
• Welche technischen und organisatorischen Risiken bestehen?
• Wie erfolgt die menschliche Kontrolle?
• Welche Nachweise und Protokolle sind erforderlich?
• Wie kann die Nutzung beendet oder ersetzt werden?

Das Ergebnis sollte dokumentiert und einer verantwortlichen Stelle zur Freigabe vorgelegt werden.

Wie kann KI-Compliance organisiert werden?

Ein praxistaugliches Vorgehen kann aus folgenden Schritten bestehen:

1. verwendete KI-Systeme und Anwendungsfälle erfassen
2. Verantwortlichkeiten festlegen
3. rechtliche und technische Risiken bewerten
4. zulässige und unzulässige Einsatzbereiche definieren
5. interne KI-Richtlinie erstellen
6. Freigabeprozess für neue Systeme einrichten
7. Beschäftigte bedarfsgerecht schulen
8. menschliche Kontrollverfahren festlegen
9. Vorfälle und Beschwerden dokumentieren
10. Systeme und Vorgaben regelmäßig überprüfen

Wer trägt die Verantwortung?

KI-Compliance ist eine gemeinsame organisatorische Aufgabe.

Beteiligt sein können insbesondere:

• Geschäftsleitung,
• Fachabteilungen,
• IT und Informationssicherheit,
• Datenschutzbeauftragter,
• Personalabteilung,
• Rechts- und Compliance-Funktion,
• Einkauf und Lieferantenmanagement.

Die Geschäftsleitung sollte den organisatorischen Rahmen festlegen, Ressourcen bereitstellen und sicherstellen, dass wesentliche KI-Risiken angemessen behandelt werden.

Wie bleibt KI-Compliance aktuell?

KI-Systeme, Geschäftsprozesse und regulatorische Anforderungen entwickeln sich schnell weiter.

Regelmäßige Kontrollen sollten deshalb prüfen:

• ob neue KI-Systeme verwendet werden,
• ob sich Funktionen oder Vertragsbedingungen geändert haben,
• ob neue Datenarten verarbeitet werden,
• ob die Risikoeinstufung noch zutrifft,
• ob Kontrollmaßnahmen wirksam sind,
• ob Schulungen aktualisiert werden müssen,
• ob Vorfälle oder Beschwerden aufgetreten sind.

KI-Compliance ist damit kein einmaliges Dokumentationsprojekt, sondern ein laufender Steuerungs- und Kontrollprozess.

Welchen Nutzen bietet KI-Compliance?

Eine strukturierte KI-Compliance ermöglicht den kontrollierten Einsatz künstlicher Intelligenz.

Sie unterstützt Unternehmen dabei:

• rechtliche und technische Risiken frühzeitig zu erkennen,
• vertrauliche und personenbezogene Daten zu schützen,
• Verantwortlichkeiten eindeutig zu regeln,
• Fehlentscheidungen durch ungeprüfte KI-Ergebnisse zu reduzieren,
• Beschäftigten klare Handlungssicherheit zu geben,
• gegenüber Kunden und Behörden aussagefähige Nachweise bereitzuhalten,
• KI verantwortungsvoll und wirtschaftlich sinnvoll einzusetzen.

KI-Compliance soll den Einsatz künstlicher Intelligenz nicht verhindern, sondern ihn in einen nachvollziehbaren, sicheren und verantwortungsvollen Rahmen einordnen.