Warum KI ohne klare Verantwortung zum Risiko wird

Wenn alle zuständig sind, ist niemand verantwortlich

Ein Unternehmen führt ein KI-System zur Angebotspriorisierung ein. Die IT implementiert es, der Vertrieb nutzt es, die Geschäftsführung gibt das Budget frei. Bei einer späteren Prüfung fallen Unterschiede zwischen Kundengruppen auf. Das Beispiel ist hypothetisch: Es zeigt, warum vorab festgelegt werden sollte, wer fachliche Ergebnisse prüft, Auffälligkeiten eskaliert und über Korrekturen entscheidet.

Unklare Rollen können dazu führen, dass solche Aufgaben im Alltag liegen bleiben. Deshalb sollten Zuständigkeiten und Befugnisse nicht nur dokumentiert, sondern für die Beteiligten praktisch verständlich sein.

Zuständigkeiten sind ein Teil des Risikomanagements. Sie allein gewährleisten weder fehlerfreie Systeme noch die Einhaltung aller rechtlichen Anforderungen.

Warum Verantwortung bei KI systematisch unklar bleibt

Bei KI-Projekten können technische, fachliche und rechtliche Aufgaben zusammenkommen. Wie ein Unternehmen sie verteilt, hängt von der eigenen Organisation und dem Einsatz ab.

Mehrere Perspektiven können relevant sein. Ein System, das Vertriebsentscheidungen beeinflusst, kann neben IT und Fachbereich auch Datenschutz, Informationssicherheit, Einkauf oder Recht betreffen. Welche Funktionen beteiligt werden, sollte anhand des konkreten Systems entschieden werden.

Betriebsaufgaben sollten früh geklärt werden. Für Systeme im laufenden Einsatz kann es Monitoring, Support, Aktualisierungen oder fachliche Kontrollen geben. Legen Sie fest, welche davon erforderlich sind, wer sie ausführt und wann neu bewertet wird.

Technische und fachliche Prüfungen unterscheiden sich. IT kann technische Kriterien bewerten; die Angemessenheit fachlicher Ergebnisse benötigt Prozesswissen. Rollen und Prüfkriterien sollten zusammenpassen und können je nach Organisation auch anders verteilt sein.

Typische Fehleinschätzungen bei KI-Verantwortung

„Die IT macht das"

Die IT kann technische Infrastruktur bereitstellen und Systeme betreiben. Fachliche Ziele und Prüfkriterien sollten mit den dafür zuständigen Prozessverantwortlichen festgelegt werden; für manche Systeme haben technische Rollen zugleich weitere Verantwortlichkeiten.

Wenn Aufgaben und Befugnisse nicht geklärt sind, kann es zu Lücken kommen. Dokumentierte Rollen, Zuständigkeiten und Kommunikationswege sind auch Empfehlungen im freiwilligen NIST AI RMF. NIST AI RMF, Govern

„Der Anbieter ist verantwortlich"

Bei eingekauften KI-Lösungen sind Aufgaben und gesetzliche Pflichten nicht pauschal einer Seite zuzuordnen. Der AI Act enthält je nach Rolle Pflichten für Anbieter und Betreiber; bei Hochrisiko-Systemen nennt Artikel 26 unter anderem Betreiberpflichten zur Nutzung gemäß Gebrauchsanweisung, Aufsicht und Überwachung. Verträge regeln Zusammenarbeit, ersetzen aber nicht die rechtliche Prüfung. AI Act, Artikel 16 und 26

„Das regelt sich im Betrieb"

Zuständigkeiten sollten vor oder spätestens während der Einführung geklärt werden. Für den Betrieb können Unternehmen festlegen, wie Beobachtungen gemeldet, geprüft und in Korrekturen übersetzt werden.

Die drei Ebenen der KI-Verantwortung

Zur internen Orientierung können drei Aufgabengruppen unterschieden werden. Das ist ein Organisationsvorschlag, keine gesetzlich vorgeschriebene Struktur.

Entscheidungsebene: Wer entscheidet über das System?

Die Entscheidungsebene klärt grundlegende Fragen: Wird ein KI-System eingeführt oder nicht? Welche Ziele soll es erreichen? Welche Grenzen gelten für seinen Einsatz? Wann wird es abgeschaltet oder verändert?

Das Unternehmen sollte festlegen, welche Rolle diese Entscheidungen trifft und wann die Geschäftsleitung einzubeziehen ist. Die zuständigen Personen benötigen ausreichende Informationen zu Zweck, Auswirkungen und Grenzen des Systems.

Betriebsebene: Wer überwacht und korrigiert?

Die Betriebsebene umfasst die laufende Arbeit mit dem System. Dazu gehören technische Überwachung, fachliche Qualitätskontrolle und die Anpassung an veränderte Bedingungen.

Hier sollte klar sein, wer nach vereinbarten Kriterien prüft, Auffälligkeiten meldet und innerhalb welcher Befugnisse eingreifen kann. Prüfart und Rhythmus richten sich nach System, Einsatz und Risiko.

Haftungsebene: Wer trägt die Konsequenzen?

Die rechtliche Haftung lässt sich nicht aus der internen Aufgabenverteilung allein ableiten. Sie hängt von einschlägigem Recht, Systemrolle, Verhalten und konkretem Schaden ab.

Bei relevanten oder regulierten Anwendungsfällen sollte die Rechtsprüfung rechtzeitig erfolgen. Der AI Act legt Anbieter- und Betreiberpflichten rollenbezogen fest; weitere Rechtsgebiete können hinzukommen. AI Act

Konkrete Schritte zu klarer KI-Verantwortung

Verantwortung vor der Einführung definieren

Klären Sie vor dem Einsatz, welche Aufgaben und Entscheidungsbefugnisse erforderlich sind. Dokumentieren Sie sie in einer zur Anwendung passenden Form.

Fachliche und technische Verantwortung trennen

Prüfen Sie, ob für Ihr System getrennte technische und fachliche Rollen sinnvoll sind. Legen Sie Aufgaben, Befugnisse und Zusammenarbeit fest; eine bestimmte Rollenstruktur ist nicht für jede Organisation vorgeschrieben.

Eskalationswege festlegen

Definieren Sie für den Einsatz passende Meldungs- und Eskalationswege. Bei Hochrisiko-KI sieht Artikel 26 des AI Act für Betreiber unter bestimmten Voraussetzungen Überwachungs- und Informationspflichten sowie eine Aussetzung der Nutzung vor.

Regelmäßige Überprüfung etablieren

Legen Sie abhängig vom System fest, ob und wie Leistung, Nutzung, Daten oder Rahmenbedingungen regelmäßig überprüft werden. Der freiwillige NIST AI RMF empfiehlt geplante Überwachung und regelmäßige Überprüfung von Risikomanagement und Rollen. NIST AI RMF, Govern

Verantwortung ist eine Entscheidungsgrundlage

Zuständigkeiten früh zu klären hilft, Anforderungen und Betriebsaufgaben in die Planung aufzunehmen. Welche Prüfung gesetzlich erforderlich ist, hängt vom System und Einsatz ab.

Eine klare Aufgabenverteilung unterstützt die Einschätzung, ob notwendige Kenntnisse, Ressourcen und Kontrollen vorhanden sind. Sie ersetzt weder technische Prüfung noch rechtliche Bewertung.

Klare Zuständigkeiten sind ein Baustein verantwortungsvoller KI-Nutzung; sie garantieren für sich genommen keinen Projekterfolg.

Wie Aufgaben zwischen Führung, Fachbereich, IT und externen Anbietern verteilt werden können, vertieft der Beitrag Warum KI-Verantwortung nicht vollständig delegiert werden kann.

Fazit: Ein Ausgangspunkt, kein Endpunkt

Die Klärung von KI-Verantwortung ist keine einmalige Aufgabe, die abgehakt werden kann. Sie ist ein fortlaufender Prozess, der sich mit jedem neuen System, jeder Veränderung und jeder Erfahrung weiterentwickelt.

Aber dieser Prozess braucht einen Anfang. Und dieser Anfang ist die bewusste Entscheidung, Verantwortung nicht dem Zufall zu überlassen.

Unternehmen können diese Grundlage schaffen, indem sie relevante Rollen, Kontrollaufgaben und Eskalationswege für den konkreten Einsatz festlegen und bei Bedarf überprüfen.