Warum KI-Einführungen klare Erfolgskriterien brauchen

Eine KI-Lösung ist im Einsatz. Das Projektteam berichtet von positiven Erfahrungen, Nutzer äußern sich zufrieden. Ob sich der Aufwand gelohnt hat, lässt sich daraus allein nicht ableiten. Dazu braucht es eine vorher oder begleitend geplante Bewertung mit passenden Kriterien.

KI-Erfolgskriterien machen Erwartungen prüfbar: Welche Ergebnisse sollen sich verändern, welche Risiken müssen beobachtet werden und anhand welcher Informationen wird entschieden? Kennzahlen sollten zum Ziel und Nutzungskontext passen. Für Wirkungsfragen ist außerdem wichtig, beobachtete Veränderungen nicht vorschnell allein der KI zuzuschreiben. GOV.UK: Guidance on the Impact Evaluation of AI Interventions

Warum fehlen Erfolgskriterien bei KI-Projekten?

Ein häufiger Planungsfehler ist, ein technisches Ziel wie „KI einführen“ mit einem gewünschten Ergebnis gleichzusetzen. Vor dem Start sollte beschrieben sein, welches Problem die Anwendung adressiert und woran sich eine Veränderung erkennen ließe.

Ein weiterer Grund liegt in der Erwartungshaltung: KI soll Prozesse „optimieren", „intelligenter machen" oder „automatisieren". Diese Formulierungen klingen plausibel, beschreiben aber keine messbaren Veränderungen. Was bedeutet „optimiert" konkret? Welche Qualität soll sich verbessern? Welcher Aufwand soll sinken?

Ergebnisse aus anderen Organisationen lassen sich nicht automatisch auf den eigenen Prozess übertragen. Unterschiede in Aufgaben, Daten, Nutzergruppen und Umsetzung sollten bei der Planung berücksichtigt werden.

Bevorzugte Ziele können je nach Beteiligten variieren: technische Funktionsfähigkeit, Prozessqualität, Entlastung oder strategischer Nutzen. Ein gemeinsames Zielbild und klare Messaufgaben helfen, diese Perspektiven zusammenzuführen.

Die drei typischen Fehleinschätzungen

Fehleinschätzung 1: Technische Metriken reichen aus

Modellgüte, Antwortzeit oder Fehlerraten können wichtige technische Kriterien sein. Sie beantworten für sich genommen nicht jede Frage zu Prozesswirkung, Kosten oder Folgen für Betroffene. Welche Kennzahlen geeignet sind, richtet sich nach Aufgabe und Ziel.

Fehleinschätzung 2: Nutzerzufriedenheit ist ein Erfolgskriterium

Nutzerfeedback liefert Hinweise zur Verständlichkeit, Passung und Belastung, ist aber nicht alleiniger Beleg für Ergebnisverbesserungen. Je nach Frage sollte es mit weiteren Messungen, etwa Prozessdaten oder Qualitätsprüfungen, verbunden werden. KI-Erfolg messen heißt, Methoden passend zur Fragestellung zu wählen.

Fehleinschätzung 3: Erfolg zeigt sich automatisch

Ohne geplante Evaluation bleiben Ergebnisse schwer einzuordnen. Neben gewünschten Veränderungen sollten auch mögliche unerwünschte Wirkungen wie zusätzlicher Prüfaufwand oder Qualitätsprobleme beobachtet werden, soweit sie für den Einsatz relevant sind.

Was macht Erfolgskriterien für KI anders?

Auch bei KI reicht es für eine Nutzenbewertung in der Regel nicht, die technische Inbetriebnahme zu dokumentieren. Ob eine Anwendung Ergebnisse verändert, lässt sich erst im jeweiligen Nutzungskontext untersuchen.

Klassische KPIs greifen zu kurz

Bestehende Kennzahlen wie Umsatz, Bearbeitungszeit oder Fehlerquote können passende Ergebnismaße sein. Bei einer Veränderung ist jedoch nicht automatisch klar, welchen Anteil die KI hatte. Je nach Entscheidungsbedarf können Baseline, Vergleichsgruppe, gestaffelte Einführung oder qualitative Untersuchung helfen, alternative Erklärungen zu prüfen. Die GOV.UK-Leitlinie zur Wirkungsevaluation von KI empfiehlt, das Evaluationsdesign früh zu planen und an den Kontext anzupassen. GOV.UK-Leitlinie

Qualitative und quantitative Kriterien kombinieren

Je nach Fragestellung können quantitative, qualitative oder gemischte Methoden sinnvoll sein. Beispiele für mögliche Fragen: Wie viele manuelle Prüfschritte fallen an? Wie erleben Nutzer die Unterstützung? Verändert sich die Konsistenz von Bewertungen? NIST beschreibt quantitative und qualitative Methoden als mögliche Bestandteile der kontextbezogenen Messung. NIST AI RMF, Measure

Ein hypothetisches Beispiel: Eine KI unterstützt bei der Risikoeinschätzung von Projekten. Eine quantitative Frage könnte lauten, wie viele Einschätzungen geprüft werden; qualitativ könnte untersucht werden, wie Verantwortliche die Hinweise nutzen und welche Grenzen sie feststellen.

Zielbild und Messbarkeit zusammendenken

Beginnen Sie mit dem angestrebten Ergebnis und bestimmen Sie danach, welche Informationen dessen Bewertung unterstützen. NIST empfiehlt, Geschäftskontext und Zweck zu erfassen und Messansätze daran auszurichten. NIST AI RMF, Map und Measure

Eine einfach verfügbare Kennzahl ist nicht automatisch entscheidungsrelevant. Dokumentieren Sie, warum ein Messwert zum Ziel passt, welche Einschränkungen gelten und welche Aspekte damit nicht erfasst werden.

Erfolgskriterien strukturiert entwickeln

Die folgenden Schritte helfen, KI-Nutzen bewerten zu können. Sie sind eine praktische Orientierung und kein vorgeschriebenes Evaluationsverfahren:

Schritt 1: Ausgangslage beschreiben

Wie funktioniert der betreffende Bereich heute? Welche Tätigkeiten binden Zeit? Wo entstehen Fehler? Welche Entscheidungen werden wie getroffen? Diese Beschreibung bildet die Grundlage für jede spätere Bewertung.

Schritt 2: Gewünschte Veränderung definieren

Was soll sich konkret ändern? Formulieren Sie ein überprüfbares Ziel, beispielsweise kürzere Bearbeitungszeiten oder das Erkennen bestimmter Fehler vor der Weiterverarbeitung. Zahlenwerte wie „30 statt 240 Minuten“ sollten nur dann als Ziel gesetzt werden, wenn sie aus einer belastbaren Ausgangslage und einer begründeten Erwartung abgeleitet wurden.

Schritt 3: Messbarkeit klären

Wie lässt sich die gewünschte Veränderung erfassen? Mögliche Größen sind Zeitaufwand, Fallzahlen, Qualitätsprüfungen oder Rückmeldungen. Halten Sie Datenquelle, Messzeitpunkt, Definition und Grenzen des Indikators fest.

Schritt 4: Verantwortung zuordnen

Wer stellt sicher, dass Kriterien erfasst werden? Wer wertet sie aus? Wer entscheidet, ob ein Kriterium noch relevant ist? Ohne klare Verantwortung versanden Erfolgskriterien in der operativen Hektik.

Schritt 5: Kontext einbeziehen

Erfolgskriterien sollten zum Geschäftsziel und verfügbaren Ressourcen passen. Prüfen Sie außerdem mögliche Zielkonflikte: Kürzere Bearbeitungszeit kann beispielsweise andere Qualitäts- oder Kontrollziele berühren.

Entscheidungsrelevanz vor Reporting-Perfektion

Erfolgskriterien dienen nicht der schönen Darstellung, sondern der Entscheidungsfindung. Die Frage ist nicht: Wie können wir zeigen, dass KI funktioniert? Sondern: Wie erkennen wir, ob KI den gewünschten Nutzen bringt – oder nicht?

Kriterien müssen Konsequenzen ermöglichen

Legen Sie vorab fest, welche Entscheidungen die Evaluation unterstützen soll. Je nach Befund kann das eine Anpassung, zusätzliche Prüfung, Fortführung oder Beendigung des Einsatzes sein. Messwerte sind dabei eine Entscheidungsgrundlage und ersetzen keine Abwägung.

Messaufwand und Erkenntnisgewinn abwägen

Nicht jedes Kriterium rechtfertigt aufwendige Erfassungsmechanismen. Wählen Sie Methode und Umfang passend zur Bedeutung der Entscheidung, zu den Risiken und zu den verfügbaren Daten.

Kriterien sind keine Konstanten

Prüfen Sie in passenden Abständen, ob Ziele und Methoden noch zum Einsatz passen. Ein fester Zeitraum, etwa sechs Monate, ist nicht für alle Anwendungen geeignet.

Erfolgskriterien kommunizieren

Informieren Sie die Personen, die Kriterien erfassen, auswerten oder auf ihrer Grundlage handeln. Welche Ergebnisse externen Partnern oder weiteren Gruppen mitzuteilen sind, hängt von ihrer Rolle und dem Projekt ab.

Fazit

Ohne vorab durchdachte Erfolgskriterien fehlt eine wichtige Grundlage, um Nutzen, Risiken und Aufwand eines KI-Einsatzes einzuordnen. Welche Messung sinnvoll ist, hängt vom Ziel und Kontext ab.

Erfolgskriterien sind ein Baustein einer fundierten Entscheidung. Sie sollten mit Ausgangslage, Messmethode, möglichen Nebenwirkungen und dem vorgesehenen Entscheidungsweg verbunden werden. Zur wirtschaftlichen Perspektive lesen Sie auch KI-Nutzen und Wirtschaftlichkeit bewerten.