KI-Projekte: Ziele, Eignung und Betrieb frühzeitig klären

Ein hypothetisches Beispiel: Eine Demo eines Chatbots beantwortet ausgewählte Kundenfragen plausibel. Bei der Vorbereitung auf den Betrieb stellen sich weitere Fragen: Sind die Testfälle repräsentativ? Wie werden falsche oder unbelegte Antworten erkannt? Wer bearbeitet Eskalationen und pflegt die zugrunde liegenden Informationen?

Das Beispiel sagt nichts über die Häufigkeit solcher Projektverläufe aus. Es zeigt, dass eine gelungene Demo allein nicht alle Anforderungen des späteren Einsatzes abdeckt.

Prüffelder für KI-Vorhaben

Für eine konkrete Projektentscheidung ist es hilfreicher, mögliche Stolpersteine zu prüfen, als ein einheitliches Muster gescheiterter Projekte zu unterstellen. Ziele, Zuständigkeiten und Kriterien lassen sich dafür vorab klären.

Für KI-Vorhaben bieten sich unter anderem diese Prüffelder an:

Ziel und Kontext: „Wir wollen KI nutzen" beschreibt noch kein angestrebtes Ergebnis. Benennen Sie den Bedarf, den vorgesehenen Einsatzzweck und passende Kriterien zur Beurteilung.

Entscheidungsstrukturen: Klären Sie, wer über Erprobung, Einsatz und Änderungen entscheidet, welche Kriterien gelten und wie mit Fehlern umgegangen wird.

Verantwortlichkeiten: Benennen Sie, wer fachliche Anforderungen, technische Umsetzung, Risikoprüfung und späteren Betrieb verantwortet. Bei mehreren Beteiligten sollten Übergaben geklärt sein.

Diese Fragen sind organisatorisch und technisch miteinander verbunden. Ein leistungsfähigeres Modell löst nicht automatisch fehlende Zielklärung oder unklare Betriebsverantwortung; technische Anpassungen können umgekehrt für ein konkretes Problem erforderlich sein.

Was eine Demo noch nicht belegt

Prototypen können Fragen früh veranschaulichen. Ihre Ergebnisse gelten zunächst für die getesteten Daten, Konfigurationen und Aufgaben; eine Übertragung auf andere Bedingungen muss gesondert geprüft werden.

Eine schnell erstellte Demonstration kann einen begrenzten Eindruck von Fähigkeiten vermitteln. Sie sagt allein noch nicht aus, wie das System in einem definierten Prozess, mit realen Ausnahmefällen oder unter Betriebsanforderungen abschneidet.

Bewerten Sie daher zusätzlich, welche Testfälle abgedeckt wurden, wie Leistung und Unsicherheit gemessen werden, welche Grenzen bestehen und wie Ergebnisse im vorgesehenen Betrieb überwacht werden. NIST empfiehlt dafür unter anderem Tests unter einsatzähnlichen Bedingungen und die Dokumentation der Grenzen der Übertragbarkeit (NIST AI RMF, Measure).

Je früher diese Fragen geklärt werden, desto eher lassen sich offene Annahmen in die weitere Planung einbeziehen. Eine Demo ist dabei ein möglicher Lernschritt, kein Ersatz für Bewertung und Betriebsplanung.

Die Illusion des „Funktioniert doch"

Ein wichtiger Prüfpunkt ist der Unterschied zwischen technischer Funktion und Eignung für den vorgesehenen Einsatz.

Ein System kann eine technische Funktion demonstrieren – etwa Antworten zu generieren oder Texte Kategorien zuzuordnen. Daraus folgt noch nicht, dass es den vorgesehenen Bedarf unter den erwarteten Bedingungen erfüllt.

Ob ein System für den vorgesehenen Einsatzzweck geeignet ist, muss anhand passender Kriterien beurteilt werden. Zu prüfen sind zum Beispiel:

• Leistung und Unsicherheit unter passenden Bedingungen
• mögliche Fehler und ihre Folgen im konkreten Einsatz
• Prozesse für Prüfung, Eskalation und Korrektur
• Verantwortlichkeiten für Entscheidungen und Betrieb
• Aufwand und Nutzen im geplanten Betriebsmodell

NIST unterscheidet die Demonstration einer Systemleistung unter definierten Bedingungen von Aussagen über Zuverlässigkeit und Gültigkeit für den vorgesehenen Kontext. Ergebnisse und Grenzen der Übertragbarkeit sollten deshalb dokumentiert werden.

Weitere Hinweise zur Abgrenzung von Pilotbefunden und Betriebsentscheidungen bietet der Beitrag KI-Pilotprojekte entscheidungsfähig aufsetzen.

Was sich aus gescheiterten Projekten lernen lässt

Für die Vorbereitung eines KI-Vorhabens lassen sich drei Prüffelder unterscheiden:

Entscheidungsgrundlage: Beschreiben Sie, welches Ergebnis angestrebt wird, welche Alternativen bestehen und anhand welcher Kriterien ein Versuch ausgewertet wird.

Verantwortlichkeiten: Klären Sie Zuständigkeiten für fachliche Anforderungen, technische Bewertung, Aufsicht und Betrieb. Je nach Einsatz können mehrere Rollen beteiligt sein.

Betriebsvoraussetzungen: Prüfen Sie Daten, Prozesse, Integration und Monitoring früh genug, um ihren Einfluss auf Ziel und Aufwand beurteilen zu können. Welche davon nötig sind, hängt vom Anwendungsfall ab.

Was vor einem KI-Projekt geklärt sein sollte

Ein KI-Projekt kann mit einer Idee oder einem Prototyp beginnen. Für eine verantwortbare Entscheidung über nächste Schritte hilft eine strukturierte Grundlage, die Ziel, Voraussetzungen und Risiken berücksichtigt.

Diese Grundlage sollte folgende Fragen beantworten:

Zum Ziel: Welches konkrete Problem soll gelöst werden? Woran ist erkennbar, dass das Problem gelöst ist? Welche Ergebnisqualität ist erforderlich?

Zur Organisation: Wer trägt die Verantwortung für das Gesamtergebnis? Wer entscheidet über den Produktivgang? Nach welchen Kriterien?

Zu den Voraussetzungen: Welche Daten werden benötigt? In welcher Qualität liegen sie vor? Welche Prozesse müssen angepasst werden?

Zum Betrieb: Wie wird das System überwacht? Wie werden Fehler erkannt und behandelt? Wer ist dauerhaft für den Betrieb verantwortlich?

Die Antworten können sich im Projektverlauf weiterentwickeln. Halten Sie offene Punkte und geänderte Annahmen fest, damit die Entscheidung nachvollziehbar bleibt.

Der Unterschied zwischen Technologie und Entscheidung

KI-Systeme können je nach Verfahren Muster erkennen, Texte generieren oder Prognosen erstellen. Ob diese Fähigkeiten für einen konkreten Bedarf nützlich sind, ist anhand von Leistung, Risiken und Alternativen zu prüfen.

Ob ein Unternehmen KI einsetzen sollte, hängt sowohl von technischen Eigenschaften als auch von Zielen, Ressourcen, Risiken und organisatorischen Voraussetzungen ab.

Sie sollte die Perspektiven der Fachbereiche und Technik sowie – abhängig vom Einsatz – zuständige Risiko- und Compliance-Funktionen einbeziehen. Ein Prototyp oder eine Toolauswahl kann Informationen liefern, ersetzt die Entscheidung aber nicht.

Eine dokumentierte Grundlage hilft, die Entscheidung vor und während der technischen Umsetzung zu überprüfen.

Fazit

Für KI-Vorhaben sollten Ziele, Zuständigkeiten und Entscheidungswege zum konkreten Einsatz passen. Technische, organisatorische und fachliche Faktoren können jeweils zum Verlauf beitragen.

Eine Demo oder ein Prototyp kann Erwartungen früh prägen. Dokumentierte Testbedingungen und offene Fragen helfen, solche Eindrücke von Belegen für den Betrieb zu unterscheiden.

Ein Vorhaben ist nicht allein deshalb zum Scheitern verurteilt, weil Unsicherheit besteht. Entscheidend ist, diese Unsicherheit zu benennen, angemessen zu prüfen und Entscheidungen bei neuen Erkenntnissen zu aktualisieren.