KI-Anforderungen definieren: Ergebnisse am Fachbedarf ausrichten

Wenn KI-Ergebnisse im Arbeitsalltag nicht passen, werden häufig Prompts oder Werkzeuge angepasst. Das kann sinnvoll sein. Ebenso wichtig ist zu prüfen, ob die Aufgabe, der benötigte Kontext und die Kriterien für ein akzeptables Ergebnis klar genug beschrieben sind.

Anforderungen verbinden den fachlichen Bedarf mit der technischen Umsetzung. Sie helfen festzulegen, was ein System unterstützen soll, unter welchen Bedingungen es eingesetzt wird und wie sich seine Leistung bewerten lässt.

Warum dieses Problem so häufig entsteht

Ein möglicher Einstieg: Ein Team testet ein Tool, erste Ergebnisse wirken brauchbar und der Einsatz soll ausgeweitet werden. Dabei ändern sich oft Daten, Nutzerkreis und Folgen möglicher Fehler. Die bisherigen Tests decken diese Bedingungen nicht unbedingt ab.

Dann kann sich zeigen, dass die Ergebnisse unter veränderten Bedingungen schwanken oder wichtige Fälle nicht abdecken. Ohne definierte Prüffälle und Kriterien bleibt unklar, woran das liegt und ob eine Anpassung geholfen hat.

Ein Grund kann sein, dass der Test nur prüfte, ob das System eine Ausgabe erzeugt. Für einen produktiven Einsatz muss zusätzlich geprüft werden, ob die Ausgabe für konkrete Aufgaben und Nutzer geeignet ist.

Dieser Unterschied klingt trivial. Er ist es nicht.

Warum „fast richtig" bei KI nicht existiert

Viele klassische Programme liefern bei gleichen Eingaben und unverändertem Zustand dasselbe Ergebnis; auch dort können Anforderungen falsch oder unvollständig sein. KI-Systeme können zusätzliche Schwankungen aufweisen und Fehler erzeugen, die nicht unmittelbar erkennbar sind. Das Ausmaß hängt von der konkreten Technologie und Konfiguration ab.

Insbesondere generative Systeme können überzeugend formulierte Ausgaben erzeugen, ohne dass diese fachlich korrekt oder vollständig sind. Form und sprachliche Qualität belegen daher nicht die Eignung für den jeweiligen Prozess.

Bei unklaren Anforderungen fehlt ein verlässlicher Maßstab für die Bewertung. Deshalb sollten Anforderungen auch beschreiben, wie das System bei fehlenden Informationen, Grenzfällen oder geringer Sicherheit reagieren soll und wann eine menschliche Prüfung nötig ist.

In Fachprozessen müssen Rückfragen und Übergaben als Teil des Ablaufs vorgesehen und getestet werden; sie erfolgen nicht automatisch in jeder Anwendung.

Typische Missverständnisse beim Einsatz von KI in Fachprozessen

„Wir schreiben einfach bessere Prompts"

Ein klar formulierter Prompt kann die Ausgabe beeinflussen. Ob das Ergebnis fachlich ausreicht, muss dennoch anhand des Verwendungszwecks geprüft werden.

Ein Prompt ist eine mögliche technische Umsetzung von Anforderungen, aber nicht mit der gesamten Anforderungsdefinition gleichzusetzen. Wenn fachliche Kriterien fehlen, lässt sich durch Prompt-Änderungen allein keine verlässliche Korrektheit zusichern. Iterationen sollten mit dokumentierten Testfällen und Bewertungskriterien überprüft werden.

„Das System lernt mit der Zeit"

Ob ein System Rückmeldungen dauerhaft berücksichtigt, hängt von der jeweiligen Anwendung und ihrer Konfiguration ab. Nutzung allein bedeutet nicht automatisch, dass sich ein Modell verbessert. Legen Sie fest, wie Feedback erfasst, bewertet und – falls vorgesehen – in Änderungen am System oder Prozess überführt wird.

„Die KI macht es so wie ein guter Mitarbeitender"

Fachleute können Kontext einbringen und unklare Fälle erkennen. Ein KI-System kann je nach Gestaltung ebenfalls Rückfragen stellen oder Unsicherheit kenntlich machen; das muss als Verhalten vorgesehen und geprüft werden. Wo es fehlt, kann das System unvollständige Informationen anders behandeln als ein erfahrener Mitarbeitender.

Was Anforderungen bei KI tatsächlich leisten müssen

Anforderungen für KI-Einsätze sind eine Übersetzungsleistung. Sie übersetzen fachliches Wissen in eine Form, die für das System handlungsleitend ist.

Das umfasst mehr als eine Aufgabenbeschreibung. Es umfasst:

Kontext: In welchem fachlichen Umfeld findet die Aufgabe statt? Welche Rahmenbedingungen gelten?

Eingaben: Welche Daten, Dokumente oder Informationen sind typisch – und welche Ausnahmen treten auf?

Korrektheitskriterien: Woran erkennt ein Fachmensch, ob das Ergebnis stimmt? Welche Fehler sind kritisch, welche tolerierbar?

Grenzen: Was soll das System explizit nicht tun oder entscheiden?

Diese Dimensionen müssen für den jeweiligen Einsatz konkretisiert werden. Dazu gehört auch, implizites Fachwissen, verfügbare Daten und Ausnahmen einzubeziehen, soweit sie die Aufgabe beeinflussen.

Strukturierte Einschätzung: Wo stehen Ihre Anforderungen?

Bevor KI in einem Fachprozess eingesetzt wird, lohnt es sich, drei Fragen ehrlich zu beantworten:

1. Können zwei Fachmitarbeitende unabhängig voneinander dasselbe Ergebnis als korrekt oder falsch bewerten?
Wenn nicht, fehlen explizite Korrektheitskriterien – und damit die Grundlage für jeden sinnvollen KI-Einsatz.

2. Sind wichtige Ausnahmen und Grenzfälle erfasst? Prüfen Sie, ob diese Fälle in verfügbaren Daten und Testbeispielen vorkommen und wie das System damit umgehen soll. Wo Unsicherheit besteht, kann eine Rückfrage oder Übergabe an eine zuständige Person sinnvoll sein.

3. Wer im Unternehmen ist fachlich verantwortlich für die Anforderungen – und für die Beurteilung der Ergebnisse?
Ohne klare Verantwortung für die fachliche Seite bleibt die Qualitätskontrolle lückenhaft.

Konkrete Empfehlungen für den Umgang mit KI-Anforderungen

Fachlichen Bedarf und Systemauswahl gemeinsam betrachten. Beschreiben Sie zunächst den Bedarf und die gewünschten Ergebnisse. Prüfen Sie anschließend, welche Systeme diese Anforderungen erfüllen und welche Anpassungen oder Einschränkungen nötig sind. Erkenntnisse aus Tests können Anlass sein, Anforderungen zu überarbeiten.

Fachexperten einbeziehen, nicht nur IT.
Anforderungsklarheit ist kein technisches Problem. Sie entsteht im Dialog zwischen Fachlichkeit und technischen Möglichkeiten – und erfordert, dass beide Seiten an einem Tisch sitzen.

Bewertungskriterien und Testfälle festlegen. Halten Sie für typische Fälle und wichtige Ausnahmen fest, was als geeignet gilt, welche Fehler kritisch sind und wer Ergebnisse bewertet. Quantitative Kennzahlen helfen, wenn sie das gewünschte Qualitätsziel tatsächlich abbilden.

Piloten unter repräsentativen Bedingungen auswerten. Prüfen Sie Ergebnisse mit relevanten Daten und Fällen durch Personen, die den fachlichen Kontext kennen. Dokumentieren Sie Grenzen der Tests und legen Sie fest, welche Änderungen eine erneute Bewertung erfordern. Der NIST AI Risk Management Framework empfiehlt, Einsatzkontext, Systemgrenzen, Leistungsmaßstäbe und menschliche Aufsicht zu berücksichtigen.

Offene Anforderungen sichtbar machen. Wenn wichtige Kriterien noch ungeklärt sind, halten Sie fest, wie sie im Projekt oder Pilot geklärt werden und welche Entscheidungen bis dahin zurückgestellt werden. Nicht jede offene Frage muss vor einem begrenzten Test gelöst sein.

Wie sich Kriterien konkret auf Vollständigkeit, Richtigkeit und Verwendungszweck beziehen, erläutert der Beitrag KI-Qualität anhand klarer Qualitätskriterien bewerten.

Fazit

Unklare Anforderungen können die Bewertung von KI-Ergebnissen erschweren und dazu führen, dass ein System am fachlichen Bedarf vorbeiarbeitet. Sie sind ein wichtiger Prüfpunkt neben Daten, technischer Eignung, Prozessgestaltung und menschlicher Aufsicht.

Anforderungsarbeit ersetzt weder die Auswahl geeigneter Technik noch Tests im Anwendungskontext. Sie schafft die Grundlage, beides am fachlichen Bedarf auszurichten.

Wer Anforderungen für einen KI-Einsatz definiert, sollte Fachverantwortliche, Nutzende und technische Rollen einbeziehen. Gemeinsam können sie festlegen, was das System unterstützen soll, wie Ergebnisse geprüft werden und welche Grenzen gelten.