KI skalieren: Vom Pilot zum belastbaren Betrieb

Ein Pilot liefert vielversprechende Ergebnisse, und das Unternehmen erwägt, die Lösung auf weitere Nutzende oder Prozesse auszuweiten. Vor diesem Schritt sollte geprüft werden, ob die getesteten Bedingungen den geplanten Betrieb ausreichend abbilden.

Für den Übergang sind technische, organisatorische und fachliche Voraussetzungen relevant. Ein funktionierender Pilot ist ein Zwischenergebnis; er belegt nicht automatisch, dass Leistung, Aufwand und Risiken im größeren Einsatz gleich bleiben.

Warum Piloten nicht automatisch skalieren

Ein Pilot kann unter Bedingungen stattfinden, die vom späteren Betrieb abweichen – etwa durch einen begrenzten Nutzerkreis, zusätzliche Betreuung oder manuelle Nachbearbeitung. Prüfen Sie, welche dieser Bedingungen für die Ergebnisse relevant waren und im breiteren Einsatz bestehen bleiben.

Beim Übergang können sich mehrere Rahmenbedingungen verändern:

Betreuung und Support. Klären Sie, welche laufende Betreuung nötig ist und wer sie übernimmt.

Umgang mit Fehlern. Prüfen Sie, welche Fehlerfolgen im vorgesehenen Einsatz entstehen können und welche Kontrollen, Eskalations- oder Rückfallprozesse benötigt werden.

Zuständigkeiten. Wenn weitere Teams oder Partner beteiligt werden, sollten Verantwortlichkeiten und Übergaben für den Betrieb geklärt werden.

Eine technische Demonstration allein belegt nicht, dass alle organisatorischen und betrieblichen Voraussetzungen erfüllt sind. NIST empfiehlt, Leistungen unter einsatzähnlichen Bedingungen zu messen und Grenzen der Übertragbarkeit zu dokumentieren (NIST AI RMF, Measure). Auch die britische Leitlinie zur Wirkungsevaluierung von KI weist auf Fragen der Skalierbarkeit und externen Validität von Pilotbefunden hin (GOV.UK: Guidance on the Impact Evaluation of AI Interventions).

Vier Annahmen zur Skalierung prüfen

Bei einer Skalierung sind neben der technischen Erweiterung auch Nutzungsbedingungen, Risiken, Prozesse und Ressourcen zu prüfen.

Fehleinschätzung 1: „Wenn der Pilot funktioniert, funktioniert auch der Rollout.“

Ein Pilot belegt Ergebnisse unter den getesteten Bedingungen. Prüfen Sie, ob diese für einen breiteren Einsatz repräsentativ sind und welche Anpassungen für den Betrieb erforderlich werden.

Fehleinschätzung 2: „Skalierung ist vor allem eine Frage der Infrastruktur.“

Neben Infrastruktur können Integration, Daten, Support, Monitoring, Zuständigkeiten und Arbeitsabläufe relevant sein. Welche Punkte maßgeblich sind, hängt vom System ab.

Fehleinschätzung 3: „Die Fachabteilung wird die Lösung schon nutzen.“

Prüfen Sie mit den betroffenen Nutzenden, ob die Lösung zu Arbeitsabläufen passt, welchen Nutzen sie bringt und welche zusätzlichen Aufgaben entstehen.

Fehleinschätzung 4: „Wir regeln die Details im laufenden Betrieb.“

Vor dem jeweiligen Einsatzschritt sollten kritische Fragen zu Entscheidungen, Qualitätsabfällen, Fehlern und Betrieb geklärt oder mit klaren Überwachungs- und Eskalationswegen versehen sein.

Voraussetzungen für eine Skalierungsentscheidung

Der Übergang vom Piloten zum KI-Produktivbetrieb ist eine Entscheidung über den konkreten Einsatz. Sie sollte Ergebnisse, Unsicherheiten, Risiken und Betriebsanforderungen einbeziehen.

Skalierungskriterien definieren
Ein erfolgreicher Pilot ist kein Automatismus für eine Skalierung. Prüfen Sie, ob der erwartete Nutzen den Aufwand rechtfertigt, Qualitäts- und Betriebsanforderungen erfüllbar sind und ausreichende Ressourcen für Betreuung vorhanden sind.

Verantwortlichkeiten klären
Vor dem jeweiligen Rollout-Schritt sollten Zuständigkeiten für fachliche Ergebnisse, technischen Betrieb und Zielkonflikte benannt werden. Rollen können mit dem Umfang des Einsatzes angepasst werden.

Prozesse etablieren
Für den geplanten Betrieb sollten Prozesse für Fehlererkennung, Qualitätsmessung und Änderungen vorgesehen werden. Umfang und Automatisierung richten sich nach Einsatz, Risiko und verfügbarer Infrastruktur.

Betriebskonzept entwickeln
Ein Betriebskonzept kann festhalten, wer Ergebnisse überwacht, bei Problemen reagiert, welche Verfügbarkeit benötigt wird und wie Updates geprüft werden. Anforderungen wie Service Levels sollten zum Anwendungsfall passen.

Governance und Betrieb: Die unterschätzten Faktoren

Governance ist ein Teil der Vorbereitung auf den Regelbetrieb. Sie umfasst angemessene Regeln, Zuständigkeiten und Verfahren für Entscheidungen und Risiken.

Entscheidungsstrukturen
Klären Sie, wer über Änderungen entscheidet, Anforderungen priorisiert und notwendige Ressourcen freigibt. Diese Aufgaben können bestehende Gremien oder Rollen übernehmen, wenn Mandat und Abstimmung passen.

Qualitätssicherung
Welche Qualitätssicherung im Betrieb erforderlich ist, hängt von Funktion und Fehlerfolgen ab. Legen Sie passende Metriken, Prüfungen und Reaktionen auf Abweichungen fest; NIST empfiehlt fortlaufendes Monitoring und Tests im Lebenszyklus.

Eskalationswege
Definieren Sie, wer bei kritischen Problemen informiert wird und wer über geeignete Maßnahmen entscheidet. Reaktionszeiten und Eskalationswege sollten dem möglichen Schaden und der betrieblichen Nutzung entsprechen.

Betriebsverantwortung
Klären Sie Übergaben zwischen fachlicher Verantwortung und technischem Betrieb. Die Rollenverteilung ist unternehmensspezifisch und sollte für den geplanten Einsatz dokumentiert werden.

Konkrete Schritte für Skalierungsentscheidungen

Die Entscheidung, eine KI-Lösung zu skalieren, sollte auf einer strukturierten Grundlage erfolgen. Folgende Schritte helfen dabei:

Schritt 1: Anforderungen dokumentieren
Welche fachlichen und technischen Anforderungen soll die Lösung im vorgesehenen Betrieb erfüllen? Definieren Sie passende Leistungs- und Verfügbarkeitskriterien sowie bekannte Grenzen. NIST empfiehlt, Tests, Metriken und Bedingungen zu dokumentieren und bei Bedarf mit Domänenwissen zu ergänzen.

Schritt 2: Verantwortlichkeiten festlegen
Wer ist für fachliche Bewertung, technischen Betrieb, Monitoring und Eskalation zuständig? Dokumentierte Rollen erleichtern Übergaben, verhindern aber nicht automatisch Konflikte.

Schritt 3: Betriebskonzept erstellen
Welche Support-, Integrations-, Prüf- und Änderungsprozesse sind nötig? Erfassen Sie den geschätzten Ressourcenbedarf und aktualisieren Sie ihn bei neuen Erkenntnissen. Eine Übersicht zu Kostenfaktoren bietet der Beitrag KI-Kosten im Unternehmen bewerten.

Schritt 4: Governance definieren
Wer entscheidet über Änderungen, Budgets und Prioritäten? Welche Eskalationswege gelten? Prüfen Sie, ob bestehende Strukturen für den konkreten Einsatz ausreichen.

Schritt 5: Skalierung pilotieren
Ein stufenweiser Rollout kann prüfen, ob Leistung und Abläufe auch bei veränderten Bedingungen funktionieren. Legen Sie fest, was die jeweilige Stufe belegen soll und wie Sie bei Abweichungen vorgehen.

Der Aufwand für diese Schritte hängt vom Vorhaben ab. Planen Sie ihn gemeinsam mit dem Rollout und überprüfen Sie Annahmen an den Entscheidungspunkten.

Fazit

Ein Pilot liefert Erkenntnisse unter bestimmten Bedingungen. Vor einer Ausweitung sollten Unternehmen prüfen, wie gut diese Ergebnisse auf den geplanten Einsatz übertragbar sind und welche technischen, fachlichen und betrieblichen Voraussetzungen noch fehlen.