Warum KI-Erwartungen im Management oft unrealistisch sind

In einer Geschäftsleitung werden unterschiedliche Erwartungen an KI formuliert: Die IT verweist auf Produktivitätswerte aus einer Studie, der Vertrieb erwartet schnellere Angebotserstellung, das Marketing erwägt automatisierte Textentwürfe. Bevor daraus ein Budget oder Zielwert abgeleitet wird, muss geprüft werden, ob die Belege zu den Aufgaben und Rahmenbedingungen des Unternehmens passen. Das Beispiel ist hypothetisch.

Erwartungen können aus Anbieterangaben, veröffentlichten Studien, Medienberichten und internen Einschätzungen stammen. Entscheidend ist, welche Evidenz sie stützt und wie übertragbar diese auf den geplanten Einsatz ist.

Woher unrealistische KI-Erwartungen kommen

Bei der Übertragung von Erwartungen auf einen neuen Einsatz können Auswahl- und Kontextunterschiede leicht übersehen werden. Die folgenden Punkte sind mögliche Prüffragen, keine Aussage darüber, dass alle Anbieter oder Organisationen systematisch einseitig berichten.

Anbieter-Demonstrationen können ausgewählte Aufgaben und vorbereitete Bedingungen zeigen. Fragen Sie, welche Daten, Konfigurationen und Hilfestellungen genutzt wurden und welche Ergebnisse unter vergleichbaren eigenen Bedingungen erwartet werden können.

Einzelne Medienberichte und Fallbeispiele bilden nicht zwingend die Bandbreite aller Einsätze ab. Fragen Sie nach Auswahl, Messmethode und Kontext der berichteten Ergebnisse, bevor Sie sie als Referenz verwenden.

Auch interne Vorschläge können optimistische oder vorläufige Annahmen enthalten. Kennzeichnen Sie Prognosen, Pilotbefunde und externe Studien getrennt und dokumentieren Sie Einschränkungen.

Vergleichswerte sind nur nützlich, wenn Aufgaben, Tools und Rahmenbedingungen ausreichend ähnlich sind. Ein allgemeingültiger Einführungszeitraum oder Produktivitätswert lässt sich aus einem fremden Projekt nicht einfach ableiten.

Typische Fehleinschätzungen im Management

Einige verbreitete Erwartungen sollten vor einer Entscheidung konkretisiert und geprüft werden:

Produktivitätsgewinne: Ein Prozentwert ist nur mit Angabe von Aufgabe, Messgröße, Vergleich und Zeitraum aussagekräftig. Studien können unterschiedliche Ergebnisse finden: Eine Feldstudie zu Coding-Assistenten in drei Unternehmen berichtete im kombinierten Ergebnis mehr erledigte Aufgaben; eine METR-Studie mit erfahrenen Open-Source-Entwicklern fand für die dort getesteten Aufgaben eine längere Bearbeitungszeit. Die Befunde sind auf die untersuchten Kontexte begrenzt und keine Prognose für andere Tätigkeiten. (Cui et al., Management Science; Becker et al., METR)

Automatisierungsgrad: Klären Sie, welche Teilschritte unterstützt oder automatisiert werden sollen, welche Ausnahmen auftreten und welche menschliche Prüfung erforderlich ist. Ein allgemeingültiger Prozentwert für den verbleibenden manuellen Aufwand lässt sich nicht angeben.

Zeitrahmen: Ein belastbarer Zeitplan hängt unter anderem von Umfang, Integration, Datenzugang, Prüfanforderungen und Entscheidungswegen ab. Schätzen Sie diese Arbeitspakete für den konkreten Fall, statt einen pauschalen Zeitraum zu übernehmen.

Ressourcenbedarf: Klären Sie, welche Betriebs-, Support-, Prüf- und Aktualisierungsaufgaben für das konkrete System anfallen. Umfang und Frequenz sollten in Planung und Kostenmodell einfließen.

Wenn Annahmen zu Aufwand oder Nutzen nicht überprüft werden, können Budget- und Zeitplanung danebenliegen. Für die Entscheidung sollten Annahmen und Unsicherheiten sichtbar bleiben.

Der Unterschied zwischen Demonstration und Produktivbetrieb

Eine Demo und der eigene Betrieb unterscheiden sich möglicherweise in Aufgabe, Daten, Nutzern, Systemumgebung und Unterstützung. Prüfen Sie diese Unterschiede, anstatt pauschal eine Übertragbarkeit oder Nichtübertragbarkeit anzunehmen.

Eine Demonstration kann vorbereitete Daten verwenden. Erfragen Sie, wie diese Daten ausgewählt wurden und wie sich fehlende oder abweichende Eingaben auf die Ergebnisse auswirken. Im eigenen Prozess sollten repräsentative Daten und relevante Ausnahmen geprüft werden.

Demonstrationen zeigen typischerweise ausgewählte Abläufe. Testen Sie ergänzend Aufgaben und Randfälle, die im eigenen Prozess vorkommen, und dokumentieren Sie, für welche Fälle das System nicht geeignet ist.

Klären Sie, welche Unterstützung in der Demonstration bereitgestellt wurde und wie Support, Schulung und Rückmeldungen im vorgesehenen Betrieb organisiert werden sollen.

Prüfen Sie, welche Änderungen an Daten, Software, Prozessen oder Anforderungen die Ergebnisse beeinflussen könnten und wer solche Änderungen bewertet.

Integration kann technischen und organisatorischen Aufwand verursachen; welcher Anteil überwiegt, unterscheidet sich je nach Vorhaben. Planen Sie daher Systemanbindung und Einbettung in den Arbeitsablauf getrennt.

Folgen unrealistischer Erwartungen

Nicht geprüfte Erwartungen können die Projektplanung und Bewertung erschweren, auch wenn das System technisch funktioniert.

Abweichung vom Zielwert: Ein hypothetisches Projekt verbessert eine zuvor definierte Kennzahl, verfehlt aber den Zielwert. Ob der Einsatz dennoch sinnvoll ist, hängt unter anderem von Kosten, Risiken und weiteren Ergebnissen ab; die Bewertung sollte nicht allein am ursprünglichen Prozentziel hängen.

Unvollständige Planung: Wenn Nutzen, Aufwand und Unsicherheit nicht gemeinsam betrachtet werden, kann die Budgetierung auf einer unvollständigen Grundlage beruhen. Szenarien und dokumentierte Annahmen helfen, mögliche Ergebnisse einzubeziehen.

Akzeptanz: Wiederholte Abweichungen zwischen Erwartung und Ergebnis können die interne Akzeptanz beeinflussen. Ob und wie stark das geschieht, hängt vom Umgang mit Ergebnissen und den jeweiligen Projekten ab.

Unterschiedliche Bewertungen: Abweichende Ziele können zu abweichenden Erfolgsurteilen führen. Eine gemeinsame Definition relevanter Ergebnisse und Grenzen erleichtert die Diskussion.

Diese möglichen Folgen hängen davon ab, wie Annahmen erhoben und Entscheidungen getroffen werden; sie treten nicht zwangsläufig bei jedem Vorhaben auf.

KI-Erwartungen realistisch kalibrieren

Erwartungen lassen sich strukturierter bewerten, wenn Annahmen, Quellen und Unsicherheiten offengelegt werden.

Herkunft der Zahlen prüfen: Welche Aufgabe, Vergleichsbedingung, Messgröße und Population wurden untersucht? Ein ähnlicher Kontext kann die Übertragbarkeit stützen, belegt sie aber nicht automatisch.

Voraussetzungen abgleichen: Welche Bedingungen galten in Referenzfällen, etwa Datenzugang, Prozessgestaltung, Toolversion, Nutzererfahrung und Unterstützung? Vergleichen Sie diese mit dem geplanten Einsatz und notieren Sie offene Punkte.

Zeitrahmen einschätzen: Schätzen Sie Zeiträume anhand konkreter Aufgaben wie Datenprüfung, Prozessklärung, Integration, Tests und Freigaben. Die benötigte Zeit ist projektabhängig.

Restaufwand einkalkulieren: Erfassen Sie, welche Teilschritte weiterhin menschliche Prüfung, Korrektur oder Eskalation benötigen. Bewerten Sie den Aufwand zusammen mit möglichen Qualitäts- und Risikoveränderungen.

Abhängigkeiten verstehen: Notieren Sie Abhängigkeiten wie Daten, Schnittstellen, Arbeitsabläufe und Zuständigkeiten. Wie stark sie den Aufwand beeinflussen, muss für den Anwendungsfall geprüft werden.

Diese Prüfung kann Annahmen nachvollziehbarer machen und offene Fragen für eine Entscheidung sichtbar halten.

KI-Erwartungen realistisch einordnen

KI-Erwartungen beruhen auf unterschiedlichen Informationen, etwa Anbieterangaben, Studien, Fallbeispielen und internen Schätzungen. Deren Bedingungen und Grenzen sollten transparent dokumentiert werden.

Wenn diese Quellen ohne Kontext übertragen werden, kann die Entscheidungsgrundlage unvollständig sein. Prognosen sollten deshalb als Annahmen gekennzeichnet und bei Bedarf überprüft werden.

Eine praktikable Einordnung prüft Herkunft und Übertragbarkeit von Zahlen, vergleicht Voraussetzungen, schätzt konkrete Arbeitspakete und berücksichtigt verbleibenden Prüfaufwand.

Eine dokumentierte Prüfung vor der Ressourcenbindung unterstützt eine nachvollziehbare Entscheidung, garantiert allerdings kein bestimmtes Projektergebnis.

Fazit

Erwartungen sollten nicht als Prognose behandelt werden, solange Belege, Bedingungen und Unsicherheiten ungeprüft sind. Dafür braucht es keine pauschale Skepsis, sondern eine Bewertung am eigenen Anwendungsfall.

Eine dokumentierte Prüfung vor der Ressourcenbindung unterstützt eine nachvollziehbare Entscheidung; sie garantiert allerdings kein bestimmtes Projektergebnis.