KI-Tools vergleichen: Bedarf und Kriterien zuerst klären

Tool-Auswahl als Ausgangspunkt

Eine Organisation kann mit der Frage starten, welches KI-Tool am besten geeignet sei. Ein Vergleich von Produkten und Funktionen hilft jedoch erst dann bei einer Entscheidung, wenn klar ist, für welche Aufgaben und unter welchen Bedingungen das Werkzeug genutzt werden soll.

Ein erster Vergleich oder eine Demonstration kann eine Hypothese prüfen. Dabei können weitere Anforderungen sichtbar werden, die anschließend in den Vergleich einfließen.

Der Zeitpunkt und die Fragestellung beeinflussen, welche Vergleichsergebnisse nützlich sind.

Warum die Tool-Frage so früh auftaucht

Wenn Unternehmen KI erwägen, sind Produkte und konkrete Demonstrationen leicht zu besprechen. Dadurch kann der Blick zunächst auf Funktionen und Preise fallen.

Ein Test oder eine Demo kann helfen, Funktionen zu erkunden. Ihre Aussagekraft hängt aber von Aufgabe, Daten, Konfiguration und Testbedingungen ab. Klären Sie, welche offene Frage der Test beantworten soll.

Verbinden Sie daher Produktprüfung mit dem konkreten Bedarf: Welche Aufgabe soll unterstützt werden, welche Kriterien gelten und welche Alternativen stehen zur Verfügung?

Mögliche Risiken bei der Tool-Auswahl

Wenn Funktionen verglichen werden, bevor der Bedarf hinreichend beschrieben ist, können folgende Risiken entstehen:

Lösungen suchen Probleme. Ein bereits gewähltes Produkt kann dazu verleiten, vorrangig passende Anwendungsfälle zu prüfen. Dokumentieren Sie deshalb auch den Ausgangsbedarf und erwägen Sie andere Maßnahmen.

Anforderungen werden nachträglich angepasst. Wenn Anforderungen an ein ausgewähltes Produkt angepasst werden, sollte geprüft werden, ob dadurch wichtige Ziele oder Qualitätsmerkmale verloren gehen.

Abhängigkeiten entstehen unbemerkt. Abhängigkeiten können etwa durch Formate, Schnittstellen und angepasste Abläufe entstehen. Ihre Wechselkosten sollten anhand des konkreten Produkts, Vertrags und Einsatzes beurteilt werden.

Bewertungen bleiben oberflächlich. Ohne festgelegte Kriterien kann der Vergleich stark auf leicht verfügbare Produktinformationen wie Funktionsumfang oder Benchmarks ausgerichtet sein. Bewerten Sie, ob diese Angaben Ihre Anforderungen und Einsatzbedingungen abdecken.

Der Kern des Problems: Fehlende Entscheidungsgrundlagen

Eine strukturierte Grundlage kann Technologieentscheidungen nachvollziehbarer machen. Sie umfasst den Bedarf, Kriterien, Alternativen und relevante Einsatzbedingungen.

Eine solche Grundlage würde klären:

• Welche konkreten Probleme soll KI lösen, und warum gerade diese?
• Welche Daten stehen zur Verfügung, in welcher Qualität, mit welchen Zugriffsrechten?
• Welche internen Kompetenzen existieren für Betrieb und Weiterentwicklung?
• Welche Abhängigkeiten sind akzeptabel, welche nicht?
• Was passiert, wenn der gewählte Anbieter seine Preise ändert, Funktionen einstellt oder vom Markt verschwindet?

Diese Fragen lassen sich im Verlauf präzisieren. Ein Tool-Vergleich wird nachvollziehbarer, wenn dokumentiert ist, welche Anforderungen bekannt sind und welche Annahmen noch geprüft werden müssen.

Was ein KI-Tools-Vergleich leisten kann - und was nicht

Ein Vergleich von KI-Tools kann Marktoptionen, Preise und technische Möglichkeiten einordnen, sofern die verglichenen Angaben zu den eigenen Kriterien passen.

Ein Produktvergleich ersetzt keine Entscheidung darüber, ob KI oder eine andere Maßnahme den Bedarf geeignet adressiert.

Die Frage „Welches LLM passt zu unserem Vorhaben?“ hängt unter anderem von Aufgabe, Daten, Integration, Betreuung und Risiken ab.

Wer ChatGPT im Unternehmen einsetzen möchte, steht vor anderen Fragen als jemand, der eine eigene Anwendung auf Basis eines Sprachmodells entwickeln will. Und beide Szenarien erfordern unterschiedliche Bewertungskriterien.

Make-or-Buy bei KI: Keine einfache Rechnung

Eine wichtige Frage neben dem Produktvergleich ist die Wahl zwischen Kauf, Anpassung und Eigenentwicklung.

Standardlösungen können den Einstieg erleichtern, bringen aber eigene Lizenz-, Integrations- und Betriebsbedingungen mit. Ihre Eignung für einen generischen oder spezifischen Anwendungsfall sollte geprüft werden.

Eigenentwicklung oder Anpassung können zusätzliche Ressourcen für Entwicklung, Evaluation und Betrieb erfordern. Ob sie einen ausreichenden Mehrwert gegenüber Standardprodukten bringen, hängt vom Bedarf und den verfügbaren Kompetenzen ab.

Make-or-Buy kann bereits früh als offene Entscheidungsfrage geführt und mit neuen Erkenntnissen überprüft werden. Dafür sollten Bedarf, Anforderungen, Kosten und Fähigkeiten berücksichtigt werden.

Prüfpunkte für einen nachvollziehbaren Vergleich

Eine sinnvolle Auswahl verbindet Bedarf, Anforderungen und technische Prüfung. Die einzelnen Schritte können iterativ stattfinden; ein Test kann beispielsweise offene Anforderungen sichtbar machen. Der NIST AI RMF beschreibt seine Funktionen als kontextbezogen und nicht als vorgeschriebene Reihenfolge (NIST AI RMF Core).

Bedarf und Alternativen. Welche geschäftliche Herausforderung soll bearbeitet werden? Prüfen Sie, ob KI gegenüber anderen Maßnahmen einen geeigneten Beitrag leisten könnte. Eine vorgelagerte Klärung des Anliegens beschreibt der Beitrag den betrieblichen Bedarf vor der Lösung bestimmen. Auch der AI Playbook der britischen Regierung empfiehlt, bei Geschäfts- und Nutzerbedürfnissen anzusetzen und die Eignung von KI im Kontext zu prüfen.

Ausgangslage. Welche Daten, Systeme, Kompetenzen und Prozesse sind vorhanden? Halten Sie Annahmen fest und prüfen Sie, was sich vor einem möglichen Betrieb noch ändern müsste.

Anforderungen. Was muss eine Lösung leisten? Welche Qualität, Integration, Datenkontrollen und betrieblichen Voraussetzungen sind relevant? Anwendbare Datenschutz- und sonstige Pflichten sind je nach Nutzung zu prüfen.

Optionenbewertung. Vergleichen Sie konkrete Lösungswege einschließlich bestehender Verfahren und Make-or-Buy-Varianten anhand Ihrer Kriterien. Allgemeine Produktmerkmale sollten auf ihren Bezug zu den Anforderungen geprüft werden.

Technologieauswahl und erneute Prüfung. Wählen Sie eine geeignete Option für den nächsten Schritt. Erkenntnisse aus Tests oder einem begrenzten Einsatz können Bedarf, Kriterien und Auswahl verändern.

Was das für laufende Initiativen bedeutet

Wenn in Ihrem Unternehmen bereits ein Tool im Einsatz ist oder ein Pilotprojekt läuft, bedeutet das nicht, dass alles von vorn beginnen muss. Aber es lohnt sich zu prüfen:

• Ist dokumentiert, auf Basis welcher Kriterien die aktuelle Lösung gewählt wurde?
• Existiert eine unabhängige Beschreibung der Anforderungen, die auch bei einem Anbieterwechsel gültig wäre?
• Sind Abhängigkeiten identifiziert und bewusst akzeptiert?

Falls nicht, kann eine nachträgliche Strukturierung helfen, spätere Entscheidungen auf eine solidere Grundlage zu stellen.

Auswahlentscheidungen mit Kriterien treffen

Die Frage nach dem richtigen KI-Tool ist berechtigt. Ihre Beantwortung hängt von Bedarf, Kriterien und Einsatzbedingungen ab.

Wenn Sie Anforderungen und offene Annahmen dokumentieren, können Sie Technologieentscheidungen nachvollziehbar treffen und sie bei neuen Erkenntnissen überprüfen.

Eine strukturierte Entscheidungsgrundlage macht Abhängigkeiten und Annahmen sichtbarer und unterstützt den Vergleich über einzelne Anbieter und wechselnde Produktfunktionen hinweg.

Fazit

Ein Produktvergleich kann früh Erkenntnisse liefern. Wenn Bedarf und Kriterien festgehalten werden, lässt sich prüfen, ob diese Erkenntnisse zur eigenen Nutzung passen.

Bedarf, Kriterien und offene Annahmen bilden eine Grundlage für die Auswahl. Sie können während Tests und späterer Nutzung aktualisiert werden, wenn sich Markt, Anforderungen oder Rahmenbedingungen ändern.