Die Auswahl des Modells wird oft nach Gefühl entschieden: das bekannteste, das teuerste oder das, das gerade in einem Vergleich auftaucht. Im Betrieb entscheidet aber nicht das Modell über den Nutzen, sondern die Frage, ob es die eigenen Aufgaben zuverlässig löst und was ein einzelner Vorgang kostet.
So arbeite ich: mit Quelle · mit Freigabe · in Ihrem System.
Ausgangslage
Ein Betrieb sammelt Anwendungsfälle: Angebotstexte prüfen, Belege klassifizieren, Fragen an die Projektdokumentation beantworten, E-Mails vorsortieren. Für jeden Fall gibt es Kandidaten, lokal oder in der Cloud. Die Anbieter versprechen ähnliche Fähigkeiten. Was fehlt, ist eine Prüfung an den echten Fällen.
Was ich mache
Ich baue mit Ihnen einen Testkatalog aus echten Fachfragen des Betriebs. Keine generischen Beispiele, sondern Aufgaben aus dem Alltag, mit erwarteten Antworten und einer klaren Bewertungsregel. Der Katalog bleibt im Haus und wächst mit.
Dann prüfe ich die Kandidaten gegen diesen Katalog und messe vier Dinge: Trefferquote, Kosten je Vorgang, Datenschutz und Ausfallrisiko. Bei lokalen Modellen kommt die Hardware dazu, bei Cloud-Modellen die Frage, wo die Daten liegen und was passiert, wenn der Anbieter den Dienst ändert.
Aus den Ergebnissen entsteht eine Entscheidungsvorlage mit Zahlen, eine Prompt-Bibliothek für die wichtigsten Fälle und ein Plan, wie ein Wechsel später aussieht. Ein Modell ist keine Ehe; der Wechsel muss vorbereitet sein.
Ergebnis
Sie erhalten eine Entscheidungsvorlage mit Testergebnissen und Kostenrechnung, eine Prompt-Bibliothek und einen Wechselplan. Die Unterlagen zeigen auch, welche Fälle ein Modell nicht zuverlässig löst und deshalb beim Menschen bleiben.
Beispiel
Im eigenen Agenten habe ich Modelle gewechselt, als ein lokales Modell bei gleicher Aufgabe deutlich schneller wurde; wie dieser Wechsel abläuft, steht im Artikel OpenClaw: lokaler Agent ohne Cloud. Bei einem Herstellereinsatz gehörte ein Testkatalog aus Fachfragen zum Auftrag; der Einsatz ist anonym, die Zahlen daraus bleiben intern und erscheinen nicht auf dieser Seite. Wie sich Tokenkosten zusammensetzen und warum die Rechnung des Anbieters nicht immer stimmt, steht im Artikel KI-Tokenomics.
Grenze
Eine Messung ist eine Momentaufnahme. Modelle werden aktualisiert, Preise ändern sich, die eigenen Fragen bleiben. Deshalb ist der Testkatalog das dauerhafte Gut, nicht das Ergebnis von heute. Einen Vergleich mit namentlich genannten Herstellerprodukten veröffentliche ich nicht; intern ist er möglich.
Ihr Aufwand: Sie stellen die Fachfragen und sagen, welche Antwort als richtig gilt. Diese Arbeit lässt sich nicht abkürzen, weil ein Testkatalog aus meinen Beispielen nichts über Ihren Betrieb aussagt.
Ablauf
- Anwendungsfälle sammeln und nach Häufigkeit und Risiko ordnen
- Testkatalog mit erwarteten Antworten und Bewertungsregel bauen
- Kandidaten messen, Kosten je Vorgang rechnen
- Entscheidungsvorlage und Prompt-Bibliothek übergeben
- Wechselplan und Prüfroutine für spätere Updates festlegen
Häufige Fragen
Wie viele Fragen braucht ein Testkatalog?
So viele, dass jedes Anwendungsgebiet mit häufigen und mit schwierigen Fällen vertreten ist. Die Zahl folgt daraus, nicht aus einer Vorgabe: Ein Gebiet mit wenigen Ausnahmen braucht weniger Fälle als eines mit vielen Randfällen.
Lohnt sich ein lokales Modell?
Wenn die Daten das Haus nicht verlassen sollen oder die Stückkosten niedrig bleiben müssen. Bei komplexen Texten ist ein Cloud-Modell oft stärker. Die Prüfung zeigt, ob der Unterschied für Ihre Aufgabe relevant ist.
Wer pflegt den Testkatalog?
Ihr Fachbereich, mit einer kurzen Einweisung. Neue Fälle kommen aus dem Betrieb, nicht aus einer Marketingliste.
Kann ich das Modell später wechseln?
Ja, wenn die Schnittstelle sauber gekapselt ist und der Testkatalog bleibt. Beides gehört zum Ergebnis.