Der Server steht im Nebenraum, die GPU-Lüfter laufen, und im Projektbüro fragt jemand zum dritten Mal, ob die Belege wirklich dieses Haus nicht verlassen. Ein lokales Modell ist keine Diät-Version der Cloud. Für viele Aufgaben im Betrieb ist es die passendere Wahl, weil die Daten im Haus bleiben und die Kosten planbar sind. Es ist aber auch kein Selbstläufer: Hardware, Updates und Qualitätsprüfung gehören dazu.
So arbeite ich: mit Quelle · mit Freigabe · in Ihrem System.
Ausgangslage
Die Gründe für lokalen Betrieb sind meist dieselben: Kundendaten, Personalakten oder Konstruktionsunterlagen sollen das Haus nicht verlassen. Oder die Cloud-Kosten pro Vorgang sind bei hoher Nutzung nicht tragbar. Manchmal ist auch die Verbindung zum Internet der Engpass. In allen drei Fällen ist die Frage nicht „lokales Modell ja oder nein“, sondern welche Aufgabe lokal laufen muss und welche nicht.
Was ich mache
Ich kläre zuerst, welche Aufgaben das Modell lösen soll und welche Qualität dafür nötig ist. Danach die Hardware: Eine einzelne GPU trägt einen Assistenten mit Quellen und die Klassifikation. Für große Modelle mit langen Kontexten wird es teurer, und irgendwann ist die Rechnung ehrlicher als die Cloud.
Dann richte ich den Dienst ein: Modellserver, Anbindung, Rechte, Monitoring, Update-Pfad. Wo es sinnvoll ist, läuft alles in Containern, damit ein Update nicht das ganze System mitnimmt. Der Dienst bekommt eine private Anbindung, keine öffentliche Adresse.
Zur Anbindung gehört die Rückfalllogik. Fällt das Modell aus, muss die Anwendung weiterarbeiten: bei Textaufgaben mit einer regelbasierten Verarbeitung, bei Fragen mit einer gekennzeichneten Textsuche. Ein stiller Ausfall, der plausible Antworten erfindet, wäre schlimmer als eine sichtbare Lücke.
Zur Übergabe gehört ein Betriebskonzept: Wer startet den Dienst neu, wie wird ein Modellwechsel geprüft, was passiert bei Ausfall. Ein lokales System ohne diese Antworten ist ein Experiment.
Ergebnis
Sie erhalten einen laufenden lokalen KI-Dienst, angebunden an die vorgesehenen Systeme, dazu ein Update- und Betriebskonzept und die festgelegte Rückfalllogik. Auf Wunsch mit einem Testkatalog, der den Modellwechsel später absichert.
Beispiel
Drei laufende Systeme, alle ohne öffentliche Modell-API:
Mein eigener Agent arbeitet lokal und kommt ohne Cloud aus; die Entscheidungen dazu stehen im Artikel OpenClaw. Der Wissensassistent läuft als eigenständiges Paket auf eigener GPU, privat angebunden, und beantwortet Fragen aus einem versionierten Wissens-Vault. Im eigenen ERP arbeitet ein lokales Modell an Beleg- und Textaufgaben; fehlt der Dienst, greift eine regelbasierte Verarbeitung, damit die Belegerfassung nicht stehen bleibt.
Alle drei sind Eigenprojekte, kein Kundenauftrag. Sie zeigen, dass der Betrieb funktioniert, nicht wie er bei Ihnen aussehen wird.
Grenze
Lokale Modelle sind bei komplexen Texten und seltenen Fachfragen oft schwächer als die größten Cloud-Modelle. Die Hardware kostet einmalig und braucht Strom, Kühlung und jemanden, der sie wartet. Ein SLA für Verfügbarkeit gebe ich für diesen Betrieb nicht ab; das ist eine Entscheidung für den Kunden.
Die zweite Grenze ist die Geschwindigkeit. Ein Modell auf einer einzelnen GPU beantwortet Anfragen langsamer als ein Cloud-Dienst mit vielen Maschinen dahinter. Für einen Assistenten im Projektalltag reicht das, für einen Chat mit vielen parallelen Nutzern wird es zur Geduldsfrage und damit zur Kapazitätsplanung.
Ablauf
- Aufgaben und Qualitätsanspruch klären
- Hardware und Modell auswählen, Kosten vergleichen
- Dienst einrichten, privat anbinden, Rechte setzen
- Testfragen aus dem Betrieb, Abgleich mit Cloud-Kandidaten
- Rückfalllogik festlegen, Betriebskonzept und Übergabe
Häufige Fragen
Welche Hardware brauche ich?
Für einen Assistenten mit Quellen und mittlere Modelle reicht meist eine GPU mit ausreichend Speicher. Die genaue Größe hängt vom Modell und vom Kontext ab und wird vor dem Kauf gerechnet.
Ist die Qualität gut genug?
Für Klassifikation, Zusammenfassungen und Fragen an eigene Dokumente oft ja. Für schwierige Fachtexte muss man messen. Der Testkatalog zeigt den Unterschied, bevor entschieden wird.
Was passiert bei einem Ausfall?
Der Dienst fällt aus, die Anwendung läuft weiter und meldet „unbekannt“ oder nutzt eine regelbasierte Rückfalllogik. Ein stiller Fehler wäre schlimmer als eine sichtbare Lücke.
Kann ich später in die Cloud wechseln?
Ja, wenn die Anbindung gekapselt ist. Der Wechsel ist dann eine Konfigurationsfrage und keine Neuentwicklung. Umgekehrt gilt dasselbe: Wer mit der Cloud beginnt, kann später einzelne Aufgaben lokal herausziehen.