Von der Testumgebung zur Infrastruktur
Aus der KI-Testumgebung wurde ein eigenes lokales KI-Labor: Inferenz, Anwendungsebene und Agenten-Testumgebung haben getrennte Zuständigkeiten. Das Ziel ist ein System, das ich untersuchen und wiederherstellen kann, während private Daten unter meiner Kontrolle bleiben.
Open WebUI stellt die Chat-Oberfläche bereit. LiteLLM dient als Gateway. Ollama übernimmt die lokale Inferenz. Die Wissensebene indexiert ausgewählte Labordokumentation, damit Antworten auf Material verweisen können, das ich tatsächlich pflege.
Grenzen, die sich lohnen
- Die GPU-Inferenz ist von Chat- und Datenbankdiensten getrennt.
- Die Agenten-Testumgebung stellt ausschließlich lesende Infrastrukturwerkzeuge bereit.
- Ein separater, regelbasierter Bereinigungsschritt bereitet Diagnosetexte für externe Unterstützung vor.
- Traces und Evaluation gehören zum Modell, damit eine plausible Antwort nicht mit einer überprüften verwechselt wird.
Der unspektakuläre Teil
GPU-Passthrough war bisher die am stärksten hardwarebedingte Fehlerquelle. Das Gastsystem kann nicht mehr reagieren, während die Virtualisierungsoberfläche weiterhin eine laufende Maschine anzeigt. Die Wiederherstellung des Modelldienstes wird dann zum Hardwareproblem, nicht zum Prompt-Problem.
Auch das kleine lokale Modell hat Grenzen. Es kann eine eng gefasste Frage gut beantworten und trotzdem das falsche Werkzeug auswählen, wenn mehrere angeboten werden. Werkzeugzugriff, guter Wissensabruf und gutes Urteilsvermögen sind unterschiedliche Dinge.
Als Nächstes auf der Werkbank
Besser wiederholbare Evaluationen, besseres Modell-Routing und klar begrenzte Beobachtbarkeit. Dies ist ein persönliches Experiment in aktiver Entwicklung, keine Behauptung, es sei für fremde Daten produktionsreif.