KI & Agenten
Ein Multi-Agenten-System auf eigener Hardware – Modelle, Gedächtnis, Jobs.
Viele Unternehmen wollen KI-Agenten einsetzen, ohne Kundendaten an fremde APIs zu schicken. Diese Plattform ist meine Antwort im eigenen Betrieb: Sie läuft auf einer NVIDIA DGX Spark (Grace Blackwell, 128 GB Unified Memory) und einem kleineren zweiten GPU-System. vLLM liefert Open-Weight-Modelle in NVFP4 aus – ein Mixture-of-Experts-Modell als Arbeitspferd, ein kleines Modell für schnelle Klassifikation und bge-m3 für Embeddings.
Alles läuft über ein LiteLLM-Gateway mit Rollen-Aliasen (Arbeit, Agenten-Loops mit Thinking, Vision, Embeddings). Jeder Aufrufer hat einen eigenen Schlüssel, damit Last und Kosten pro Workload messbar sind. Frontier-Modelle kommen nur als unabhängige Gutachter zum Einsatz, hinter einem Datenschutz-Zaun.
Die Agenten bauen auf dem Open-Source-Framework Hermes auf, mit Rollenprofilen für Projektleitung, Umsetzung, Review und Betrieb. Ein Kanban-Board steuert den Ablauf von „todo“ bis „done“; geplante Jobs und Skripte ohne LLM erledigen Veröffentlichungen und Datenpflege. Ein gemeinsames Langzeitgedächtnis auf Postgres/pgvector bedient alle Profile – jeder Aufrufer sieht nur, was seine Berechtigung erlaubt, und fällt der Dienst aus, arbeitet der Agent ohne ihn weiter.
Sicherheit ist eingebaut, nicht angeflanscht: Prompt-Injection-Prüfung für abgerufene Inhalte, Laufzeit-Beobachtung jedes Agentenlaufs, ein einziger Schreiber pro Zustands-Ledger und Freigaben vor jeder Veröffentlichung. Jede Überwachung wird getestet, indem der Fehler einmal absichtlich herbeigeführt wird.
Architektur
Findet die Ideen, die in Coding-Agent-Sessions liegen geblieben sind.
Liest Session-Logs von Claude Code, Codex, Gemini CLI, Cline und Hermes über mehrere Rechner und verfolgt jede Idee, bis sie umgesetzt, verworfen oder eingeschlafen ist. Auf den eigenen Rechnern: 297 Sessions, 1.228 Ideen, 506 davon noch offen.
Jeden Agentenlauf Call für Call sehen – und den stoppen, der loopt.
Führt Session-Stores, Agenten-Logs, LiteLLM-Spend-Logs und Cron-Ausführungen zusammen und erkennt Schleifen, Ausreißer und stille Modell-Fallbacks im Vergleich zu den normalen Läufen eines Jobs. Auslöser: zwei Läufe, die drei Stunden loopten und als „erledigt“ galten.
Sehen und kuratieren, was das Gedächtnis eines Agenten speichert.
Lokale Web-Oberfläche und Dashboard-Plugin zum Durchsuchen und Löschen von Einträgen im Honcho-Agentengedächtnis. Anlass: Der Speicher war auf rund 9.000 Schlussfolgerungen gewachsen, bevor sie jemand angesehen hatte.