IA y agentes
Un sistema multiagente en hardware propio: modelos, memoria, tareas.
Muchas empresas quieren agentes de IA sin enviar datos de clientes a la API de otro. Esta plataforma es mi respuesta en mi propia operación: funciona en una NVIDIA DGX Spark (Grace Blackwell, 128 GB de memoria unificada) y un segundo equipo GPU más pequeño. vLLM sirve modelos abiertos en NVFP4: un modelo mixture-of-experts como caballo de batalla, un modelo pequeño para clasificar rápido y bge-m3 para embeddings.
Todo pasa por una pasarela LiteLLM con alias por rol (trabajo, bucles de agentes con razonamiento, visión, embeddings). Cada cliente tiene su propia clave, de modo que consumo y coste se miden por carga de trabajo. Los modelos frontera solo actúan como revisores independientes, tras una barrera de privacidad.
Los agentes se basan en el framework de código abierto Hermes, con perfiles para dirección de proyecto, desarrollo, revisión y operación. Un tablero kanban lleva el trabajo de «todo» a «done»; tareas programadas y scripts sin LLM se ocupan de publicar y mantener datos. Una memoria compartida a largo plazo en Postgres/pgvector sirve a todos los perfiles: cada cliente solo ve lo que sus permisos permiten y, si el servicio cae, el agente sigue sin él.
La seguridad viene de serie, no añadida después: control de prompt injection en el contenido obtenido, observabilidad de cada ejecución de agente, un único escritor por registro de estado y aprobación antes de publicar. Cada vigilancia se prueba provocando a propósito el fallo que debe detectar.
Arquitectura
Encuentra las ideas olvidadas en sesiones con agentes de programación.
Lee los registros de sesión de Claude Code, Codex, Gemini CLI, Cline y Hermes en varias máquinas y sigue cada idea hasta que se publica, se descarta o se olvida. En las máquinas del autor: 297 sesiones, 1.228 ideas, 506 aún abiertas.
Ver cada ejecución de agente llamada a llamada y parar la que entra en bucle.
Une almacenes de sesiones, registros de agentes, gastos de LiteLLM y ejecuciones cron, y detecta bucles, desbordes y cambios silenciosos de modelo frente a las ejecuciones normales de cada tarea. Nació de dos ejecuciones que estuvieron tres horas en bucle mientras figuraban como «completadas».
Ver y depurar lo que guarda la memoria de un agente.
Interfaz web local y plugin de panel para explorar, buscar y borrar entradas de la memoria de agentes Honcho. Surgió de un almacén que había crecido a unas 9.000 conclusiones antes de que nadie lo revisara.