Evaluación del aislamiento de memoria de largo plazo en agentes conversacionales multi-tenant

1. Pregunta de investigación

¿Puede un agente conversacional multi-tenant recuperar hechos persistentes de cada usuario sin filtrar información entre tenants y respetando un objetivo explícito de latencia?

2. Sistema bajo estudio

Un runtime conectado a WhatsApp construido con FastAPI, LangGraph, checkpointer en PostgreSQL, Mem0 sobre pgvector, Neo4j GraphRAG, coordinación de jobs en Convex, generación con Gemini o Vertex y trazas en Langfuse. La precedencia documentada es evidencia del grafo, luego memoria de largo plazo y finalmente estado del hilo.

3. Método

1. Crear dos tenants sintéticos con hechos mutuamente excluyentes sobre color, alergia y empleador.
2. Registrar tres memorias por tenant y ejecutar seis consultas de recuperación en hilos aislados.
3. Usar términos obligatorios y prohibidos para puntuar recuperación y detectar filtraciones entre tenants.
4. Reportar exactitud, latencia promedio, p50, p95, latencia máxima y proporción debajo del objetivo.
5. Evaluar contra objetivos declarados de 0,86 de exactitud y 700 ms de latencia p95.

4. Evidencia actual

1. Un runner versionado calcula verificaciones léxicas deterministas y percentiles de latencia.
2. Un dataset JSON de seis casos separa recuperación correcta de filtración entre tenants.
3. Los tests unitarios cubren respuestas esperadas, filtraciones, hechos faltantes y cálculo de percentiles.
4. El README documenta el comando de evaluación desplegado y la arquitectura productiva bajo prueba.

5. Limitaciones

1. El dataset contiene solo seis casos sintéticos y no permite una afirmación general de calidad.
2. La coincidencia léxica no mide corrección semántica más allá de los términos esperados.
3. El repositorio fuente es privado y todavía no se publicó el JSON público de resultados.
4. No existe aún un baseline ni una ablación que aísle estado del hilo, memoria vectorial y recuperación por grafo.

6. Próximo experimento

1. Ampliar el benchmark con paráfrasis, contradicciones, recuperación diferida, borrado y consultas adversariales de filtración.
2. Ejecutar ablaciones con solo hilo, solo vectores, solo grafo y recuperación combinada.
3. Publicar dataset anonimizado, manifiesto del entorno, resultados crudos y mediciones de costo.
4. Agregar revisión semántica humana junto con las verificaciones deterministas.

7. Fuentes y reproducibilidad

1. Repositorio privado de implementación, revisión registrada arriba

Revisión fuente: 1470f8f17163cd87538c5e12ae621658bd46afe3