Infraestructura automatizada de trazado de LLM para el desarrollo de agentes de IA
Public- 09 Nov, 2026

La introducción de agentes de IA suele provocar un cuello de botella crítico: la ausencia de una base estructurada para recopilar los historiales de ejecución necesarios para la evaluación y la mejora. Los ingenieros de despliegue (FDE) de AI Shift, filial de CyberAgent, se enfrentan a este problema a diario al crear diversas aplicaciones de IA para clientes. Su misión es maximizar el valor integrándose a fondo en los flujos de trabajo de los clientes, pero la prioridad de añadir instrumentación de observabilidad suele ser baja. Dado que las aplicaciones funcionan correctamente sin trazado, y que decidir cómo instrumentar cada componente es complejo, los FDE suelen aplazar esta tarea. Este retraso dificulta evaluar la calidad de los resultados y demostrar a los clientes la rentabilidad, lo que crea una brecha entre el desarrollo rápido y la supervisión operativa necesaria.

Para resolver este problema, el equipo desarrolló una arquitectura de trazado de dos capas que equilibra la automatización y el contexto de negocio. La primera capa utiliza un LLM Gateway, en concreto Agent Router (antes Envoy AI Gateway), para capturar telemetría a nivel de infraestructura. Al enrutar todas las llamadas a LLM a través de esta pasarela, el sistema registra automáticamente las entradas, las salidas, los nombres de los modelos y el número de tokens. Estos datos se envían mediante OpenTelemetry a un recolector y después se filtran para que a Langfuse, una plataforma de ingeniería de LLM, lleguen solo las trazas relacionadas con LLM. Este enfoque libera a los FDE de la carga de tomar decisiones: no necesitan decidir manualmente si instrumentar cada llamada a LLM, ya que la pasarela lo hace de forma automática a nivel de infraestructura.

Sin embargo, el LLM Gateway por sí solo no puede capturar la semántica específica del negocio ni mantener el contexto en flujos de trabajo complejos. Sin propagación de contexto a nivel de aplicación, la pasarela genera trazas independientes y superficiales para cada llamada al LLM, lo que dificulta el análisis. Para resolverlo, el equipo desarrolló un Tracing SDK propio. Este SDK no se utiliza para instrumentar las llamadas al LLM en sí, que siguen siendo responsabilidad de la pasarela, sino para adjuntar metadatos de negocio. Permite a los desarrolladores definir trazas con entradas específicas, identificadores de usuario e identificadores de sesión, lo que proporciona una jerarquía clara de operaciones. Por ejemplo, una traza puede abarcar un proceso de "revisión", vinculando el contexto del usuario y el propósito concreto de la llamada al LLM, como una comprobación de guardarraíles o una evaluación, con el resultado obtenido.

Para reducir aún más la carga de desarrollo, el equipo creó un AI Skill que permite a los asistentes de programación insertar automáticamente la instrumentación necesaria del Tracing SDK. Esta automatización garantiza que, incluso cuando el desarrollo se acelera con la ayuda de la IA, el código de observabilidad requerido se aplique de forma coherente. Los datos resultantes en Langfuse están muy estructurados y muestran trazas claras con metadatos adjuntos, como las sesiones de usuario y los propósitos de las llamadas. Esta configuración asegura que, incluso si se omite la instrumentación manual del SDK, el LLM Gateway sigue registrando los datos básicos de la llamada, lo que ofrece una alternativa de respaldo para un análisis mínimo. Esta infraestructura permite que los FDE se centren en resolver los problemas de los clientes y, al mismo tiempo, mantengan la calidad de datos necesaria para la evaluación y la mejora continuas de los agentes.