Автоматизированная инфраструктура трассировки LLM для разработки ИИ-агентов

Внедрение ИИ-агентов часто приводит к критическому узкому месту: отсутствию структурированной базы для сбора историй выполнения, необходимых для оценки и улучшения. Инженеры по внедрению (FDE) в AI Shift, дочерней компании CyberAgent, сталкиваются с этой проблемой ежедневно, создавая разнообразные ИИ-приложения для клиентов. Их миссия - максимизировать ценность, глубоко интегрируясь в рабочие процессы клиентов, но приоритет добавления инструментации наблюдаемости часто бывает низким. Поскольку приложения работают корректно без трассировки, а решение о том, как инструментировать каждый компонент, является сложным, FDE часто откладывают эту задачу. Эта задержка мешает оценивать качество вывода и демонстрировать клиентам экономическую эффективность, создавая разрыв между быстрой разработкой и необходимым операционным контролем.

Чтобы решить эту проблему, команда разработала двухуровневую архитектуру трассировки, балансирующую автоматизацию и бизнес-контекст. Первый уровень использует LLM Gateway, а именно Agent Router (ранее Envoy AI Gateway), для захвата телеметрии на уровне инфраструктуры. Маршрутизируя все вызовы LLM через этот шлюз, система автоматически записывает входные данные, выходные данные, имена моделей и количество токенов. Эти данные отправляются через OpenTelemetry в коллектор, а затем фильтруются, чтобы в Langfuse, платформу для инженерии LLM, попадали только трассы, связанные с LLM. Такой подход снимает с FDE бремя принятия решений: им не нужно вручную решать, инструментировать ли каждый вызов LLM, так как шлюз делает это автоматически на уровне инфраструктуры.

Однако одного LLM Gateway недостаточно для захвата бизнес-специфичной семантики или сохранения контекста в сложных рабочих процессах. Без распространения контекста на уровне приложения шлюз генерирует независимые, поверхностные трассы для каждого вызова LLM, что затрудняет анализ. Чтобы решить это, команда разработала собственный Tracing SDK. Этот SDK не используется для инструментации самих вызовов LLM, которые остаются ответственностью шлюза, а для прикрепления бизнес-метаданных. Он позволяет разработчикам определять трассы с конкретными входными данными, идентификаторами пользователей и идентификаторами сессий, обеспечивая четкую иерархию операций. Например, трасса может охватывать процесс «ревью», связывая контекст пользователя и конкретную цель вызова LLM, такую как проверка защитных механизмов или оценка, с результирующим выводом.

Чтобы еще больше снизить нагрузку на разработку, команда создала AI Skill, который позволяет ассистентам по кодированию автоматически вставлять необходимую инструментацию Tracing SDK. Эта автоматизация гарантирует, что даже при ускорении разработки с помощью ИИ необходимый код наблюдаемости последовательно применяется. Полученные данные в Langfuse высоко структурированы, показывая четкие трассы с прикрепленными метаданными, такими как сессии пользователей и цели вызовов. Такая настройка обеспечивает, что даже если ручная инструментация SDK будет пропущена, LLM Gateway все равно записывает базовые данные вызова, предоставляя резервный вариант для минимального анализа. Эта инфраструктура позволяет FDE сосредоточиться на решении проблем клиентов, сохраняя качество данных, необходимое для непрерывной оценки и улучшения агентов.