Автоматизована інфраструктура трасування LLM для розробки ШІ-агентів

Впровадження ШІ-агентів часто призводить до критичного вузького місця: відсутності структурованої бази для збору історій виконання, необхідних для оцінки та вдосконалення. Інженери з впровадження (FDE) в AI Shift, дочірній компанії CyberAgent, щодня стикаються з цією проблемою, створюючи різноманітні ШІ-додатки для клієнтів. Їхня місія полягає в максимізації цінності шляхом глибокої інтеграції у робочі процеси клієнтів, але пріоритет додавання інструментації спостережності часто є низьким. Оскільки додатки працюють коректно без трасування, а рішення щодо того, як інструментувати кожен компонент, є складним, FDE часто відкладають цю задачу. Така затримка заважає оцінювати якість вихідних даних і демонструвати клієнтам економічну ефективність, створюючи розрив між швидкою розробкою та необхідним операційним контролем.

Щоб вирішити цю проблему, команда розробила двохрівневу архітектуру трасування, що балансує автоматизацію та бізнес-контекст. Перший рівень використовує LLM Gateway, а саме Agent Router (раніше Envoy AI Gateway), для захоплення телеметрії на рівні інфраструктури. Маршрутизуючи всі виклики LLM через цей шлюз, система автоматично записує вхідні дані, вихідні дані, назви моделей та кількість токенів. Ці дані надсилаються через OpenTelemetry у колектор, а потім фільтруються, щоб у Langfuse, платформу для інженерії LLM, потрапляли лише траси, пов'язані з LLM. Такий підхід знімає з FDE тягар прийняття рішень: їм не потрібно вручну вирішувати, інструментувати чи ні кожен виклик LLM, оскільки шлюз робить це автоматично на рівні інфраструктури.

Однако одного LLM Gateway недостатньо для захоплення бізнес-специфічної семантики або збереження контексту в складних робочих процесах. Без поширення контексту на рівні застосунку шлюз генерує незалежні, поверхневі траси для кожного виклику LLM, що ускладнює аналіз. Щоб вирішити це, команда розробила власний Tracing SDK. Цей SDK не використовується для інструментації самих викликів LLM, які залишаються відповідальністю шлюза, а для прикріплення бізнес-метаданих. Він дозволяє розробникам визначати траси з конкретними вхідними даними, ідентифікаторами користувачів та ідентифікаторами сесій, забезпечуючи чітку ієрархію операцій. Наприклад, траса може охоплювати процес «ревью», пов'язуючи контекст користувача та конкретну мету виклику LLM, таку як перевірка захисних механізмів або оцінка, з отриманим результатом.

Щоб ще більше зменшити навантаження на розробку, команда створила AI Skill, який дозволяє асистентам з кодування автоматично вставляти необхідну інструментацію Tracing SDK. Ця автоматизація гарантує, що навіть при прискоренні розробки за допомогою ШІ необхідний код спостережуваності послідовно застосовується. Отримані дані в Langfuse високо структуровані, показуючи чіткі траси з прикріпленими метаданими, такими як сесії користувачів та мети викликів. Така конфігурація забезпечує, що навіть якщо ручна інструментація SDK буде пропущена, LLM Gateway все одно записує базові дані виклику, надаючи резервний варіант для мінімального аналізу. Ця інфраструктура дозволяє FDE зосередитися на вирішенні проблем клієнтів, зберігаючи якість даних, необхідну для безперервної оцінки та вдосконалення агентів.