Infrastructure de traçage LLM automatisée pour le développement d'agents IA

L'introduction d'agents IA conduit souvent à un goulot d'étranglement critique : l'absence d'une base structurée pour collecter les historiques d'exécution nécessaires à l'évaluation et à l'amélioration. Les ingénieurs en déploiement (FDE) chez AI Shift, une filiale de CyberAgent, font face à ce défi au quotidien en développant diverses applications IA pour les clients. Leur mission est de maximiser la valeur en s'intégrant en profondeur dans les flux de travail des clients, mais la priorité accordée à l'ajout d'instrumentation d'observabilité est souvent faible. Comme les applications fonctionnent correctement sans traçage et que la décision sur la manière d'instrumenter chaque composant est complexe, les FDE reportent souvent cette tâche. Ce retard entrave la capacité à évaluer la qualité des sorties et à démontrer l'efficacité économique aux clients, créant un écart entre le développement rapide et la supervision opérationnelle nécessaire.

Pour résoudre ce problème, l'équipe a développé une architecture de traçage à double couche qui équilibre l'automatisation et le contexte métier. La première couche utilise un LLM Gateway, plus précisément Agent Router (anciennement Envoy AI Gateway), pour capturer la télémétrie au niveau de l'infrastructure. En acheminant tous les appels LLM via cette passerelle, le système enregistre automatiquement les entrées, les sorties, les noms des modèles et le nombre de jetons. Ces données sont envoyées via OpenTelemetry à un collecteur, puis filtrées pour n'envoyer que les traces liées aux LLM vers Langfuse, une plateforme d'ingénierie LLM. Cette approche soulage les FDE du fardeau décisionnel ; ils n'ont pas besoin de décider manuellement s'ils doivent instrumenter chaque appel LLM, car la passerelle le fait automatiquement au niveau de l'infrastructure.

Cependant, le LLM Gateway seul ne suffit pas pour capturer la sémantique spécifique au métier ni pour maintenir le contexte dans des flux de travail complexes. Sans propagation du contexte au niveau de l'application, la passerelle génère des traces indépendantes et superficielles pour chaque appel LLM, ce qui rend l'analyse difficile. Pour résoudre ce problème, l'équipe a développé un SDK de traçage sur mesure. Ce SDK n'est pas utilisé pour instrumenter les appels LLM eux-mêmes, qui restent de la responsabilité de la passerelle, mais pour attacher des métadonnées métier. Il permet aux développeurs de définir des traces avec des entrées spécifiques, des identifiants d'utilisateurs et des identifiants de sessions, offrant ainsi une hiérarchie claire des opérations. Par exemple, une trace peut englober un processus de « revue », reliant le contexte de l'utilisateur et l'objectif spécifique de l'appel LLM, tel qu'une vérification de garde-fous ou une évaluation, à la sortie résultante.

Pour réduire encore la charge de développement, l'équipe a créé une AI Skill qui permet aux assistants de codage d'insérer automatiquement l'instrumentation nécessaire du SDK de traçage. Cette automatisation garantit que, même lorsque le développement s'accélère grâce à l'IA, le code d'observabilité requis est appliqué de manière cohérente. Les données résultantes dans Langfuse sont hautement structurées, montrant des traces claires avec des métadonnées attachées, telles que les sessions utilisateurs et les objectifs des appels. Cette configuration assure que, même si l'instrumentation manuelle du SDK est omise, le LLM Gateway enregistre toujours les données de base de l'appel, offrant une solution de repli pour une analyse minimale. Cette infrastructure permet aux FDE de se concentrer sur la résolution des problèmes des clients tout en maintenant la qualité des données nécessaire à l'évaluation et à l'amélioration continues des agents.