Automatisierte LLM-Tracing-Infrastruktur für die Entwicklung von KI-Agenten

Die Einführung von KI-Agenten führt oft zu einer kritischen Engstelle: dem Fehlen einer strukturierten Grundlage für die Erfassung der für Bewertung und Verbesserung benötigten Ausführungsverläufe. Die Forward Deployed Engineers (FDE) bei AI Shift, einer Tochtergesellschaft von CyberAgent, stehen dieser Herausforderung täglich gegenüber, während sie vielfältige KI-Anwendungen für Kunden entwickeln. Ihre Mission besteht darin, den Wert zu maximieren, indem sie sich tief in die Arbeitsabläufe der Kunden integrieren, doch die Priorität für die Hinzufügung von Observability-Instrumentierung ist häufig gering. Da die Anwendungen ohne Tracing korrekt funktionieren und die Entscheidung, wie jeder Komponente Instrumentierung hinzugefügt wird, komplex ist, verschieben FDE diese Aufgabe oft. Diese Verzögerung beeinträchtigt die Fähigkeit, die Qualität der Ausgaben zu bewerten und die Wirtschaftlichkeit gegenüber Kunden zu demonstrieren, was eine Lücke zwischen der schnellen Entwicklung und der notwendigen operativen Überwachung schafft.

Um dieses Problem zu lösen, entwickelte das Team eine zweistufige Tracing-Architektur, die Automatisierung und Business-Kontext ausbalanciert. Die erste Stufe nutzt einen LLM Gateway, konkret Agent Router (früher Envoy AI Gateway), um Infrastruktur-Telemetrie zu erfassen. Indem alle LLM-Aufrufe über dieses Gateway geroutet werden, erfasst das System automatisch Eingaben, Ausgaben, Modellnamen und Token-Zahlen. Diese Daten werden über OpenTelemetry an einen Collector gesendet und anschließend gefiltert, sodass nur LLM-bezogene Traces an Langfuse, eine Plattform für LLM-Engineering, gesendet werden. Dieser Ansatz nimmt den FDE die Last der Entscheidungsfindung ab; sie müssen nicht manuell entscheiden, ob jeder LLM-Aufruf instrumentiert werden soll, da das Gateway dies auf Infrastrukturebene automatisch erledigt.

Allerdings reicht das LLM Gateway allein nicht aus, um geschäftsspezifische Semantik zu erfassen oder den Kontext in komplexen Workflows beizubehalten. Ohne die Weitergabe des Kontexts auf Anwendungsebene erzeugt das Gateway unabhängige, oberflächliche Traces für jeden LLM-Aufruf, was die Analyse erschwert. Um dies zu beheben, hat das Team ein eigenes Tracing SDK entwickelt. Dieses SDK wird nicht zur Instrumentierung der LLM-Aufrufe selbst verwendet, da diese weiterhin in der Verantwortung des Gateways liegen, sondern zum Anhängen von Geschäftsmetadaten. Es ermöglicht Entwicklern, Traces mit spezifischen Eingabedaten, Benutzerkennungen und Sitzungskennungen zu definieren und so eine klare Hierarchie der Operationen sicherzustellen. Ein Trace kann beispielsweise einen „Review“-Prozess umfassen, der den Benutzerkontext und den spezifischen Zweck des LLM-Aufrufs, wie etwa eine Guardrail-Prüfung oder eine Bewertung, mit dem resultierenden Output verknüpft.

Um die Entwicklungslast weiter zu senken, hat das Team eine AI Skill erstellt, die es Coding-Assistenten ermöglicht, die erforderliche Instrumentierung des Tracing SDK automatisch einzufügen. Diese Automatisierung stellt sicher, dass der benötigte Code für Observability konsequent angewendet wird, selbst wenn die Entwicklung durch KI-Begleitung beschleunigt wird. Die in Langfuse vorliegenden Daten sind hochgradig strukturiert und zeigen klare Traces mit angehängten Metadaten wie Benutzersitzungen und Aufrufzwecken. Diese Konfiguration gewährleistet, dass das LLM Gateway die grundlegenden Aufrufdaten aufzeichnet, selbst wenn die manuelle SDK-Instrumentierung übersehen wird, und so einen Fallback für eine minimale Analyse bereitstellt. Diese Infrastruktur ermöglicht es den FDEs, sich auf die Lösung von Kundenproblemen zu konzentrieren, während die für die kontinuierliche Bewertung und Verbesserung von Agenten erforderliche Datenqualität erhalten bleibt.