Automatizirana infrastruktura za praćenje LLM-a za razvoj AI agenata

Uvođenje AI agenata često dovodi do kritičnog usko grla: nedostatka strukturiranog temelja za prikupljanje povijesti izvršavanja potrebnih za evaluaciju i poboljšanje. Inženjeri za implementaciju (FDE) u AI Shift, podružnici CyberAgent, svakodnevno se suočavaju s tim izazovom dok grade raznolike AI aplikacije za klijente. Njihova misija je maksimizirati vrijednost dubokom integracijom u radne procese klijenata, ali prioritet dodavanja instrumentacije za promatranje često je nizak. Budući da aplikacije ispravno funkcioniraju bez praćenja, a odluka o tome kako instrumentirati svaki komponentu je složena, FDE često odgađaju taj zadatak. Ovo kašnjenje otežava procjenu kvalitete izlaza i demonstriranje isplativosti klijentima, stvarajući jaz između brzog razvoja i potrebnog operativnog nadzora.

Da bi riješili ovaj problem, tim je razvio dvoslojnu arhitekturu praćenja koja balansira automatizaciju i poslovni kontekst. Prvi sloj koristi LLM Gateway, točnije Agent Router (prije Envoy AI Gateway), za hvatanje telemetrije na razini infrastrukture. Usmeravanjem svih LLM poziva kroz ovaj gateway, sustav automatski bilježi ulazne podatke, izlazne podatke, imena modela i broj tokena. Ovi podaci se šalju putem OpenTelemetryja u kolektor, a zatim filtriraju tako da se u Langfuse, platformu za LLM inženjerstvo, šalju samo tragovi povezani s LLM-om. Ovaj pristup uklanja teret donošenja odluka s FDE-a; ne moraju ručno odlučivati treba li instrumentirati svaki LLM poziv, jer gateway to radi automatski na razini infrastrukture.

Međutim, sam LLM Gateway nije dovoljan za hvatanje poslovnih semantika specifičnih za određeni kontekst niti za održavanje konteksta u složenim radnim procesima. Bez propagacije konteksta na razini aplikacije, gateway generira neovisne, plitke tragove za svaki poziv LLM-a, što otežava analizu. Kako bi riješili ovaj problem, tim je razvio vlastiti Tracing SDK. Ovaj SDK ne koristi se za instrumentaciju samih poziva LLM-a, jer to ostaje odgovornost gatewaya, već za dodavanje poslovnih metapodataka. Omogućuje razvojnicima da definiraju tragove s konkretnim ulaznim podacima, ID-jevima korisnika i ID-jevima sesija, čime se osigurava jasna hijerarhija operacija. Na primjer, trag može obuhvaćati proces „revizije“, povezujući kontekst korisnika i specifičnu svrhu poziva LLM-a, poput provjere zaštitnih mehanizama ili evaluacije, s rezultirajućim izlazom.

Kako bi dodatno smanjili opterećenje razvoja, tim je kreirao AI Skill koji asistentima za kodiranje omogućuje automatsko ubacivanje potrebne instrumentacije Tracing SDK-a. Ova automatizacija osigurava da se, čak i kada se razvoj ubrzava uz pomoć AI-a, potreban kod za promatranje dosljedno primjenjuje. Dobiveni podaci u Langfuseu su visoko strukturirani, prikazujući jasne tragove s priloženim metapodacima, poput sesija korisnika i svrhe poziva. Takva postavka osigurava da, čak i ako se preskoči ručna instrumentacija SDK-a, LLM Gateway i dalje bilježi osnovne podatke poziva, pružajući rezervnu opciju za minimalnu analizu. Ova infrastruktura omogućuje FDE-ovima da se fokusiraju na rješavanje problema klijenata, uz održavanje kvalitete podataka potrebnih za kontinuiranu evaluaciju i poboljšanje agenata.