AGNTCon Europe: Upravljanje i pouzdanost u razvoju agentskog AI-ja

Večer prije AGNTCon i MCPCon Europe u uredima JetBrainsa u Amsterdamu održan je popularan susret zajednice, na kojem je Agentic AI Foundation raspravljala o upravljanju u open sourceu. Središnje pitanje bilo je kako rješavati sukobe kada tvrtke, održavatelji i suradnici imaju različite interese u zajedničkim projektima. Sudionici panela, Nick Veenhof iz GitLaba, Alessandro Vozza iz VOLT Datacentersa i Miguel Luna iz JetBrainsa, istražili su tu dinamiku, naglašavajući da je financijska podrška ključna za infrastrukturu, ali da se pravo odlučivanja temelji na zasluženom povjerenju. To se povjerenje gradi kroz dosljedni i transparentan rad, a ne kroz financijska ulaganja. Ovaj princip ostaje vitalan jer agentski sustavi uvode nove slojeve složenosti u upravljanje projektima i interakciju zajednice.

Jedna od ključnih tema konferencije bila je kriza kvalitete sadržaja i koda generiranog AI-jem. Mnoge prijedloge za predavanja i doprinose open sourceu sada generira AI: oni su polirani i zamjenjivi. Zbog toga održavatelji moraju trošiti vrijeme na objašnjavanje već donesenih odluka umjesto da grade novo. Dexter Horthy iz HumanLayera u svom ključnom govoru tvrdio je da kod od nepraćenih agenata s vremenom degradira, što zahtijeva povratak planiranju pod ljudskim vodstvom i rigoroznom pregledu koda. Predložio je integraciju agentskog pregleda koda i regresijskog testiranja u produkcijske cijevove, napominjući da ljudski pregled ostaje glavno usko grlo. Konsenzus je da najteži dio razvoja više nije pisanje koda, već razumijevanje i preuzimanje odgovornosti za ono što agenti proizvode, stvarnost koju su živopisno ilustrirali startupi koji su na izložbenom prostoru pokazivali greške generirane agentima.

Predavanje Ника Veenhofa pružilo je jasan uvid u izazove pouzdanosti sustava s više agenata. Opisao je svoju osobnu konfiguraciju s trinaest specijaliziranih agenata i jednim orkestratorom, navodeći primjere kvarova u kojima su testovi prolazili unatoč prekinutoj osnovnoj povezanosti. Među incidentima bili su zaustavljanje pozadinske poslova na četrdeset i šest dana bez upozorenja i generiranje osamdeset izmišljenih točaka podataka od strane agenta, za čije je otkrivanje trebalo dva sata. Ovi primjeri pokazuju da je potpun, ali netočan rezultat opasniji od djelomičnog, ali iskrenog. Veenhof javno dokumentira ove kvarove kako bi pomogao zajednici da uči, naglašavajući da je transparentnost u vezi s greškama ključna za izgradnju povjerenja u agentske procese i da razvijatelji ostanu oprezni u vezi s integritetom automatiziranih procesa.

Standardi za povezivanje, praćenje i sigurnost agenata trenutno se definiraju u otvorenim radnim grupama koje dobrodošle sudionicima bez vještina programiranja. Veći dio ovog posla uključuje izradu modela prijetnji i dokumenata o upravljanju, a ne pisanje koda, što ga čini dostupnijim širem krugu sudionika. Otvorenost je ključna jer agentski razvoj neće oslanjati se na jedan model ili vendorski stack; timovi će miješati tehnologije, što zahtijeva sustave koji podržavaju takvu raznolikost uz zadržavanje odgovornosti. JetBrains Air, najavljena ubrzo nakon konferencije, odražava to razmišljanje podržavajući takva fleksibilna, multivendorska okruženja. Sudjelovanje u tim grupama za standardizaciju potiče se, budući da će odluke donesene tamo izravno utjecati na način na koji će razvijatelji izgrađivati i upravljati agentskim sustavima u bliskoj budućnosti.