Sony erinnert die Spieler daran, dass ihre Spiele nur Lizenzen sind

Företag som implementerar agentbaserad AI kan behöva en ny generation av AI-servrar, eftersom konventionell GPU-baserad infrastruktur har svårt att effektivt köra AI-arbetsflöden med flera steg, enligt forskare från Microsoft Azure och University of Texas at Austin.

Med utgångspunkt i produktionstelemetri från Microsofts molntjänst Azure och experiment med representativa agentramverk med öppen källkod fann forskarna att AI-agenter lägger betydligt mer tid på att samordna modeller, verktyg och orkestreringsprogramvara än vad konventionella inferenssystem utgår ifrån.

I stället för att fungera som fristående LLM-förfrågningar körs agentbaserade applikationer som dynamiska arbetsflöden som upprepade gånger flyttar arbete mellan CPU:er, GPU:er och externa tjänster, vilket blottlägger ineffektiviteter i dagens serverkonstruktioner.

”Vår studie visar att agentbaserad körning i grunden är fragmenterad och heterogen”, skriver forskarna. ”Varje förfrågan utvecklas till ett arbetsflöde av LLM-inferenser, verktygsanrop och orkestreringsbeslut som upprepade gånger korsar gränsen mellan CPU och GPU.”

Enligt artikeln placerar detta exekveringsmönster CPU:n på applikationens kritiska väg, eftersom orkestreringsprogramvara och verktyg körs på värddatorn medan modellinferensen körs på GPU:er.

Forskarna säger att konventionella serverarkitekturer är dåligt anpassade till dessa arbetsbelastningar eftersom den fragmenterade exekveringen splittrar CPU- och GPU-resurserna, olika programvaruroller på värdsidan har olika resurskrav och multiplexering av flera agenter ökar koordinationskostnaden.

Fragmenterad exekvering

Forskarna uppger att en representativ produktionsförfrågan växlade mellan flera LLM-anrop, verktygsupptäckt, verktygskörning och orkestrering innan den slutfördes. I en kontrollerad studie med hjälp av CORAL-ramverket expanderade en enskild arbetsbelastning till 580 LLM-anrop varvade med 552 verktygsanrop, vilket ledde till att exekveringen ”ping-pongade mellan de två processorerna hundratals gånger”.

Studien visar också att värd-CPU:ns utnyttjande förblev lågt under längre perioder innan det steg kraftigt under intensiva perioder av verktygskörning, medan GPU-utnyttjandet varierade kraftigt beroende på arbetsflödets sammansättning, vilket ledde till att vissa acceleratorer blev överbelastade medan andra stod stilla.

Enligt forskarna leder det fragmenterade exekveringsmönstret till att CPU:er och GPU:er i genomsnitt utnyttjas i för liten utsträckning, samtidigt som det gör att endera processorn kan bli ”en tillfällig flaskhals på arbetsflödets kritiska väg”, vilket gör statisk resurstilldelning ineffektiv för agentiska arbetsbelastningar.

Sanchit Vir Gogia, chefsanalytiker på Greyhound Research, säger att resultaten visar att företag bör utvärdera agentbaserad AI-infrastruktur på ett annat sätt än konventionella inferensimplementeringar.

– Agentbaserad AI är inte en större chatbot; det är en distribuerad applikation med inbyggd inferens. De enskilda beståndsdelarna är bekanta. Exekveringsgrafen är ny.

– GPU:n är fortfarande oumbärlig, men den äger inte längre hela klockcykeln. Verktygstiden matchade eller slog inferenstiden i mer än 27 procent av förfrågningarna, och den genomsnittliga utnyttjandegraden börjar lura infrastrukturteamen, säger Gogia.

En arbetsflödesmedveten serverdesign

Baserat på dessa resultat föreslår forskarna en serverarkitektur, kallad Agora, som dynamiskt omfördelar CPU- och GPU-resurser, separerar schemaläggning, orkestrering och verktygskörning till dedikerade värdroller samt anpassar resursfördelningen efter arbetsbelastningens beteende.

”Agora utnyttjar dynamiskt lediga CPU-kärnor för samlokaliserat genomströmningsarbete, samtidigt som den skyddar agenternas svanslatens mot verktygstoppar. Den överbelägger också GPU-minnet genom att placera fler agenter på varje GPU och förhämta nästa agents tillstånd för att dölja swap-latensen”, skriver forskarna.

”För att anpassa maskinen till de heterogena rollerna grupperar Agora kärnor efter roll och tillämpar affinitetsmedveten schemaläggning för att återställa lokaliteten. Dessa tekniker förbättrar avsevärt CPU- och GPU-utnyttjandet samt genomströmningen per server samtidigt som latensen i agenternas svans bevaras.”

I sin utvärdering rapporterar forskarna att Agora ökade värd-CPU:ns utnyttjande med cirka 30 procent, återvann cirka 95 procent av den fristående genomströmningen för en samlokaliserad arbetsbelastning vid låg belastning, frigjorde ungefär en tredjedel av GPU:erna genom konsolidering av arbetsbelastningen, ökade genereringsgenomströmningen med 82 procent och minskade svanslatensen med 2,5 gånger.

Gogia menar att resultaten tyder på att infrastrukturinköp bör fokusera mindre på enskilda processorer och mer på hur hela AI-arbetsflödena körs.

– CPU:n återtar inte tronen; tronen i sig håller på att försvinna, säger han.

– Konkurrensfördelen förskjuts från den enskilda processorn till den heterogena servern, racket och körtiden som fungerar som ett enda system.

Han menar att organisationer bör ”anskaffa arbetsflödet, inte hårdvaran” och hävdar att profilering och schemaläggning av arbetsbelastningar sannolikt ger större fördelar än att dimensionera infrastrukturen enbart utifrån modellinferens.