”Vi har kommit till ett stadium där mängden energi som behövs och den klimatpåverkan som den energin ger upphov till inte längre går att bortse ifrån”, säger Joakim Nivre, professor i datorlingvistik vid Uppsala universitet och senior forskare inom AI på forskningsinstitutet Rise.
”Men även om medvetenheten kring detta område växt, handlar det fortfarande bara om en bråkdel av de resurser som läggs på att göra modellerna större och bättre.”
Att träna stora AI-modeller kräver att storskaliga datorer används under lång tid, vilket förbrukar stora mängder energi.
”Men vad händer när AI-modellerna sedan används. För även om själva träningsprocessen är mer krävande än användningen på kort sikt så är kanske påverkan större om man tittar på långsiktig användning. Därför har vi tittat på hela livscykeln, något som ligger till grund för en vetenskaplig artikel.”
Det finns i huvudsak två sätt att göra AI-modeller mer effektiva och resurssnåla: modellkomprimering och dynamisk inferens. Modellkomprimering innebär att man på olika sätt minskar modellernas storlek.
”Det kan exempelvis göras genom att minska precisionen i de flyttal man presenterar, till exempel från 32 till 16 bitar eller till och med till heltal, eller att man efter att ha tränat modellen tar bort vikter som är mindre betydelsefulla.”
Dynamisk inferens handlar om att minska beräkningstiden för en stor modell genom att ta olika genvägar. Exempel på det är så kallad skumning, som innebär att man skippar vissa tidssteg eller allokerar olika beräkningskraft till dem.
”Att förbättra effektiviteten i modellerna är viktigt för att minska klimatpåverkan, men det är också intressant för företagen att förbättra snabbheten i svaren när exempelvis Chat GPT används i mobilen. Då vill man inte vänta en halvtimme på svar.”
Vad har du som forskare på Rise fokuserat specifikt på?
”Vi har tittat på olika sätt att mäta resursförbrukningen. Energiförbrukningen är svår och ganska tekniskt krävande att mäta. Därför har vi letat efter parametrar som är enklare att mäta, men som korrelerar tillräckligt väl med energiförbrukningen”, säger Joakim Nivre.
”I Luleå har Rise också ett särskilt datacenter som heter ICE där vi har forskning kring hur man kan förbättra resurseffektiviteten. Det gäller dock datacenter i allmänhet och inte specifikt AI-modeller.”
