Vad gör egentligen en NPU i din dator?

En NPU, eller Neural Processing Unit, är en särskild processor som har blivit allt vanligare i moderna datorer. Men vad gör den egentligen, och varför har den blivit så viktig i takt med att AI-funktioner flyttar in i våra datorer? Till skillnad från processorn och grafikkortet är NPU:n framför allt utvecklad för att hantera beräkningar som används inom artificiell intelligens och maskininlärning. Den kan bland annat hjälpa till med bildbehandling, ljudanalys och olika AI-funktioner, samtidigt som den kan göra jobbet energieffektivare. Här går vi igenom hur en NPU fungerar, vad den används till och varför den kan spela en större roll framöver.

Så fungerar en NPU och därför behövs den

En NPU, Neural Processing Unit, är en processor som är särskilt konstruerad för beräkningar kopplade till artificiell intelligens och maskininlärning. Där en vanlig CPU är byggd för att hantera många olika typer av uppgifter är NPU:n optimerad för vissa matematiska operationer som återkommer inom AI. Det handlar framför allt om att bearbeta stora mängder data parallellt och effektivt. NPU:n är därför inte tänkt att ersätta datorns processor, utan fungerar som en specialiserad beräkningsenhet. Genom att låta rätt typ av arbetsuppgift köras på rätt hårdvara kan datorn utföra AI-relaterade funktioner snabbare och med lägre energiförbrukning.

Specialiserad för AI-beräkningar

En viktig egenskap hos en NPU är att den kan utföra många liknande beräkningar samtidigt. Det passar särskilt bra för neurala nätverk, där stora mängder matematiska operationer behöver genomföras på data som bilder, ljud och text. NPU:n kan exempelvis hantera matrismultiplikationer och andra operationer som är centrala inom maskininlärning. I stället för att låta CPU:n utföra hela arbetet kan datorn skicka den AI-relaterade delen till NPU:n. CPU:n blir då tillgänglig för andra uppgifter, medan NPU:n arbetar med den beräkningstyp som den är byggd för.

En annan fördel är energieffektiviteten. När en AI-funktion körs kontinuerligt kan det vara onödigt energikrävande att använda en kraftfull CPU eller GPU för uppgiften. En NPU kan ofta genomföra samma typ av beräkningar med betydligt lägre energiförbrukning. Det är särskilt relevant i bärbara datorer, där batteritid är en viktig faktor. Om datorn exempelvis behöver analysera kamerabilden eller filtrera bakgrundsljud under ett videomöte kan NPU:n sköta beräkningarna utan att de större processorenheterna behöver belastas lika mycket.

Därför har NPU blivit vanligare

NPU:er har blivit mer aktuella eftersom allt fler datorprogram använder AI lokalt på enheten. Tidigare har mycket AI-bearbetning kunnat ske på servrar i molnet, men utvecklingen går mot att fler funktioner kan köras direkt i datorn. Det ger flera praktiska fördelar. Informationen behöver inte alltid skickas till en extern server, svarstiden kan bli kortare och vissa funktioner kan fungera även utan internetanslutning. En NPU gör det möjligt att utföra sådana beräkningar kontinuerligt utan att datorns totala energiförbrukning behöver öka lika mycket.

Det betyder dock inte att en NPU automatiskt gör alla datorer snabbare. Den har en ganska specifik uppgift och måste dessutom stödjas av operativsystemet och programvaran. En AI-funktion måste vara utvecklad för att kunna använda NPU:n på rätt sätt. Om ett program inte stöder den typen av hårdvaruacceleration kan arbetet fortfarande hamna på CPU:n eller GPU:n. NPU:n är alltså en del av ett större system där processor, grafikprocessor, operativsystem och programvara behöver samarbeta för att tekniken ska ge någon praktisk fördel.

Vad NPU:n faktiskt gör

I en modern dator kan NPU:n bland annat användas för funktioner som analyserar ljud, bilder och andra typer av information. Exempel på uppgifter kan vara:

• Bakgrundsoskärpa och andra kameraeffekter i videosamtal.

• Brusreducering och förbättrad taligenkänning.

• Automatisk bildanalys och vissa bildförbättringar.

• AI-baserade funktioner som körs direkt på datorn.

• Bearbetning av data från lokala maskininlärningsmodeller.

Vilka funktioner som faktiskt använder NPU:n varierar däremot mellan olika datorer och program. Det är därför mer korrekt att se NPU:n som en specialiserad resurs än som en generell prestandafunktion. När rätt arbetsbelastning skickas dit kan den göra stor skillnad, men vid traditionellt datorarbete som webbläsning, ordbehandling och vanlig programkörning är det fortfarande framför allt CPU:n och andra delar av systemet som står för arbetet.

Vad används NPU:n till i praktiken?

För den som använder datorn märks NPU:n sällan som en fysisk komponent. Den arbetar i bakgrunden och aktiveras när ett program har en uppgift som passar dess arkitektur. Det kan exempelvis handla om att förbättra ljudet under ett videosamtal, analysera kamerabilden eller köra en AI-modell lokalt. Tanken är att användaren inte ska behöva tänka på vilken processor som utför arbetet. När tekniken fungerar som avsett sker beräkningarna automatiskt och med mindre belastning på datorns övriga processorenheter.

AI-funktioner i videosamtal

Videosamtal är ett tydligt exempel på ett område där en NPU kan användas. Under ett möte kan datorn behöva analysera kamerabilden många gånger varje sekund för att identifiera personen framför kameran. Den informationen kan sedan användas för funktioner som bakgrundsoskärpa, automatisk inramning eller andra visuella effekter. Samtidigt kan mikrofonens ljud bearbetas för att minska störande bakgrundsljud. När dessa uppgifter körs på NPU:n behöver CPU:n inte ensam ansvara för den kontinuerliga AI-bearbetningen.

Det kan få betydelse för både prestanda och batteritid. En bärbar dator som under flera timmar ska hantera videomöten kan behöva utföra stora mängder bild- och ljudanalys. Om dessa uppgifter belastar CPU:n kraftigt kan energiförbrukningen öka. Genom att flytta lämpliga beräkningar till en NPU kan systemet arbeta mer effektivt. Skillnaden är däremot beroende av hur programvaran är konstruerad och hur väl den utnyttjar NPU:n. Två datorer med liknande hårdvara kan därför ge olika resultat i praktiken.

Lokal AI utan molnet

En annan viktig användning är AI-modeller som körs direkt på datorn. Det kan exempelvis vara verktyg som analyserar text, bilder, ljud eller andra typer av information. När beräkningen sker lokalt behöver informationen inte nödvändigtvis skickas till en extern server. Det kan ge lägre fördröjning och samtidigt vara attraktivt ur ett integritets- och säkerhetsperspektiv, även om den faktiska hanteringen av data alltid beror på programmet.

Lokal AI kan också vara användbar när internetanslutningen är dålig eller helt saknas. En funktion som är beroende av molnbaserad bearbetning kan annars sluta fungera eller bli långsammare. En lokal modell kan däremot fortsätta arbeta på datorn. NPU:n är särskilt intressant i sådana situationer eftersom AI-beräkningar kan kräva mycket processorkraft. Genom att använda en specialiserad accelerator går det att kombinera lokal bearbetning med en rimlig energiförbrukning, vilket är särskilt viktigt för bärbara datorer.

NPU:n arbetar inte ensam

Det är samtidigt viktigt att förstå att NPU:n inte hanterar hela AI-processen på egen hand. Ett program kan behöva använda flera delar av datorn beroende på vilken arbetsuppgift som ska genomföras. CPU:n kan exempelvis styra programlogiken och förbereda data, medan NPU:n utför vissa specifika AI-beräkningar. GPU:n kan samtidigt användas för andra beräkningsintensiva moment. Operativsystemets drivrutiner och olika programmeringsgränssnitt avgör sedan hur arbetsbelastningen fördelas mellan komponenterna.

För användaren innebär detta att en NPU främst blir relevant när programmen faktiskt stöder den. Att en dator har en NPU betyder inte att alla AI-program automatiskt använder den. Stödet behöver finnas både i hårdvaran och mjukvaran. Därför kan värdet av en NPU förändras över tid. När fler program optimeras för lokal AI kan användningsområdet växa, medan en NPU i ett system med begränsat stöd kan göra betydligt mindre skillnad.

Nya användningsområden utvecklas

Utvecklingen handlar inte bara om videosamtal och enklare bildeffekter. NPU:er kan även användas för mer avancerad lokal AI-bearbetning, exempelvis analys av dokument, ljud eller bilder. På sikt kan fler funktioner flyttas från molnet till den lokala datorn när hårdvaran blir kraftfullare och programvaran bättre optimerad. Det kan förändra hur vissa AI-funktioner byggs och distribueras.

Samtidigt finns det begränsningar. NPU:n är specialiserad och har inte samma flexibilitet som en CPU. Alla AI-modeller kan inte heller köras effektivt på den, och större modeller kan fortfarande kräva betydande resurser från andra delar av systemet eller från externa servrar. NPU:n är därför framför allt ett komplement som gör vissa typer av AI-bearbetning effektivare. Dess praktiska betydelse kommer sannolikt att öka i takt med att fler program lär sig att utnyttja den.

NPU, CPU och GPU – vad är skillnaden?

CPU:n, GPU:n och NPU:n är alla processorenheter, men de är konstruerade för olika typer av arbetsbelastningar. CPU:n är datorns allmänna centralprocessor och hanterar ett mycket brett spektrum av instruktioner. GPU:n är framför allt optimerad för parallella beräkningar och grafik, men används även inom exempelvis vetenskapliga beräkningar och AI. NPU:n är ännu mer specialiserad och fokuserar på beräkningar som är vanliga inom neurala nätverk och maskininlärning. Skillnaden handlar alltså främst om arkitektur och vilken typ av arbete varje enhet är bäst lämpad för.

CPU:n är den allmänna problemlösaren

CPU:n kan liknas vid datorns allroundprocessor. Den är byggd för att hantera många olika instruktioner och arbetsuppgifter och spelar en central roll i nästan allt som händer i operativsystemet. Program startas, instruktioner bearbetas och olika delar av datorn styrs genom CPU:n. Den är också mycket flexibel och kan snabbt växla mellan olika typer av arbetsbelastningar. Den flexibiliteten gör CPU:n idealisk för allmän datoranvändning, men den är inte nödvändigtvis den mest energieffektiva lösningen för stora mängder likartade AI-beräkningar.

NPU:n är däremot betydligt mer specialiserad. Den kan fokusera på de matematiska operationer som förekommer ofta i neurala nätverk och genomföra dem effektivt. Det innebär att en dator kan låta CPU:n koncentrera sig på de uppgifter som kräver flexibilitet medan NPU:n tar hand om AI-bearbetningen. På så sätt kompletterar komponenterna varandra. En NPU ersätter alltså inte CPU:n, utan avlastar den när rätt typ av arbetsuppgift finns.

GPU:n har en annan styrka

GPU:n är också mycket bra på parallella beräkningar. Det är en av anledningarna till att den länge har varit viktig inom AI-utveckling. Moderna GPU:er kan hantera mycket stora mängder beräkningar samtidigt och används ofta när stora AI-modeller ska tränas eller köras. De kan därför vara betydligt kraftfullare än en NPU för vissa omfattande arbetsbelastningar, men den höga prestandan kan också innebära högre energiförbrukning.

NPU:n är i stället optimerad för att utföra vissa AI-operationer så energieffektivt som möjligt. Den behöver inte konkurrera med en kraftfull GPU när det gäller maximal beräkningskapacitet. Dess styrka ligger snarare i att kunna hantera återkommande AI-uppgifter lokalt utan att dra lika mycket energi. För en bärbar dator kan det vara mer värdefullt att köra en mindre AI-funktion kontinuerligt på NPU:n än att aktivera GPU:n varje gång funktionen behöver bearbeta data.

Tre processorer med olika roller

I en modern dator kan arbetsfördelningen därför se ut ungefär så här:

• CPU:n hanterar allmänna instruktioner, systemfunktioner och programlogik.

• GPU:n hanterar grafik och många parallella beräkningar.

• NPU:n hanterar specifika AI- och maskininlärningsberäkningar.

• Operativsystem och programvara avgör hur arbetet fördelas.

• Komponenterna kan samarbeta kring samma arbetsuppgift.

Det är denna kombination som gör moderna datorer intressanta ur ett AI-perspektiv. I stället för att en enda processor ska försöka göra allting kan olika delar av systemet ta ansvar för det de är bäst på. När ett program är korrekt optimerat kan en AI-funktion exempelvis använda CPU:n för att organisera arbetet, NPU:n för neurala beräkningar och GPU:n för grafiska eller andra parallella moment.

Vad betyder det vid ett datorinköp?

För den som ska köpa en ny dator är det därför inte tillräckligt att bara titta på om den har en NPU. Det viktiga är också hur kraftfull NPU:n är, vilka program som stöder den och vilka andra komponenter datorn har. En NPU kan vara värdefull för en användare som regelbundet använder AI-funktioner lokalt, medan skillnaden kan vara liten för någon som främst surfar, skriver dokument och använder enklare program.

NPU:n bör alltså ses som en investering i en särskild typ av datoranvändning. Tekniken är framför allt intressant eftersom AI håller på att bli en integrerad del av vanliga program och operativsystem. När fler funktioner utformas för lokal AI-bearbetning kan NPU:n få en allt tydligare roll. CPU:n kommer fortfarande att vara central, och GPU:n kommer fortsatt att vara viktig för grafik och kraftfulla parallella beräkningar. NPU:n lägger till ytterligare en specialiserad komponent som är byggd för AI-eran.