Vad är en token inom AI?

En token är den minsta enhet som en AI-modell delar upp text i, ofta en del av ett ord. Tokens används för att mäta både hur mycket text en modell kan hantera och vad den kostar att använda. Ordet token används också i andra sammanhang, till exempel för inloggning i IT-system och inom kryptovalutor. Här handlar det om tokens i AI-modeller.

Hur fungerar tokens?

Innan en språkmodell läser en text delas den upp i tokens. Det kallas tokenisering. Korta och vanliga ord blir ofta en token, medan långa eller ovanliga ord delas upp i flera. Modellen läser sedan texten token för token och bygger sitt svar på samma sätt.

Svensk text brukar kräva fler tokens per ord än engelsk. Modellerna har främst tränats på engelska, och svenska sammansatta ord som "leverantörsfakturahantering" delas upp i många bitar.

Tokens och kostnad

AI-tjänster som används via API prissätts oftast per token, vanligen per miljon tokens. Det som skickas in och det som modellen svarar prissätts var för sig, och svaret kostar ofta mer. Priset skiljer sig mellan modeller och ändras ofta.

I praktiken är det några saker som driver kostnaden:

• Långa promptar: detaljerade instruktioner skickas med varje gång.
• Mycket underlag: hela dokument som skickas med, till exempel via RAG.
• Långa samtal: tidigare meddelanden skickas ofta med på nytt för varje svar.
• Valet av modell: större modeller kostar mer per token.

För en AI-agent som arbetar i många steg blir tokens snabbt fler än man tror.

Tokens och kontextfönster

Även kontextfönstret, alltså hur mycket text modellen kan hålla i minnet samtidigt, mäts i tokens. När det är fullt faller de äldsta delarna bort, eller måste sammanfattas.

Att räkna tokens är sällan det svåra. Det svåra är att skicka rätt information, inte all information.