Vad är en token inom AI?

En token är den minsta enhet som en AI-modell delar upp text i, ofta en del av ett ord. Tokens används för att mäta både hur mycket text en modell kan hantera och vad den kostar att använda. Ordet token används också i andra sammanhang, till exempel för inloggning i IT-system och inom kryptovalutor. Här handlar det om tokens i AI-modeller.

Hur fungerar tokens?

Innan en språkmodell läser en text delas den upp i tokens. Det kallas tokenisering. Korta och vanliga ord blir ofta en token, medan långa eller ovanliga ord delas upp i flera. Modellen läser sedan texten token för token och bygger sitt svar på samma sätt.

Svensk text brukar kräva fler tokens per ord än engelsk. Modellerna har främst tränats på engelska, och svenska sammansatta ord som "leverantörsfakturahantering" delas upp i många bitar.

Tokens och kostnad

AI-tjänster som används via API prissätts oftast per token, vanligen per miljon tokens. Det som skickas in och det som modellen svarar prissätts var för sig, och svaret kostar ofta mer. Priset skiljer sig mellan modeller och ändras ofta.

I praktiken är det några saker som driver kostnaden:

  • Långa promptar: detaljerade instruktioner skickas med varje gång.
  • Mycket underlag: hela dokument som skickas med, till exempel via RAG.
  • Långa samtal: tidigare meddelanden skickas ofta med på nytt för varje svar.
  • Valet av modell: större modeller kostar mer per token.

För en AI-agent som arbetar i många steg blir tokens snabbt fler än man tror.

Tokens och kontextfönster

Även kontextfönstret, alltså hur mycket text modellen kan hålla i minnet samtidigt, mäts i tokens. När det är fullt faller de äldsta delarna bort, eller måste sammanfattas.

Att räkna tokens är sällan det svåra. Det svåra är att skicka rätt information, inte all information.

Vanliga frågor

Vad betyder token på svenska?

Token betyder ungefär tecken eller polett. Inom AI är en token en bit text, ofta en del av ett ord, som modellen läser och skriver i.

Hur mycket kostar en token?

Det beror på vilken modell som används. AI-tjänster prissätter oftast per miljon tokens, med olika pris för det du skickar in och det modellen svarar. Priserna ändras ofta, så aktuella nivåer behöver kontrolleras hos leverantören.

Hur många ord är 1 000 tokens?

För engelsk text motsvarar 1 000 tokens ungefär 750 ord. Svensk text ger oftast färre ord per token, eftersom svenska ord delas upp i fler bitar.

Varför kräver svenska fler tokens än engelska?

Modellerna har i huvudsak tränats på engelsk text, så vanliga engelska ord blir ofta en enda token. Svenska ord, och särskilt långa sammansatta ord, delas oftare upp i flera.

Vill du lära dig mer om vårt AI-erbjudande?

Vi hjälper företag att identifiera, utveckla och implementera AI-lösningar som gör verklig skillnad.
mötesrum