Vad är ett kontextfönster?

Ett kontextfönster är den mängd text – frågor, instruktioner, tidigare svar och underlag – som en AI-modell kan hantera samtidigt i en och samma bearbetning. Allt utanför fönstret är osynligt för modellen i det ögonblicket, oavsett om det funnits med tidigare i en konversation.

För en AI-agent är storleken på kontextfönstret avgörande för hur komplexa uppgifter den kan hantera. En agent som ska resonera i flera steg, hålla koll på tidigare beslut och samtidigt bearbeta underlag från flera system behöver ett tillräckligt stort kontextfönster för att inte "tappa tråden". Ett för litet fönster gör att agenten riskerar att glömma viktig information mitt i en uppgift, vilket är en vanlig orsak till felaktiga eller ologiska beslut.

Hur stort är ett kontextfönster?

Kontextfönstret mäts i tokens, alltså de textbitar som modellen läser i. Dagens större modeller hanterar ofta hundratusentals tokens, och vissa över en miljon.

Ett större fönster betyder ändå inte att allt blir bättre. Mer text kostar mer, och modeller kan ha svårare att använda information som ligger mitt i en lång text.

Minne och urval

Det finns två sätt att ge en modell tillgång till mycket information. Det ena är att lägga allt i fönstret. Det andra är att bara hämta det som är relevant för just den frågan, vilket är vad RAG gör.

Det är sällan storleken på fönstret som avgör, utan vad man väljer att lägga i det.

Vanliga frågor

Vad är context window?

Context window är engelska för kontextfönster, alltså den mängd text som en AI-modell kan hantera samtidigt.

Vad händer när kontextfönstret är fullt?

Då faller de äldsta delarna av samtalet eller underlaget bort, eller måste sammanfattas. Modellen kan då "glömma" instruktioner eller uppgifter från början av konversationen.

Är ett större kontextfönster alltid bättre?

Inte nödvändigtvis. Ett större fönster rymmer mer, men mer text kostar mer, och modellen kan ha svårare att använda information som ligger mitt i en lång text. Ofta ger ett bättre urval av underlag mer än ett större fönster.

Vill du lära dig mer om vårt AI-erbjudande?

Vi hjälper företag att identifiera, utveckla och implementera AI-lösningar som gör verklig skillnad.
mötesrum