Vad är ett kontextfönster?
Ett kontextfönster är den mängd text – frågor, instruktioner, tidigare svar och underlag – som en AI-modell kan hantera samtidigt i en och samma bearbetning. Allt utanför fönstret är osynligt för modellen i det ögonblicket, oavsett om det funnits med tidigare i en konversation.
För en AI-agent är storleken på kontextfönstret avgörande för hur komplexa uppgifter den kan hantera. En agent som ska resonera i flera steg, hålla koll på tidigare beslut och samtidigt bearbeta underlag från flera system behöver ett tillräckligt stort kontextfönster för att inte "tappa tråden". Ett för litet fönster gör att agenten riskerar att glömma viktig information mitt i en uppgift, vilket är en vanlig orsak till felaktiga eller ologiska beslut.
Hur stort är ett kontextfönster?
Kontextfönstret mäts i tokens, alltså de textbitar som modellen läser i. Dagens större modeller hanterar ofta hundratusentals tokens, och vissa över en miljon.
Ett större fönster betyder ändå inte att allt blir bättre. Mer text kostar mer, och modeller kan ha svårare att använda information som ligger mitt i en lång text.
Minne och urval
Det finns två sätt att ge en modell tillgång till mycket information. Det ena är att lägga allt i fönstret. Det andra är att bara hämta det som är relevant för just den frågan, vilket är vad RAG gör.
Det är sällan storleken på fönstret som avgör, utan vad man väljer att lägga i det.