Hallucination

Vad är hallucination?

Hallucination innebär att en AI-modell presenterar felaktig eller påhittad information som om den var korrekt, utan att själv "veta" att den har fel. Det beror på att modellen genererar det svar som statistiskt sett verkar mest rimligt utifrån sin träning, snarare än att slå upp ett faktiskt facit.

Hos en AI-agent blir hallucination extra känsligt, eftersom agenten inte bara riskerar att säga fel – den riskerar att agera på fel grund, till exempel genom att skapa en felaktig rad i ett system eller skicka ett felaktigt meddelande. Riskerna minskar genom att koppla agenten till verifierade datakällor (se RAG), begränsa vilka åtgärder den får utföra på egen hand, och bygga in möjlighet för en människa att granska beslut innan de får konsekvens (human-in-the-loop).