Vad är hallucination inom AI?

Hallucination innebär att en AI-modell presenterar felaktig eller påhittad information som om den vore korrekt. Svaret låter ofta övertygande, vilket gör felet svårt att upptäcka.

Varför hallucinerar AI?

En språkmodell slår inte upp fakta. Den formulerar det svar som verkar mest sannolikt utifrån det den har lärt sig. När den saknar kunskap om något svarar den ändå, och svaret blir då en rimlig gissning snarare än ett fel som syns.

Typiska exempel är påhittade källor, siffror och citat, förväxling av namn som liknar varandra och uppgifter som har hunnit bli inaktuella.

Att säga fel och att göra fel

Hur allvarlig en hallucination är beror på vad som händer med svaret. När en AI-assistent hallucinerar blir det ett felaktigt svar, som en människa ofta kan upptäcka innan något händer. När en AI-agent hallucinerar riskerar den att agera på fel grund, till exempel genom att skapa en felaktig rad i ett system eller skicka ett felaktigt meddelande.

Ju mer självständigt AI:n agerar, desto viktigare blir det att fånga felen i tid. Läs mer om autonomi.

Så minskar man risken

• Underlag: låt modellen svara utifrån verifierade källor, till exempel med RAG.
• Avgränsning: be i prompten om svar bara utifrån underlaget, och om ett tydligt "jag vet inte" när underlaget inte räcker.
• Behörighet: begränsa vad en agent får göra på egen hand.
• Granskning: låt en människa godkänna beslut som får konsekvenser.
• Spårbarhet: låt svaren hänvisa till källan, så att de går att kontrollera.

Hallucinationer går inte att ta bort helt. Men de går att göra ovanliga, och framför allt går det att se till att de upptäcks innan de får konsekvenser.