Vad är multimodal AI?
Multimodal AI är AI som kan förstå och hantera flera typer av information, som text, bild, ljud och video, i samma modell. Flera av de stora språkmodellerna i dag är multimodala och kan till exempel läsa en bild eller ett skannat dokument.
Vad betyder multimodal?
En modalitet är en typ av information. En modell som bara hanterar text är unimodal. En multimodal modell kan kombinera flera typer, till exempel ta emot ett foto av ett kvitto tillsammans med frågan "hur mycket är momsen?" och svara utifrån båda.
Multimodal AI i verksamheten
- Dokument: tolka fakturor, följesedlar och avtal, även som PDF eller skannade bilder.
- Bild: kontrollera foton, till exempel vid en skadeanmälan eller en leverans.
- Ljud: transkribera och sammanfatta samtal och möten.
- Skärm: förstå skärmbilder, diagram och tabeller.
För en AI-agent betyder multimodalitet att den kan hantera informationen som den faktiskt kommer in, som en inskannad faktura eller ett foto, utan att någon först behöver föra över den manuellt. Det är ofta där den praktiska nyttan finns: inte i att AI kan se, utan i att den kan läsa det som tidigare krävde en människa.