Många har provat ChatGPT eller Claude och blivit imponerade av hur bra en språkmodell kan resonera och formulera svar. Men så fort frågan handlar om er egen verksamhet, era leverantörer, era avtal eller er interna data, stöter man snabbt på en vägg: modellen vet helt enkelt inget om det. Den är tränad på allmän information från internet, inte på er organisations data.
Det är här många företag inser att en ren språkmodell (LLM) inte räcker. Det som faktiskt behövs är ett sätt att låta modellen "prata med" er egen data, utan att den datan behöver skickas till en publik tjänst.
Varför inte bara använda ChatGPT eller Claude direkt?
För en hel del organisationer, särskilt inom offentlig sektor, finans eller andra reglerade branscher, är det inte ett alternativ att mata in känslig information i publika AI-tjänster. Det kan handla om personuppgifter, avtalsvillkor, prisuppgifter eller annan affärskritisk data som inte ska lämna den egna miljön. Även om leverantörerna har policyer kring datahantering, vill många organisationer helt enkelt inte ta risken, eller har regulatoriska krav som gör det omöjligt.
Lösningen är inte att avstå från AI, utan att använda en lösning där modellen kan resonera kring er data utan att datan i sig behöver skickas till en extern, publik tjänst.
Hur funkar det – RAG och embeddings på ett enkelt sätt
Tekniken som gör detta möjligt kallas RAG (Retrieval-Augmented Generation). I stället för att modellen gissar (hallucinerar) utifrån vad den lärt sig under träning, hämtar systemet först fram relevant information ur er egen data och ger sedan den informationen till modellen tillsammans med frågan. Svaret blir därmed grundat i fakta som faktiskt finns i er data, i stället för en gissning. Ett enkelt sätt att tänka på det: i stället för att fråga en person som aldrig sett era dokument, ger man personen dokumenten att läsa precis innan hen svarar.
För att hitta rätt information i en stor mängd dokument används embeddings, ett sätt att omvandla text till siffror som fångar textens betydelse. Två texter som handlar om liknande saker får siffror som ligger nära varandra, även om de inte innehåller exakt samma ord. Det gör det möjligt att söka efter betydelse i stället för exakta sökord: en fråga om "vilka avtal har vi med leverantörer inom IT-drift” kan hitta rätt dokument även om de i stället innehåller ord som supportavtal, hosting eller ett specifikt leverantörsnamn. I praktiken lagras alla era dokument som embeddings i en vektordatabas, och när någon ställer en fråga hittar systemet de mest relevanta dokumenten och skickar dem vidare till språkmodellen för att generera ett svar.
Vad krävs för att göra det här på ett säkert sätt?
Poängen med hela upplägget är att ingen data behöver lämna er miljö. Genom att köra både embeddings-databasen och språkmodellen inom er egen miljö i PRO(a)ACT kan man få samma typ av konversationsbaserade upplevelse som ChatGPT eller Claude, men helt inom ramarna för er egen datahantering och era säkerhetskrav.
