Genial och korkad på samma gång: så fungerar AI egentligen

Om du använder AI-chattar är du väl medveten om att man ibland får rent ut sagt korkade svar. Exempelvis räknar den fel på enkla mattetal, påstår med övertygelse att det är 2024 eller hittar på ord som inte finns. Hur kan något som är så smart också vara så korkat? Det är en riktigt bra fråga.

Att förstå logiken bakom AI-teknik förändrar hur man använder AI, hur man ser på svaren man får och framförallt gör det att du slutar bli förvånad när den ger dig pinsamt felaktiga svar.

Efter det här inlägget kommer du kunna:

• Förklara vad en transformer är och varför den förändrade allt för AI

• Beskriva hur AI ger ord olika “vikter“ för att förstå sammanhang

• Förklara hur AI förutsäger ord snarare än att veta eller “slå upp” fakta

Om du inte redan gjort det, läs gärna 1. Hur AI gick från tankeexperiment till din telefon. Där får du veta hur dagens AI är ett resultat av uppfinningar som sträcker sig 70 år tillbaka i tiden.

Grunderna i modern AI

Om du har sett The Big Short (som handlar om finanskrisen 2008) kanske du kommer ihåg när Ryan Gosling säger “Bostadsobligationer. Subprimelån. Trancher. Det är rätt förvirrande, eller hur? Blir du uttråkad? Eller känner du dig dum? Det är meningen. Wall Street älskar krångliga termer för att det får dig att tro att bara de kan göra det de gör. Eller ännu hellre: för att få dig att lämna dem ifred. Så, här är Margot Robbie i ett bubbelbad för att förklara.”

Artificiell intelligens, machine learning, RAG.. det kan bli snurrigt rätt snabbt. Som tur är behöver du inte förstå allt i grunden för att ändå förstå hur AI ger dig svar på dina frågor.

The transformer & attention

År 2017 publicerade åtta forskare på Google rapporten “Attention is All You Need”. Den introducerade något som kallas för en transformer. Ordet attention är nyckeln till att förstå hur det fungerar.

Språk handlar helt om sammanhang. Ta till exempel ordet “fil“. Det betyder en sak när du äter frukost, en annan när du kör bil och en tredje när du jobbar med en dator. Vi människor fattar det här direkt och omedvetet på grund av kontext, men maskiner har tidigare haft svårt för det.

Det berodde på att maskiner, innan 2017, läste text sekventiellt - alltså ett ord i taget, från vänster till höger. Konsekvensen av det var att när de nådde slutet av meningen, hade de glömt början av den. Det kan man väl ändå relatera till. Sammanhanget gick förlorat innan det hann bli användbart.

Transformer-arkitekturen löste detta genom en radikal idé.

Istället för att läsa ett ord i taget, från vänster till höger, läser den alla ord samtidigt. I samma process räknar den ut förhållandet mellan varje enskilt ord och alla andra ord i samma mening. Den tilldelar dem “vikter”, alltså siffror som representerar hur starkt ord och idéer tenderar att hänga ihop i ett naturligt språk. Ju högre vikt, desto starkare koppling.

Vi tar ett exempel

Exempelmening: Hon såg mannen med teleskopet

Vem har teleskopet i den här meningen?

En människa kan snabbt räkna ut att det är hon som har det, men en AI-modell räknar fram det. Under sin träning läser modellen enorma mängder text och lär sig att teleskop oftare används av den som observerar än den som blir observerad. Den kunskapen lagras som vikter:

• Hon + teleskop = höga poäng

• Man + teleskop = lägre poäng

Högst poäng vinner. Det kallas för attention eftersom modellen bokstavligen bestämmer vilka ord som förtjänar mest uppmärksamhet för att förstå meningen.

Att förutsäga nästa ord

Allt detta har ett syfte: att förutsäga det mest sannolika nästa ordet. Modellen har tränats på alla möjliga kombinationer. Om du skriver “Himmelen är..” så väljer modellen mellan ord baserat på sannolikhet. Den kan vara “blå”, “klar”, “molnig” och så vidare. Den gör detta, ett ord i taget, tills den har gett dig ett komplett svar.

Låt oss titta på ett praktiskt exempel

Din fråga: Vad är Frankrikes huvudstad?

Hur kommer den fram till Paris?

Modellen “letar” inte efter svaret i en databas. Det mest sannolika nästa ordet i ett svar (baserat på sin träningsdata) är “Frankrikes”. Sedan “huvudstad”, sedan “är”, och till sist “Paris”. Den svarar Paris, inte för att den “vet” att det är Frankrikes huvudstad, utan för att det är det ord som statistisk sett nästan alltid följer den ordsekvensen.

Varifrån lär sig AI?

Idag är AI-bolagen mindre öppna med exakt hur mycket data som används, men vi kan använda OpenAI som exempel. När GPT-3 släpptes år 2020 hade den tränats på 500 miljarder ord. Modeller idag tränas på mångdubbelt fler ord.

För att ens kunna läsa 500 miljarder ord behöver man i princip läsa hela internet. En ideell organisation som heter Common Crawl hade i tysthet kopierat hela internet sen 2008 (allt från artiklar och forum till kommentarsfält). Modellerna bearbetar informationen som siffror och justerar sina vikter varje gång en gissning blir fel.

AI lär sig främst från tre källor:

1. Internet: miljarder sidor, artiklar, forum, Wikipedia. Allt.

2. Böcker: otroliga mängder digitaliserade böcker.

3. Kod: de använder öppna kodarkiv (repositories) såsom GitHub

Hur människor hjälper till att forma AI

Att läsa hela internet innebär också att läsa det sämsta av mänskligt beteende. Därför anställer AI-bolagen människor som granskar svaren, rättar fel och lär modellerna skillnaden mellan hjälpsamma och skadliga svar. Detta kallas för Reinforcement Learning from Human Feedback (RLHF). Vi kommer djupdyka mer i detta senare.

Så genial, oftast

Med risk för att låta barsk: AI “vet” ingenting. Låt mig förklara.

När du ställer en fråga till en AI-chatbot slår den inte upp någon fakta. Den gissar. Detta även när en AI söker på internet (vilket många gör) då svaret genereras genom förutsägelse, inte genom ren avskrift. Och ibland gissar den fel.

Den obekväma sanningen är att den inte vet att den har fel.

Ett exempel på när detta kan bli farligt. Om du frågar en AI om dosering av en medicin kan den ge dig ett svar som låter rimligt, men som är farligt för din hälsa. Den försöker inte lura dig, men sekvensen “200mg två gånger om dagen” förekommer ofta i medicinska texter och “passar” därför in i mönstret för hur ett svar “ska se ut”.