Hur AI gick från tankeexperiment till din telefon

Det känns som att AI kom från ingenstans och tog över världen. Så är det inte riktigt. Det tog över 70 år och krävde flera återvändsgränder och ett grafikkort för tv-spel för att utveckla den AI:n vi tar för givet nu. Och om man kan den storyn så förstår man det vi ser idag mycket bättre.

1950. Can machines think?

Den brittiske matematikern Alan Turing ställde just den här frågan i en vetenskaplig artikel 1950. Han ångrade sig dock nästan omgående och menade att det var fel fråga att ställa. Istället ersatte han den med en utmaning som faktiskt skulle gå att testa: The Imitation Game. Hans hypotes var att om en maskin kan föra en konversation så väl att den inte går att skilja från en människa, så kan man i praktiken säga att den “tänker”. Även om hypotesen inte gick att pröva då, lade den grunden för modern artificiell intelligens som forskningsfält.

1956. Regler - det första försöket

Forskarna vid Dartmouth College + originalförslaget till Dartmouth Summer Research Project on Artificial Intelligence

En grupp forskare samlades vid Dartmouth College, varav en av dem, John McCarthy lanserade begreppet “artificiell intelligens”. Tanken var att intelligens kunde kokas ner till fasta regler. Om man skrev tillräckligt många regler, skulle maskinen till slut kunna tänka.

Men den tänkte inte, den räknade. Och man kan inte räkna fram hur man känner igen en persons ansikte eller hur man förstår ett pappaskämt. Forskarna körde fast och pengarna tog slut.

Under 70- och 80-talet blev det så kallad AI-vinter. Regeringar och investerare drog sig ur då forskningen inte kunde leva upp till förväntningarna.

1986. Backpropagation bröt mönstret

Tre forskare - David Rumelhart, Geoffrey Hinton och Ronald Williams - publicerade artikeln “Learning representations by backpropagating errors” i tidskriften Nature. Alltså ungefär: Representationsinlärning genom bakåtfortplantning av fel. Det var inget nytt koncept, men de var först med att applicera det på neurala nätverk.

Vänta - vad är ett neuralt nätverk? Se det som en mjukvara (software) som är löst modellerad efter den mänskliga hjärnan. Det är ett system av olika lager. Data kommer in, exempelvis ett foto, som bearbetas genom en rad mellanliggande lager som sedan spottar ut sig svaret “det är en hund”. Varje lager har “noder” som tar emot ett värde och gör en uträkning. Kopplingarna mellan dessa har olika “vikter” och avgör hur mycket en nod påverkar nästa nod. När nätet gissar fel justeras vikterna. När tusentals noder och lager samverkar kan systemet till slut känna igen ansikten eller översätta språk.

I praktiken betyder det att maskinen gissar, gör fel, letar rätt på vilken del som orsakade felet, rättar till det och försöker igen. Den gör det här miljontals gånger tills det blir rätt. Backpropagation var lösningen på hur man automatiskt justerar dessa vikter.

Det här var ett stort framsteg, men det fanns två problem. 1) Man behövde enorma mängder data och 2) datorerna var helt enkelt inte tillräckligt kraftfulla. Det ledde till att tekniken blev liggande i nästan 20 år.

2007-2012. ImageNet, TV-spel och AlexNet

År 2007 började forskaren Fei-Fei Li bygga en av de största databaserna med märkta bilder som någonsin skapats. Hon kallade den ImageNet. I databasen fanns bilder med tillhörande “etiketter”: en katt var märkt “katt”, ett bord var märkt “bord”. Tillsammans med hennes team märkte de totalt 1,2 miljoner bilder.

Detta gjorde det plötsligt praktiskt möjligt att träna neurala nätverk. Nu kunde de öva på ett komplett facit över den visuella världen, istället för att gissa sig fram.

Samtidigt behövde TV-spelbranschen bättre chip för att kunna göra miljontals enkla beräkningar samtidigt (för att räkna ut färg och rörelse på miljontals pixlar). De byggde därför ett chip som kallas GPU (grafikprocessor). Företaget Nvidia la årtionden och miljarder dollar på att göra dessa snabbare och mer kraftfulla. Frågan om dessa GPU:er även kunde användas för neurala nätverk blev snabbt ett hett ämne.

Varje år höll ImageNet en tävling där olika program kunde tävla i att identifiera föremål i foton. De bästa programmen brukade ha fel i ungefär 25% av fallen. 2012 ställde Geoffrey Hinton (han med Backpropagation) upp med ett team och programmet AlexNet, som körde på GPU:er. AlexNet sänkte felmarginalen till bara 16%.

De kombinerade alltså den gamla metoden (backpropagation) med den nya kraften från GPU:erna och mängder av data från ImageNet. Det blev vändpunkten för “deep learning”. Nu kunde AI plötsligt “se”.

(Hinton arbetade inte i ett vakuum. Forskare som Yann LeCun hade lagt grunden för neurala nätverk inom computer vision (alltså datorseende) ända sedan slutet av 1980-talet)

2016. AlphaGo besegrar Lee Sedol i Go

Nu visste forskarna att AI kunde se. Men kunde den resonera?

Demis Hassabis (neuroforskare och grundare av Deepmind, numera ägt av Google) ville testa detta. Han valde brädspelet Go eftersom det är så komplext att det finns fler möjliga positioner än vad som är möjligt att räkna ut i förväg. Man kan inte “räkna” sig till en vinst mot en människa på samma sätt som i schack. För att vinna krävs mönsterigenkänning, intuition och omdöme.

Hassabis tränade programmet AlphaGo genom att låta det spela mot sig självt miljontals gånger. Det lärde sig av varje parti och justerade sina “vikter”. År 2016 vann AlphaGo med 4-1 mot världsmästaren Lee Sedol. I det andra partiet gjorde AlphaGo ett drag (drag 37) som var så oväntat att kommentatorerna trodde det var ett misstag. Lee Sedol kallade det senare “vackert” eftersom en maskin hade fattat ett genuint kreativt beslut.

Sedol är den enda människan som någonsin vunnit ett parti mot AlphaGo. Han gick i pension 2019 och sa då att det inte längre fanns någon mening med att spela professionellt eftersom han aldrig skulle kunna mäta sig med AI.

2017. Transformatorn (The Transformer) gör entré

AI kunde nu både se och resonera, men den kunde fortfarande inte föra en konversation.

År 2017 läste maskiner text sekventiellt, alltså ett ord i taget, från vänster till höger. När den nådde slutet av meningen hade den redan glömt början (någon som känner igen sig?). Det största problemet var kontext.

Språk bygger på ord som bygger på sammanhang. Ta meningen “Hon såg mannen med hunden” - vems hund är det? Hennes eller hans? Ordet “plan” betyder en sak om man flyger och en annan sak om man planerar. En människa förstår det tack vare sammanhanget.

År 2017 publicerade åtta forskare på Google artikeln “Attention is All You Need” som introducerade transformer-arkitekturen.

I korhet innebär det att transformatorn läser alla ord samtidigt och samtidigt räknar ut ett “värde” för hur varje ord förhåller sig till alla andra ord i samma mening. Den väger alltså relationerna mellan orden. Det här sker genom något som kallas “learned attention” (inlärd uppmärksamhet). Det var en radikal idé.

Det här betydde också att modellerna kunde tränas på betydligt mycket mer data (texter). Med mer data, mer beräkningskraft och fler parametrar skapade modellerna förbättringar som överraskade till och med forskarna som hade byggt dem.

2020-. Från forskning till 100 miljoner användare på två månader

År 2020 lanserade företaget OpenAI GPT-3, en språkmodell som kunde skapa text, föra samtal och översätta språk från en enkel instruktion (prompt). Två år senare paketerade de tekniken i ett en produkt (chatbot): ChatGPT. Den nådde 100 miljoner användare på bara två månader.

ChatGPT bygger på transformer-arkitekturen - och det gör de flesta konkurrenter såsom Gemini (Google), Claude (Anthropic) och Copilot (Microsoft). Det finns modeller som är byggda på andra tekniker, men transformatorn gjorde det möjligt för AI att sättas i händerna på vanliga människor.

För att sammanfatta; varje app som sammanfattar dina nyheter, svarar på frågor eller skriver fina mail vilar på beslut som fattats i universitetslabb och forskningscenter under en väldigt lång tid.

Den korta versionen

• 1950 - Alan Turing frågar: Kan en maskin tänka?

• 1956 - Forskare försöker skriva intelligens som regler. Det går inte så bra.

• 1970-80-talen - Pengarna tar slut. AI-vinter. Intresset svalnar.

• 1986 - Backpropagation introduceras. Dock för tidigt, datorerna är för svaga.

• 2007 - Fei-Fei Li bygger ImageNet; 1,2 miljoner märkta bilder för maskiner att träna på

• 2012 - AlexNet körs på GPUs utvecklade för TV-spel och halverar (nästan) felmarginalen för bildigenkänning. Deep Learning tar fart.

• 2016 - AlphaGo besegrar världsmästaren i Go. En masking fattar ett kreativt beslut.

• 2017 - Google presenterar “Attention is All You Need” och introducerar Transformatorer som förändrar allt

• 2020 - GPT-3 lanseras. Två år senare når ChatGPT 100 miljoner användare på 60 dagar.