REPLIK. Om de mest kraftfulla ai-modellerna, som GTP-4, hade släppts med öppen källkod skulle de innebära oacceptabla samhällsrisker, skriver Olle Häggström.

Det här är en debattartikel. Åsikterna som framförs är skribentens egna.

I Ny Teknik 19 december skriver Johan Magnusson och Claire Ingram Bogusz om de stora fördelarna med öppen källkod på ai-området. Öppen källkod driver utvecklingen framåt, och när det gäller små och specialiserade ai-modeller för exempelvis medicinsk diagnosticering är konceptet enligt min mening till stor nytta.

Ändå är det fel, menar jag, att på Magnussons och Ingram Bogusz vis ensidigt och onyanserat hylla den öppna källkodens tillämpning på ai-området. Om öppen källkod tillämpades på de största och mest kraftfulla ai-modellerna – som exempelvis Open AI:s GPT-4, Anthropics Claude 2, och Google Deepminds Gemini – och på de ännu starkare ai som kan väntas släppas under 2024, skulle det innebära allvarliga och enligt min mening oacceptabla samhällsrisker.

Ai är nämligen inte som andra tekniker. Ofta jämförs den i betydelse med exempelvis boktryckarkonsten eller elektriciteten, men sanningen är att ai-teknikens potential att – på gott eller ont – transformera samhället är långt större än för något tidigare teknikgenombrott.

Intelligens är en så unikt kraftfull resurs att den automatisering och uppskalning av denna resurs som vi i och med ai-utvecklingen står inför kan ge oss lösningen på alla de stora samhällsutmaningar vi brottas med i dag: klimat, global hälsa, fattigdom, geopolitisk instabilitet, och så vidare. Det kräver dock att vi genomför omställningen rätt, med erforderlig försiktighet och säkerhetstänkande. Går vi för hastigt och ogenomtänkt fram kan vi rätt vad det är hamna i det läge som Alan Turing i ett framsynt föredrag redan 1951 pekade på, där vi människor inte längre är planetens mest intelligenta varelser, och riskera att förlora kontrollen.

Att Meta valt att släppa Llama-2 som öppen källkod är en brutal vandalisering av allas vår säkerhet.

Utvecklingen av de allra mest kraftfulla ai-modellerna går för närvarande rasande snabbt, och den situation Turing talade om kan realiseras snabbare än vi anar. Om vi inte innan dess löst den ai-säkerhetsproblematik som benämns AI Alignment, och som handlar om att se till att de första riktigt kraftfulla ai-systemen har mål och drivkrafter i linje med våra, kan vi vara illa ute. Dessvärre går AI Alignment-forskningen för närvarande betydligt trögare än utvecklingen av de största ai-modellerna. Detta betyder att den acceleration av utvecklingen som öppen källkod skulle leda till och som Magnusson och Ingram Bogusz tar för givet är av godo, i värsta fall skulle kunna leda till vår undergång.

När en brett kompetent modell som exempelvis GPT-4 lanseras kan nya förmågor hos den fortsätta att uppdagas många månader efter släppet. Om det visar sig att några av dessa pekar mot det slags kompetenser som bedöms som relevanta för ett eventuellt AI-maktövertagande – hit hör exempelvis autonom replikering och resursanskaffning samt social manipulation – kan det bli nödvändigt att dra tillbaka modellen. Om den släppts som öppen källkod är detta dock inte längre möjligt. Den viktiga avstängningsknappen har gått förlorad.

Ett annat problem med öppen källkod har att göra med ai-företagens tämjande av de stora ai-modellerna med så kallad RLHF (reinforcement learning with human feedback). Detta görs i syfte att hindra dem från rasistiska uttalanden, instruktioner om brottslig verksamhet och allehanda andra olämpliga beteenden. Om modellen släppts som öppen källkod kan illasinnade aktörer raskt träna bort denna RLHF-tämjning och få tillbaka dessa beteenden.

Vi kommer att behöva reglering av vad allt kraftfullare ai-modeller får lov att göra. Så länge vi håller oss till sluten källkod finns hopp om att det kan förbli någorlunda hanterbart, men om modellerna släpps som öppen källkod kommer ett upprätthållande av regleringen att förutsätta en gigantisk massövervakning som ger myndigheterna uppsikt över vad som händer på våra datorer, med potentiellt förödande följder för den personliga integriteten.

Vi kan skatta oss lyckliga att modeller som GPT-4, Claude 2 och Gemini inte har släppts som öppen källkod. Att Meta däremot valt att släppa Llama-2 som öppen källkod är en brutal vandalisering av allas vår säkerhet, och det är av yttersta vikt att de övergår till ett mer ansvarsfullt förhållningssätt i samband med eventuella framtida ännu kraftfullare modeller.

Olle Häggström, professor i matematisk statistik, Chalmers.