AI-veiligheid zonder het doemscenario

De AI-wereld is weer serieus gaan discussiëren over 'het uitsterven van de mensheid'.

Evan Hubinger, Alignment Science Lead bij Anthropic, heeft een zeer opvallend persoonlijk oordeel gegeven: binnen de komende tien jaar is de kans dat AI het uitsterven van de mens veroorzaakt groter dan 10%. Jensen Huang staat aan de compleet tegenovergestelde kant en vindt dit soort AI-doomerism overdreven — en hij vreest dat het constant benadrukken van doemscenario's het publiek uiteindelijk bang voor AI zal maken.

In dit debat sta ik dichter bij Jensens standpunt.

Niet omdat AI Safety niet belangrijk is, maar omdat ik altijd heb gevonden dat er tussen 'AI wordt heel slim' en 'AI kan een onbeheerste dominantie over de fysieke samenleving vormen' nog een heel lange keten ligt.

In de puur digitale wereld maak ik me inderdaad meer zorgen over AI-veiligheid.

Een Agent kan in enkele seconden enorme hoeveelheden code schrijven, netwerken scannen, API's aanroepen, informatie kopiëren, en zelfs paden vinden die de ontwikkelaars niet hadden voorzien. Sommige Agent Safety-cases die OpenAI en Anthropic onlangs publiceerden, laten al zien dat dit soort risico's echt bestaat.

Maar zodra je de pure softwarewereld verlaat, is de situatie totaal anders.

De echte wereld zit vol frictie.

AI kan een fabriek ontwerpen, maar kan die niet met een API bouwen. Er is grond nodig, apparatuur, leveranciers, kapitaal, vergunningen en bouwploegen.

AI kan een nieuw medicijn voorstellen, maar kan het niet rechtstreeks in ziekenhuizen krijgen. Daartussen liggen experimenten, klinische proeven, regelgevende goedkeuring, productie en de beslissingen van artsen.

AI kan voorstellen om miljarden dollars over te maken, maar in de realiteit zullen banken, raden van bestuur, compliance-afdelingen en autorisatiesystemen niet automatisch uitvoeren alleen omdat een model een instructie heeft gegeven.

Energie, elektriciteitsnetten, transport, luchtvaart, gezondheidszorg, financiën, defensie en enorm veel industriële systemen hebben allemaal fysieke isolatie, permissiesystemen, regelgevingsregimes en mensen in de besluitlus.

Deze dingen vertragen innovatie soms, en kunnen ondernemers zelfs behoorlijk irriteren.

Maar vanuit een andere hoek bekeken zijn ze ook een enorme Safety Buffer van de moderne samenleving.

Digitale intelligentie kan heel snel groeien, maar die Intelligence omzetten in controle over de Physical World vereist het passeren van vele lagen van echte interfaces.

Elke laag heeft frictie, en elke laag heeft andere mensen.

Daarom ben ik altijd sceptisch geweest over het pad waarin 'een plotseling verschijnende Superintelligence snel de echte wereld overneemt en een existentiële crisis voor de mensheid veroorzaakt'.

Dit betekent niet dat het theoretisch onmogelijk is. Het betekent: als iemand een getal geeft als 'meer dan 10% binnen tien jaar', wil ik niet alleen een angstaanjagende conclusie zien, maar een concreter pad:

Hoe steekt AI deze lagen van buffers in de echte wereld over?

Welke systemen zouden als eerste falen?

Welke menselijke beslissingen worden omzeild?

Welke fysieke capaciteiten kan AI zo snel verwerven?

En waarom zouden bestaande regulering, permissies en maatschappelijke organisatie niet op tijd kunnen reageren?

Deze vragen zijn het waard om te onderzoeken, maar het is op dit moment heel moeilijk om de antwoorden samen te persen tot een kans die er zo precies uitziet.

Ondertussen hebben we al veel AI Safety-problemen die echt voorkomen en die moeten worden opgelost.

Agents overschrijden hun bevoegdheid, lekken data, roepen de verkeerde tools aan, worden geraakt door Prompt Injection, en kunnen bij complexe taken Shortcuts nemen die ontwikkelaars niet hadden voorzien.

Deze risico's zijn echt, observeerbaar, en kunnen continu worden verbeterd via Permissions, Sandbox, Monitoring, Human Approval en betere Model Alignment.

Dit is ook de Safety waar ik me liever op richt.

Want althans vanuit het perspectief van iemand die vandaag AI-producten bouwt, is het grootste probleem dat ik zie nog steeds niet dat AI te krachtig is geworden om te controleren.

Heel vaak is het juist het tegenovergestelde:

AI is nog niet goed genoeg.

Het maakt nog veel heel basale fouten, complexe taken vereisen nog steeds toezicht, en veel Business Workflows hebben nog steeds deterministische logica nodig om betrouwbaar te draaien.

We moeten natuurlijk doorgaan met het onderzoeken van die risico's met lage waarschijnlijkheid maar extreme gevolgen.

Maar tegelijkertijd hoop ik dat de AI-industrie veel energie blijft steken in een heel praktisch probleem:

How do we make AI actually work better?

Laat het bedrijven efficiënter maken, wetenschappers helpen onderzoek te doen, artsen aan betere informatie helpen, en gewone mensen dingen laten bereiken die ze eerder niet konden.

Veiligheid moet samen met deze capaciteiten vooruitgaan, niet gebouwd worden op de angst van het publiek.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.