AI bezbednost bez sudnjeg dana

AI svet je ponovo počeo ozbiljno da raspravlja o „izumiranju čovečanstva".

Evan Hubinger, Alignment Science Lead u Anthropic, dao je veoma upečatljivu ličnu procenu: u narednih deset godina, verovatnoća da AI izazove izumiranje čovečanstva prelazi 10%. Jensen Huang stoji na potpuno suprotnoj strani, smatrajući da je ovakav AI doomerism preuveličan — i brinući da će stalno isticanje apokaliptičnih scenarija na kraju uplašiti javnost od AI.

U ovoj raspravi, ja sam bliži Jensenovom stavu.

Ne zato što AI Safety nije važan, već zato što oduvek smatram da između „AI postaje veoma pametan" i „AI može da ostvari nekontrolisanu dominaciju nad fizičkim društvom" postoji još veoma dug lanac.

U čisto digitalnom svetu, ja se zaista više brinem o AI bezbednosti.

Agent može za nekoliko sekundi da napiše ogromne količine koda, skenira mreže, poziva API-je, kopira informacije, pa čak i da pronađe puteve koje njegovi programeri nisu predvideli. Neki od Agent Safety slučajeva koje su OpenAI i Anthropic nedavno objavili već pokazuju da je ovakav rizik stvaran.

Ali čim izađemo iz čistog softverskog sveta, situacija je potpuno drugačija.

Stvarni svet je pun trenja.

AI može da dizajnira fabriku, ali ne može da je izgradi preko API-ja. Potrebna su joj zemljišta, oprema, dobavljači, kapital, dozvole i građevinske ekipe.

AI može da predloži novi lek, ali ne može direktno da ga uvede u bolnice. Između su eksperimenti, klinička ispitivanja, regulatorna odobrenja, proizvodnja i odluke lekara.

AI može da predloži transfer milijardi dolara, ali u stvarnosti banke, odbori, compliance odeljenja i sistemi autorizacije neće automatski izvršiti samo zato što je model dao instrukciju.

Energetika, elektromreže, saobraćaj, avijacija, zdravstvo, finansije, odbrana i ogroman broj industrijskih sistema — svi imaju fizičku izolaciju, sisteme dozvola, regulatorne režime i ljude u petlji odlučivanja.

Ove stvari ponekad usporavaju inovacije, a mogu čak i veoma da nerviraju preduzetnike.

Ali gledano iz drugog ugla, one su takođe ogroman Safety Buffer modernog društva.

Digitalna inteligencija može da raste veoma brzo, ali pretvaranje te Intelligence u kontrolu nad Physical World zahteva prolazak kroz mnoge slojeve interfejsa stvarnog sveta.

Svaki sloj ima trenje, i svaki sloj ima druge ljude.

Zato sam oduvek skeptičan prema putanji u kojoj „iznenada pojavljena Superintelligence brzo preuzima stvarni svet i stvara egzistencijalnu krizu za čovečanstvo".

To ne znači da je teoretski nemoguće. To znači: ako neko daje brojku poput „preko 10% u roku od deset godina", ono što želim da vidim nije samo zastrašujući zaključak, već konkretniju putanju:

Kako AI prelazi ove slojeve stvarnih bafera?

Koji sistemi bi prvi otkazali?

Koje ljudske odluke bi bile zaobilažene?

Koje fizičke sposobnosti AI može tako brzo da stekne?

I zašto postojeća regulativa, dozvole i društvena organizacija ne bi stigle da reaguju?

Ova pitanja vredna su istraživanja, ali trenutno je veoma teško sabiti odgovore u verovatnoću koja izgleda tako precizno.

U međuvremenu, već imamo mnogo AI Safety problema koji se stvarno dešavaju i koje treba rešiti.

Agenti prelaze svoja ovlašćenja, cure podaci, pozivaju pogrešne alate, trpe Prompt Injection, i mogu u složenim zadacima da uzmu Shortcut koji programeri nisu predvideli.

Ovi rizici su stvarni, uočljivi, i mogu se stalno poboljšavati kroz Permissions, Sandbox, Monitoring, Human Approval i bolji Model Alignment.

Ovo je takođe Safety na koji radije želim da se fokusiram.

Jer bar iz perspektive nekoga ko danas pravi AI proizvode, najveći problem koji vidim i dalje nije da je AI postao previše moćan da bi se kontrolisao.

Vrlo često je upravo suprotno:

AI još nije dovoljno dobar.

I dalje pravi mnogo veoma osnovnih grešaka, složeni zadaci i dalje zahtevaju nadzor, a veliki broj Business Workflow-a i dalje treba determinističku logiku da bi pouzdano radio.

Naravno da treba da nastavimo da istražujemo one rizike male verovatnoće ali ekstremnih posledica.

Ali istovremeno, više bih voleo da AI industrija nastavi da ulaže ogromnu energiju u veoma praktičan problem:

How do we make AI actually work better?

Neka pomaže preduzećima da budu efikasnija, naučnicima da istražuju, lekarima da dobiju bolje informacije, i običnim ljudima da urade ono što ranije nisu mogli.

Bezbednost treba da napreduje zajedno sa ovim sposobnostima, a ne da se gradi na strahu javnosti.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.