Bezpieczeństwo AI bez apokalipsy

Świat AI znów zaczął poważnie dyskutować o „wyginięciu ludzkości".

Evan Hubinger, Alignment Science Lead w Anthropic, podał bardzo zaskakującą osobistą ocenę: w ciągu najbliższej dekady prawdopodobieństwo, że AI spowoduje wyginięcie ludzkości, przekracza 10%. Jensen Huang stoi po całkowicie przeciwnej stronie, uważając ten AI doomerism za przesadzony — i obawiając się, że ciągłe podkreślanie scenariuszy zagłady ostatecznie sprawi, że społeczeństwo zacznie się bać AI.

W tej debacie jestem bliżej stanowiska Jensena.

Nie dlatego, że AI Safety jest nieważne, ale dlatego, że zawsze uważałem, iż między „AI staje się bardzo inteligentne" a „AI może sprawować niekontrolowaną dominację nad społeczeństwem fizycznym" leży jeszcze bardzo długi łańcuch.

W czysto cyfrowym świecie rzeczywiście bardziej martwię się o bezpieczeństwo AI.

Agent może w kilka sekund napisać ogromne ilości kodu, skanować sieci, wywoływać API, kopiować informacje, a nawet znajdować ścieżki, których deweloperzy nie przewidzieli. Niektóre opublikowane niedawno przez OpenAI i Anthropic przypadki Agent Safety już pokazują, że tego rodzaju ryzyko jest realne.

Ale kiedy opuszczamy czysty świat oprogramowania, sytuacja wygląda zupełnie inaczej.

Prawdziwy świat jest pełen tarcia.

AI może zaprojektować fabrykę, ale nie może jej zbudować przez API. Potrzebuje gruntów, sprzętu, dostawców, kapitału, pozwoleń i ekip budowlanych.

AI może zaproponować nowy lek, ale nie może sprawić, by trafił prosto do szpitali. Po drodze są eksperymenty, badania kliniczne, zatwierdzenia regulacyjne, produkcja i decyzje lekarzy.

AI może zasugerować transfer miliardów dolarów, ale w rzeczywistości banki, rady nadzorcze, działy compliance i systemy autoryzacji nie wykonają tego automatycznie tylko dlatego, że model wydał instrukcję.

Energetyka, sieci elektroenergetyczne, transport, lotnictwo, ochrona zdrowia, finanse, obronność i ogromna liczba systemów przemysłowych mają fizyczną izolację, systemy uprawnień, reżimy regulacyjne i ludzi w pętli decyzyjnej.

Te rzeczy czasem spowalniają innowacje, a nawet potrafią bardzo drażnić przedsiębiorców.

Ale spojrzone z innej strony są też ogromnym Safety Buffer współczesnego społeczeństwa.

Inteligencja cyfrowa może rosnąć bardzo szybko, ale przekucie tej Intelligence w kontrolę nad Physical World wymaga przejścia przez wiele warstw rzeczywistych interfejsów.

Każda warstwa ma tarcie, i każda warstwa ma innych ludzi.

Dlatego zawsze byłem sceptyczny wobec ścieżki, w której „nagle pojawiająca się Superintelligence szybko przejmuje prawdziwy świat i tworzy egzystencjalny kryzys dla ludzkości".

To nie znaczy, że jest to teoretycznie niemożliwe. To znaczy, że jeśli ktoś podaje liczbę jak „ponad 10% w ciągu dziesięciu lat", chcę zobaczyć nie tylko przerażającą konkluzję, ale bardziej konkretną ścieżkę:

Jak AI przekracza te warstwy rzeczywistych buforów?

Które systemy zawiodą najpierw?

Które ludzkie decyzje zostaną ominiete?

Jakie fizyczne zdolności AI może tak szybko zdobyć?

I dlaczego istniejące regulacje, uprawnienia i organizacja społeczna nie zdążyłyby zareagować?

Te pytania są warte badania, ale obecnie bardzo trudno ścisnąć odpowiedzi w prawdopodobieństwo wyglądające tak precyzyjnie.

Tymczasem mamy już wiele naprawdę występujących problemów AI Safety do rozwiązania.

Agenty przekraczają swoje uprawnienia, wyciekają dane, wywołują złe narzędzia, padają ofiarą Prompt Injection i mogą w złożonych zadaniach wybierać Shortcut, których deweloperzy nie przewidzieli.

Te ryzyka są realne, obserwowalne i można je stale poprawiać przez Permissions, Sandbox, Monitoring, Human Approval i lepszy Model Alignment.

To jest też Safety, na którym wolę się skupiać.

Bo przynajmniej z perspektywy osoby budującej dziś produkty AI, największy problem, który widzę, to wciąż nie to, że AI stało się zbyt potężne, by je kontrolować.

Bardzo często jest dokładnie odwrotnie:

AI nie jest jeszcze wystarczająco dobre.

Nadal popełnia wiele bardzo podstawowych błędów, złożone zadania wciąż wymagają nadzoru, a wiele Business Workflow nadal potrzebuje deterministycznej logiki, by działać niezawodnie.

Oczywiście powinniśmy dalej badać te ryzyka o niskim prawdopodobieństwie, ale ekstremalnych konsekwencjach.

Ale jednocześnie chciałbym, żeby branża AI nadal wkładała ogromną energię w bardzo praktyczny problem:

How do we make AI actually work better?

Niech pomaga firmom zwiększać efektywność, naukowcom prowadzić badania, lekarzom zdobywać lepsze informacje, a zwykłym ludziom osiągać rzeczy, których wcześniej nie mogli osiągnąć.

Bezpieczeństwo powinno rosnąć razem z tymi zdolnościami, a nie być budowane na strachu społeczeństwa.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.