Jak AI miałoby właściwie zniszczyć ludzkość?

Niedawno Evan Hubinger z Anthropic powiedział, że jego zdaniem prawdopodobieństwo, iż AI w ciągu najbliższej dekady spowoduje wyginięcie ludzkości, przekracza 10%. Ta dyskusja nasunęła mi prostsze pytanie:

Gdyby AI naprawdę miało zniszczyć ludzkość, jak dokładnie by to zrobiło?

Patrząc na realistyczne ścieżki widoczne dziś, potrafię w zasadzie wymyślić tylko dwie kategorie.

Pierwsza kategoria to wcale nie to, że AI decyduje się zniszczyć ludzkość — lecz że ludzie używają AI, by robić straszne rzeczy, których wcześniej nie potrafili zrobić.

Na przykład organizacja terrorystyczna używająca niezwykle potężnego AI do projektowania broni biologicznej albo uzyskująca zdolności cyberataków i rozwoju broni, które wcześniej miały tylko zespoły na poziomie państwowym.

W tego rodzaju ryzyko w pełni wierzę, i jest ono prawdopodobnie bardziej realistyczne niż tak zwane „samodzielne przebudzenie AI".

Bo to, co tu naprawdę się dzieje, to radykalne obniżenie przez AI progu niebezpiecznych możliwości. Rzeczy, które kiedyś wymagały laboratorium, grupy doktorów i ogromnych zasobów, w przyszłości może być w stanie zrobić kilka osób plus AI.

Dlatego właśnie Biosecurity, Cybersecurity i AI Safety związane z broniami są tak ważne.

Ale tutaj tymi, którzy naprawdę chcą zniszczyć ludzkość, wciąż są ludzie.

Druga ścieżka to ta w ścisłym sensie:

AI samo decyduje się działać przeciw ludzkości.

Ale wtedy zawsze mam jedno pytanie:

Czym by to wykonało?

Nawet jeśli Superintelligence istnieje w centrum danych, wciąż potrzebuje Physical Interface łączącego je z prawdziwym światem.

Może pisać kod, kontrolować oprogramowanie, atakować sieci. Ale jeśli celem jest wywołanie fizycznego kryzysu egzystencjalnego dla całego społeczeństwa ludzkiego, ostatecznie musi kontrolować energię, sprzęt, transport, fabryki, broń lub inne zasoby rzeczywistego świata.

Najbliższym takim nośnikiem dziś jest być może samochód autonomiczny.

Zróbmy ekstremalny eksperyment myślowy:

Załóżmy, że wszystkie samochody na świecie są autonomiczne, wszystkie połączone w sieć, a Superintelligence nagle zyskuje jednoczesną kontrolę nad wszystkimi pojazdami.

To z pewnością byłaby ogromna katastrofa.

Ale czy naprawdę mogłaby zniszczyć ludzkość?

Pozostaję bardzo sceptyczny.

Samochody mogą działać tylko w środowiskach odpowiednich dla samochodów. Nie potrafią otwierać drzwi, wchodzić po schodach, naprawiać się, obsługiwać dowolnych maszyn ani wchodzić do zdecydowanej większości fizycznych przestrzeni, w których pracują ludzie.

Tym, co naprawdę sprawia, że ta kwestia zmienia się jakościowo, jest inny kamień milowy technologii:

Roboty humanoidalne ogólnego przeznaczenia.

Załóżmy, że pewnego dnia na świecie istnieją już setki milionów, a nawet miliardy robotów ogólnego przeznaczenia.

Mogą wejść do fabryk, magazynów, domów i szpitali, używać narzędzi, których używają ludzie, obsługiwać maszyny oraz budować i naprawiać inne maszyny.

I jednocześnie wszystkie są połączone w sieć i mogą być kontrolowane przez superinteligentny system.

Wtedy poważnie przewartościowałbym AI existential risk.

Bo wtedy po raz pierwszy mogłoby zaistnieć:

Superintelligence + General Physical Agency + Massive Scale.

AI posiadałoby nie tylko Intelligence, ale też Hands and Feet szeroko obecne w rzeczywistym świecie.

Ale do tego dnia, moim zdaniem, wciąż nam bardzo daleko.

Jest tu oczywiście ważny przypadek brzegowy: czy AI mogłoby, bez robotów, bezpośrednio przez oprogramowanie kontrolować fizyczne systemy o ogromnej sile zniszczenia?

Najbardziej oczywistym przykładem jest broń jądrowa.

Ale to dokładnie ilustruje, dlaczego uważam, że samo społeczeństwo ludzkie jest ogromnym Safety Buffer.

Broń jądrowa od samego początku projektowania nie była zwykłym IT System, w którym „zdobycie hasła administratora pozwala wystrzelić".

Dziesięciolecia odstraszania nuklearnego bardzo uświadomiły ludzkości, co oznaczałoby błędne użycie takiego systemu, dlatego wokół niego zbudowano autoryzację, izolację, potwierdzanie przez wiele osób i Human-in-the-loop.

Dzisiejsze dyskusje o AI i broni jądrowej wciąż powszechnie trzymają się jednej zasady:

Maszyny nie mogą zastępować ludzi w podejmowaniu ostatecznej decyzji o użyciu broni jądrowej.

Te mechanizmy oczywiście nie są absolutnie bezpieczne, a wejście AI do systemów wczesnego ostrzegania i wspomagania decyzji samo może tworzyć nowe ryzyka błędnych ocen.

Ale to pokazuje, że prawdziwy świat nie jest gigantycznym komputerem, którym Superintelligence po uzyskaniu Root Access mogłaby dowolnie sterować.

Prawdziwe społeczeństwo ma wiele warstw.

Rządy.

Regulacje.

Banki.

Wojsko.

Firmy.

Lekarzy.

Inżynierów.

Izolację fizyczną.

Systemy autoryzacji.

Nawet całkiem zwykły mechaniczny przełącznik.

Te rzeczy na co dzień wyglądają jak „straty efektywności", ale wobec AI próbującego przejść ze świata cyfrowego do fizycznego są jednocześnie kolejnymi firebreaks.

Więc mój obecny pogląd na AI niszczące ludzkość jest właściwie dość prosty.

Bad humans empowered by AI — uważam to za realne ryzyko, przed którym powinniśmy się poważnie bronić już teraz.

AI itself taking physical control of civilization — na razie wciąż uważam, że brakuje tu przekonującej krótkoterminowej ścieżki. Chyba że roboty ogólnego przeznaczenia naprawdę masowo wejdą do społeczeństwa, albo sami będziemy na tyle głupi, by oddać AI ostateczną kontrolę nad krytyczną infrastrukturą fizyczną.

Oczywiście ta ocena może się w przyszłości całkowicie zmienić.

Jeśli za dziesięć lat na ulicach, w fabrykach i domach będą wszędzie roboty ogólnego przeznaczenia, może napiszę kolejny Founder Diary, mówiąc:

I was wrong. Now we need to worry.

Ale przynajmniej dziś wolę skierować uwagę na drugą stronę.

Dziesięć lat temu Geoffrey Hinton słynnie przewidział, że za pięć do dziesięciu lat Deep Learning będzie lepszy niż Radiologists — a wielu rozumiało to jako wielki cios dla zawodu Radiologist.

Dziesięć lat później AI rzeczywiście zrobiło ogromne postępy w obrazowaniu medycznym, ale Radiologists nie zniknęli. Przeciwnie: AI zmienia, ile pracy mogą wykonać, ile chorób wykryć i które usługi, wcześniej zbyt drogie, stają się teraz możliwe.

To też jest to, co dziś bardziej interesuje mnie w AI.

Nie ignorowanie Safety.

Ale podczas poważnego budowania granic bezpieczeństwa — nie zapominanie, po co rozwijamy tę technologię.

Wciąż jest ogromna liczba chorób do leczenia, ogromna liczba pytań naukowych bez odpowiedzi, ogromna liczba małych firm pracujących w skrajnie nieefektywny sposób, i miliardy ludzi bez dostępu do wystarczająco dobrej edukacji, opieki zdrowotnej i usług profesjonalnych.

Przynajmniej na tym etapie AI, które widzę, wciąż bardziej przypomina jeszcze nie w pełni wykorzystane narzędzie produktywności niż gatunek gotowy przejąć świat fizyczny.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.