Wie würde KI die Menschheit eigentlich vernichten?

Kürzlich sagte Evan Hubinger von Anthropic, er persönlich halte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts das Aussterben der Menschheit verursacht, für über 10 %. Diese Diskussion brachte mich auf eine einfachere Frage:

Wenn KI die Menschheit wirklich vernichten würde — wie genau würde sie das anstellen?

Blickt man auf die heute sichtbaren realistischen Pfade, fallen mir grob nur zwei Kategorien ein.

Die erste Kategorie ist gar nicht, dass KI beschließt, die Menschheit zu vernichten — sondern dass Menschen KI nutzen, um schlimme Dinge zu tun, die sie vorher nicht konnten.

Zum Beispiel eine Terrororganisation, die eine extrem leistungsfähige KI nutzt, um Biowaffen zu entwerfen, oder Cyberangriffs- und Waffenentwicklungsfähigkeiten erlangt, die früher nur Teams auf staatlicher Ebene hatten.

Dieses Risiko halte ich für völlig real — und wahrscheinlich realistischer als das sogenannte „KI wacht von selbst auf".

Denn was hier wirklich passiert, ist: KI senkt die Schwelle gefährlicher Fähigkeiten dramatisch. Dinge, für die man früher ein Labor, eine Gruppe von Doktoranden und massive Ressourcen brauchte, könnten künftig ein paar Leute plus KI erledigen.

Deshalb sind Biosecurity, Cybersecurity und waffenbezogene AI Safety auch so wichtig.

Aber diejenigen, die hier wirklich die Menschheit vernichten wollen, bleiben Menschen.

Der zweite Pfad ist der im eigentlichen Sinne:

KI beschließt selbst, gegen die Menschheit zu handeln.

Aber hier habe ich immer eine Frage:

Womit würde sie das ausführen?

Selbst wenn eine Superintelligence in einem Rechenzentrum existiert, braucht sie immer noch ein Physical Interface, das sie mit der realen Welt verbindet.

Sie kann Code schreiben, Software kontrollieren, Netzwerke angreifen. Aber wenn das Ziel eine physische existenzielle Krise für die gesamte menschliche Gesellschaft ist, muss sie letztlich Energie, Anlagen, Verkehr, Fabriken, Waffen oder andere reale Ressourcen kontrollieren.

Das, was heute einem solchen Träger am nächsten kommt, ist vielleicht das autonome Auto.

Machen wir ein extremes Gedankenexperiment:

Angenommen, alle Autos der Welt fahren autonom, sind voll vernetzt, und eine Superintelligence erlangt plötzlich gleichzeitige Kontrolle über alle Fahrzeuge.

Das wäre sicher eine gewaltige Katastrophe.

Aber könnte sie wirklich die Menschheit vernichten?

Ich bleibe sehr skeptisch.

Autos können sich nur in Umgebungen bewegen, die für Autos geeignet sind. Sie können keine Türen öffnen, keine Treppen steigen, sich nicht selbst reparieren, keine beliebigen Maschinen bedienen und nicht die allermeisten physischen Räume betreten, in denen Menschen arbeiten.

Was diese Frage für mich wirklich qualitativ kippen lässt, ist ein anderer Technologiemeilenstein:

Universell einsetzbare humanoide Roboter.

Angenommen, eines Tages existieren weltweit bereits Hunderte Millionen oder sogar Milliarden universeller Roboter.

Sie können Fabriken, Lager, Haushalte und Krankenhäuser betreten, die Werkzeuge der Menschen benutzen, Maschinen bedienen und andere Maschinen bauen und reparieren.

Und gleichzeitig sind sie alle vernetzt und können von einem superintelligenten System kontrolliert werden.

Ab diesem Zeitpunkt würde ich das existenzielle KI-Risiko ernsthaft neu bewerten.

Denn dann könnte zum ersten Mal existieren:

Superintelligence + General Physical Agency + Massive Scale.

KI hätte nicht nur Intelligence, sondern auch Hands and Feet, die in der realen Welt weit verbreitet sind.

Aber von diesem Tag sind wir, glaube ich, noch sehr weit entfernt.

Hier gibt es natürlich noch einen wichtigen Grenzfall: Könnte KI, ohne Roboter, über Software direkt physische Systeme mit enormer Zerstörungskraft kontrollieren?

Das offensichtlichste Beispiel sind Atomwaffen.

Aber genau das zeigt, warum ich glaube, dass die menschliche Gesellschaft selbst ein riesiger Safety Buffer ist.

Atomwaffen waren von ihrer Konzeption an kein gewöhnliches IT System, bei dem „wer das Admin-Passwort hat, kann abschießen".

Jahrzehnte nuklearer Abschreckung haben der Menschheit sehr klar gemacht, was eine Fehlbedienung eines solchen Systems bedeuten würde; deshalb wurden Autorisierung, Isolation, Mehrpersonenbestätigung und Human-in-the-loop darum herum gebaut.

Die heutigen Diskussionen über KI und Atomwaffen halten weitgehend an einem Prinzip fest:

Maschinen dürfen den Menschen bei der endgültigen Entscheidung über den Einsatz von Atomwaffen nicht ersetzen.

Diese Mechanismen sind natürlich nicht absolut sicher, und der Einzug von KI in Frühwarn- und Entscheidungsunterstützungssysteme kann selbst neue Fehleinschätzungsrisiken schaffen.

Aber das zeigt: Die reale Welt ist kein riesiger Computer, den eine Superintelligence nach Erlangen von Root Access nach Belieben steuern könnte.

Die reale Gesellschaft hat viele Schichten.

Regierungen.

Regulierung.

Banken.

Das Militär.

Unternehmen.

Ärzte.

Ingenieure.

Physische Isolation.

Autorisierungssysteme.

Sogar ein ganz gewöhnlicher mechanischer Schalter.

Diese Dinge sehen im Alltag wie „Effizienzverluste" aus, aber gegenüber einer KI, die versucht, aus der digitalen in die physische Welt zu gelangen, sind sie gleichzeitig eine firebreak nach der anderen.

Meine derzeitige Sicht auf „KI vernichtet die Menschheit" ist also eigentlich ganz einfach.

Bad humans empowered by AI — das halte ich für ein reales Risiko, gegen das wir uns jetzt ernsthaft wappnen sollten.

AI itself taking physical control of civilization — hier fehlt für mich derzeit noch ein überzeugender kurzfristiger Pfad. Es sei denn, universelle Roboter treten künftig wirklich massenhaft in die Gesellschaft ein, oder wir sind töricht genug, KI die endgültige Kontrolle über kritische physische Infrastruktur zu übergeben.

Natürlich kann sich dieses Urteil in Zukunft völlig ändern.

Wenn in zehn Jahren auf den Straßen, in Fabriken und Haushalten überall universelle Roboter stehen, schreibe ich vielleicht ein neues Founder Diary und sage:

I was wrong. Now we need to worry.

Aber zumindest heute richte ich meine Aufmerksamkeit lieber auf die andere Seite.

Vor zehn Jahren sagte Geoffrey Hinton berühmt voraus, dass Deep Learning in fünf bis zehn Jahren besser sein werde als Radiologists — und viele verstanden das so, dass der Beruf des Radiologists massiv erschüttert werden würde.

Zehn Jahre später hat KI in der medizinischen Bildgebung tatsächlich enorme Fortschritte gemacht, aber Radiologists sind nicht verschwunden. Im Gegenteil: KI verändert, wie viel Arbeit sie leisten können, wie viele Krankheiten sie entdecken und welche früher zu teuren Leistungen jetzt möglich werden.

Das ist es auch, was mich an KI heute mehr interessiert.

Nicht Safety ignorieren.

Sondern beim ernsthaften Aufbau von Sicherheitsgrenzen nicht vergessen, warum wir diese Technologie überhaupt entwickeln.

Es gibt noch unzählige Krankheiten zu behandeln, unzählige wissenschaftliche Fragen ohne Antwort, unzählige kleine Unternehmen, die noch extrem ineffizient arbeiten, und Milliarden Menschen ohne Zugang zu gut genügender Bildung, Gesundheitsversorgung und professionellen Dienstleistungen.

Zumindest auf dieser Stufe sieht die KI, die ich sehe, noch weit mehr wie ein noch nicht voll genutztes Produktivitätswerkzeug aus als wie eine Spezies, die sich anschickt, die physische Welt zu übernehmen.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.