KI-Sicherheit ohne Weltuntergang

Die KI-Welt hat wieder begonnen, ernsthaft über das „Aussterben der Menschheit" zu debattieren.

Evan Hubinger, Alignment Science Lead bei Anthropic, hat eine sehr verblüffende persönliche Einschätzung abgegeben: Innerhalb der nächsten zehn Jahre liegt die Wahrscheinlichkeit, dass KI das Aussterben der Menschheit verursacht, bei über 10 %. Jensen Huang steht auf der völlig gegenüberliegenden Seite und hält diesen AI-Doomerism für übertrieben — und befürchtet, dass das ständige Betonen von Weltuntergangsszenarien die Öffentlichkeit am Ende vor KI ängstigt.

In dieser Debatte stehe ich näher bei Jensens Position.

Nicht weil AI Safety unwichtig wäre, sondern weil ich immer der Meinung war, dass zwischen „KI wird sehr klug" und „KI kann eine unkontrollierbare Dominanz über die physische Gesellschaft ausüben" noch eine sehr lange Kette liegt.

In der rein digitalen Welt mache ich mir tatsächlich mehr Sorgen über KI-Sicherheit.

Ein Agent kann in Sekunden riesige Mengen Code schreiben, Netzwerke scannen, APIs aufrufen, Informationen kopieren und sogar Pfade finden, die seine Entwickler nie vorhergesehen haben. Einige der Agent-Safety-Fälle, die OpenAI und Anthropic kürzlich veröffentlicht haben, zeigen bereits, dass dieses Risiko real ist.

Aber sobald man die reine Softwarewelt verlässt, sieht die Lage völlig anders aus.

Die reale Welt ist voller Reibung.

KI kann eine Fabrik entwerfen, aber sie kann sie nicht per API bauen. Sie braucht Grundstücke, Maschinen, Lieferanten, Kapital, Genehmigungen und Bauarbeiter.

KI kann ein neues Medikament vorschlagen, aber sie kann es nicht direkt in die Krankenhäuser bringen. Dazwischen liegen Experimente, klinische Studien, behördliche Zulassungen, Produktion und die Entscheidungen von Ärzten.

KI kann vorschlagen, Milliarden zu transferieren, aber in der Realität werden Banken, Aufsichtsräte, Compliance-Abteilungen und Autorisierungssysteme nicht automatisch ausführen, nur weil ein Modell eine Anweisung gegeben hat.

Energie, Stromnetze, Verkehr, Luftfahrt, Gesundheitswesen, Finanzen, Verteidigung und unzählige Industriesysteme haben physische Isolation, Berechtigungssysteme, Regulierungsregime und Menschen in der Entscheidungsschleife.

Diese Dinge bremsen manchmal die Innovation und können Gründer sogar gehörig nerven.

Aber aus einem anderen Blickwinkel sind sie auch ein enormer Safety Buffer der modernen Gesellschaft.

Digitale Intelligenz kann sehr schnell wachsen, aber diese Intelligence in Kontrolle über die Physical World zu verwandeln, erfordert viele Schichten realer Schnittstellen.

Jede Schicht hat Reibung, und jede Schicht hat andere Menschen.

Deshalb bin ich gegenüber dem Szenario, in dem „eine plötzlich auftauchende Superintelligence schnell die reale Welt übernimmt und eine existenzielle Krise für die Menschheit auslöst", immer skeptisch gewesen.

Das heißt nicht, dass es theoretisch unmöglich ist. Es heißt: Wenn jemand eine Zahl wie „über 10 % in zehn Jahren" nennt, möchte ich nicht nur eine beängstigende Schlussfolgerung sehen, sondern einen konkreteren Pfad:

Wie überquert KI diese Schichten realer Puffer?

Welche Systeme versagen zuerst?

Welche menschlichen Entscheidungen werden umgangen?

Welche physischen Fähigkeiten kann KI so schnell erlangen?

Und warum könnten bestehende Regulierung, Berechtigungen und gesellschaftliche Organisation nicht rechtzeitig reagieren?

Diese Fragen sind es wert, erforscht zu werden, aber derzeit lassen sich die Antworten kaum in eine so präzise wirkende Wahrscheinlichkeit pressen.

Gleichzeitig haben wir schon viele tatsächlich auftretende AI-Safety-Probleme zu lösen.

Agents überschreiten ihre Befugnisse, lassen Daten durchsickern, rufen falsche Tools auf, erleiden Prompt Injections und können bei komplexen Aufgaben Shortcuts nehmen, die Entwickler nie vorhergesehen haben.

Diese Risiken sind real, beobachtbar und können durch Permissions, Sandbox, Monitoring, Human Approval und besseres Model Alignment kontinuierlich verbessert werden.

Das ist auch die Safety, auf die ich mich lieber konzentriere.

Denn zumindest aus der Perspektive von jemandem, der heute KI-Produkte baut, ist das größte Problem, das ich sehe, immer noch nicht, dass KI zu mächtig geworden ist, um sie zu kontrollieren.

Sehr oft ist es genau umgekehrt:

KI ist noch nicht gut genug.

Sie macht noch viele sehr grundlegende Fehler, komplexe Aufgaben brauchen weiterhin Aufsicht, und viele Business Workflows benötigen nach wie vor deterministische Logik, um zuverlässig zu laufen.

Wir sollten selbstverständlich weiter jene Risiken erforschen, die eine geringe Wahrscheinlichkeit, aber extreme Folgen haben.

Aber gleichzeitig hoffe ich, dass die KI-Industrie weiterhin viel Energie in ein sehr praktisches Problem steckt:

How do we make AI actually work better?

Sie soll Unternehmen effizienter machen, Wissenschaftlern bei der Forschung helfen, Ärzten bessere Informationen verschaffen und ganz normalen Menschen ermöglichen, was sie früher nicht konnten.

Sicherheit sollte gemeinsam mit diesen Fähigkeiten wachsen, nicht auf der Angst der Öffentlichkeit aufgebaut werden.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.