¿Cómo destruiría la IA a la humanidad, exactamente?

Recientemente, Evan Hubinger de Anthropic dijo que personalmente cree que la probabilidad de que la IA cause la extinción humana en la próxima década supera el 10 %. Esta discusión me llevó a una pregunta más simple:

Si la IA realmente fuera a destruir a la humanidad, ¿cómo lo haría exactamente?

Mirando los caminos realistas visibles hoy, solo se me ocurren dos grandes categorías.

La primera categoría no es que la IA decida destruir a la humanidad, sino que los humanos usan la IA para hacer cosas terribles que antes no podían hacer.

Por ejemplo, una organización terrorista usando una IA extremadamente poderosa para diseñar armas biológicas, u obteniendo capacidades de ciberataque y desarrollo de armas que antes solo tenían equipos a nivel de Estado.

Creo plenamente en este tipo de riesgo, y probablemente sea más realista que el famoso «la IA despierta por sí sola».

Porque lo que realmente está pasando aquí es que la IA reduce drásticamente el umbral de las capacidades peligrosas. Lo que antes requería un laboratorio, un grupo de doctores y enormes recursos, en el futuro quizá lo puedan hacer unas pocas personas más una IA.

Por eso la Biosecurity, la Cybersecurity y la AI Safety relacionada con armas son tan importantes.

Pero aquí, quienes realmente quieren destruir a la humanidad siguen siendo humanos.

El segundo camino es el del sentido estricto:

La IA decide por sí misma actuar contra la humanidad.

Pero en este punto siempre he tenido una duda:

¿Con qué lo ejecutaría?

Aunque una Superintelligence exista dentro de un centro de datos, todavía necesita una Physical Interface que la conecte con el mundo real.

Puede escribir código, controlar software, atacar redes. Pero si el objetivo es crear una crisis existencial física para toda la sociedad humana, al final necesita controlar energía, equipos, transporte, fábricas, armas u otros recursos del mundo real.

Lo más cercano a semejante vehículo hoy es quizá el coche autónomo.

Hagamos un experimento mental extremo:

Supongamos que todos los coches del mundo son autónomos, todos conectados, y que una Superintelligence de repente puede controlar todos los vehículos a la vez.

Sin duda sería un desastre enorme.

¿Pero realmente podría destruir a la humanidad?

Sigo siendo muy escéptico.

Los coches solo pueden moverse en entornos aptos para coches. No pueden abrir puertas, subir escaleras, repararse a sí mismos, operar maquinaria arbitraria, ni entrar en la gran mayoría de los espacios físicos donde trabajan los humanos.

Lo que realmente me hace sentir que esta cuestión cambia cualitativamente es otro hito tecnológico:

Los robots humanoides de propósito general.

Supongamos que un día ya existen en el mundo cientos de millones o incluso miles de millones de robots de propósito general.

Pueden entrar en fábricas, almacenes, hogares y hospitales, usar las herramientas que usan los humanos, operar máquinas, y fabricar y reparar otras máquinas.

Y al mismo tiempo, todos están conectados y pueden ser controlados por un sistema superinteligente.

En ese momento, reevaluaría seriamente el AI existential risk.

Porque entonces por primera vez podría existir:

Superintelligence + General Physical Agency + Massive Scale.

La IA no solo tendría Intelligence, sino también Hands and Feet ampliamente presentes en el mundo real.

Pero creo que todavía estamos muy lejos de ese día.

Aquí hay, por supuesto, un caso límite importante: ¿podría la IA, sin robots, controlar directamente por software sistemas físicos de enorme poder destructivo?

El ejemplo más obvio son las armas nucleares.

Pero esto ilustra exactamente por qué creo que la propia sociedad humana es un enorme Safety Buffer.

Las armas nucleares, desde su diseño inicial, nunca fueron un IT System ordinario en el que «conseguir la contraseña de administrador permite lanzar».

Décadas de disuasión nuclear hicieron que la humanidad tuviera muy claro lo que significaría un mal manejo de ese sistema, por lo que a su alrededor se construyeron autorización, aislamiento, confirmación por varias personas y Human-in-the-loop.

Las discusiones actuales sobre IA y armas nucleares siguen insistiendo mayoritariamente en un principio:

Las máquinas no deben reemplazar a los humanos en la decisión final de usar armas nucleares.

Estos mecanismos no son, por supuesto, absolutamente seguros, y la entrada de la IA en sistemas de alerta temprana y apoyo a la decisión puede por sí misma crear nuevos riesgos de error de cálculo.

Pero esto muestra que el mundo real no es un ordenador gigante que una Superintelligence pueda controlar a voluntad tras obtener Root Access.

La sociedad real tiene muchas capas.

Gobiernos.

Regulación.

Bancos.

Ejércitos.

Empresas.

Médicos.

Ingenieros.

Aislamiento físico.

Sistemas de autorización.

Incluso un simple interruptor mecánico.

Estas cosas normalmente parecen «pérdidas de eficiencia», pero frente a una IA que intenta pasar del mundo digital al mundo físico, son también un firebreak tras otro.

Así que mi opinión actual sobre la IA destruyendo a la humanidad es en realidad bastante simple.

Bad humans empowered by AI — creo que es un riesgo real, contra el que debemos defendernos seriamente desde ya.

AI itself taking physical control of civilization — por ahora sigo pensando que carece de un camino convincente a corto plazo. A menos que los robots de propósito general entren de verdad masivamente en la sociedad, o que seamos lo bastante tontos para entregar a la IA el control final de la infraestructura física crítica.

Por supuesto, este juicio podría cambiar por completo en el futuro.

Si dentro de diez años hay robots de propósito general por todas partes en calles, fábricas y hogares, quizá escriba otro Founder Diary diciendo:

I was wrong. Now we need to worry.

Pero al menos hoy, prefiero poner mi atención en el otro lado.

Hace diez años, Geoffrey Hinton predijo famosamente que en cinco o diez años el Deep Learning superaría a los Radiologists — y muchos lo interpretaron como que la profesión de Radiologist sufriría un enorme golpe.

Diez años después, la IA efectivamente ha avanzado enormemente en imagen médica, pero los Radiologists no han desaparecido. Al contrario: la IA está cambiando cuánto trabajo pueden realizar, cuántas enfermedades pueden detectar, y qué servicios antes demasiado caros ahora se vuelven posibles.

Esto es también lo que más me interesa de la IA hoy.

No ignorar la Safety.

Sino, mientras construimos seriamente las barreras de seguridad, no olvidar por qué desarrollamos esta tecnología.

Aún hay enormes cantidades de enfermedades por tratar, enormes preguntas científicas sin respuesta, enormes cantidades de pequeñas empresas que siguen trabajando de forma extremadamente ineficiente, y miles de millones de personas sin acceso a educación, salud y servicios profesionales suficientemente buenos.

Al menos en esta etapa, la IA que yo veo sigue pareciéndose mucho más a una herramienta de productividad aún infrautilizada que a una especie lista para tomar el control del mundo físico.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.