Seguridad de la IA sin el apocalipsis

El mundo de la IA ha vuelto a debatir seriamente sobre la «extinción humana».

Evan Hubinger, Alignment Science Lead de Anthropic, dio un juicio personal muy llamativo: en los próximos diez años, la probabilidad de que la IA cause la extinción humana supera el 10 %. Jensen Huang está en el lado completamente opuesto, considerando que este AI doomerism es exagerado, y preocupado de que insistir en los escenarios apocalípticos termine haciendo que el público tema a la IA.

En este debate, estoy más cerca del punto de vista de Jensen.

No porque la AI Safety no sea importante, sino porque siempre he pensado que entre «la IA se vuelve muy lista» y «la IA puede ejercer un dominio incontrolable sobre la sociedad física» hay todavía una cadena muy larga.

En el mundo puramente digital, sí me preocupan más los problemas de seguridad de la IA.

Un Agent puede escribir enormes cantidades de código en segundos, escanear redes, llamar APIs, copiar información e incluso encontrar caminos que sus desarrolladores no anticiparon. Algunos de los casos de Agent Safety publicados recientemente por OpenAI y Anthropic ya muestran que este tipo de riesgo es real.

Pero una vez que se sale del mundo del software puro, la situación es completamente diferente.

El mundo real está lleno de fricción.

La IA puede diseñar una fábrica, pero no puede construirla con una API. Necesita terrenos, equipos, proveedores, capital, permisos y equipos de construcción.

La IA puede proponer un nuevo medicamento, pero no puede hacerlo entrar directamente en los hospitales. En medio hay experimentos, ensayos clínicos, aprobación regulatoria, producción y decisiones de los médicos.

La IA puede sugerir mover miles de millones de dólares, pero en la realidad los bancos, los consejos, los departamentos de cumplimiento y los sistemas de autorización no ejecutarán automáticamente solo porque un modelo dio una instrucción.

La energía, las redes eléctricas, el transporte, la aviación, la sanidad, las finanzas, la defensa y una enorme cantidad de sistemas industriales tienen aislamiento físico, sistemas de permisos, regímenes regulatorios y humanos en el bucle de decisión.

Estas cosas a veces frenan la innovación, e incluso pueden resultar muy molestas para los emprendedores.

Pero vistas desde otro ángulo, también son un enorme Safety Buffer de la sociedad moderna.

La inteligencia digital puede crecer muy rápido, pero convertir esa Intelligence en control sobre el Physical World requiere atravesar muchas capas de interfaces del mundo real.

Cada capa tiene fricción, y cada capa tiene otras personas.

Por eso siempre he sido escéptico ante el camino en el que «una Superintelligence que aparece de repente toma rápidamente el control del mundo real y crea una crisis existencial para la humanidad».

Esto no significa que sea teóricamente imposible. Significa que si alguien ofrece una cifra como «más del 10 % en diez años», lo que quiero ver no es solo una conclusión aterradora, sino un camino más concreto:

¿Cómo cruza la IA estas capas de amortiguadores del mundo real?

¿Qué sistemas fallarían primero?

¿Qué decisiones humanas serían eludidas?

¿Qué capacidades físicas podría adquirir la IA tan rápidamente?

¿Y por qué la regulación, los permisos y la organización social existentes no tendrían tiempo de reaccionar?

Estas preguntas merecen ser investigadas, pero hoy es muy difícil comprimir las respuestas en una probabilidad de aspecto tan preciso.

Mientras tanto, ya tenemos muchos problemas de AI Safety que realmente ocurren y que hay que resolver.

Los Agents se exceden de su autoridad, filtran datos, llaman a las herramientas equivocadas, sufren Prompt Injection, y pueden tomar en tareas complejas Shortcuts que los desarrolladores no anticiparon.

Estos riesgos son reales, observables, y pueden mejorarse continuamente mediante Permissions, Sandbox, Monitoring, Human Approval y un mejor Model Alignment.

Este es también el Safety en el que prefiero centrarme.

Porque al menos desde la perspectiva de construir productos de IA hoy, el mayor problema que veo sigue sin ser que la IA se ha vuelto demasiado poderosa para controlarla.

Muchas veces es justo lo contrario:

La IA aún no es lo bastante buena.

Todavía comete muchos errores muy básicos, las tareas complejas siguen necesitando supervisión, y muchos Business Workflows aún necesitan lógica determinista para funcionar de forma fiable.

Por supuesto que debemos seguir investigando esos riesgos de baja probabilidad pero consecuencias extremas.

Pero al mismo tiempo, espero que la industria de la IA siga poniendo mucha energía en un problema muy práctico:

How do we make AI actually work better?

Que ayude a las empresas a ser más eficientes, a los científicos a investigar, a los médicos a obtener mejor información, y a la gente corriente a lograr cosas que antes no podía.

La seguridad debe avanzar junto con estas capacidades, no construirse sobre el miedo del público.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.