IA y extinción de la humanidad: ¿el peligro de 2 billones de dólares?

La ciencia sin conciencia no es más que ruina del alma. Rabelais no podía estar más acertado, cinco siglos antes de la llegada de la inteligencia artificial. Sam Altman, Geoffrey Hinton, Barack Obama, la ONU e incluso Vitalik Buterin están todos alarmados, en teoría, por el mismo peligro. El de una inteligencia artificial que escaparía a todo control. Sin embargo, en cuanto se profundiza, nadie habla de lo mismo. Uno teme la extinción de la especie humana. Otro la desaparición de millones de empleos, la concentración del poder en tres empresas estadounidenses. O simplemente que su vecino chino tome demasiada ventaja. Una misma palabra, alerta, cubre tres lógicas que casi no tienen nada en común, salvo el vocabulario que utilizan.
Los puntos clave de este artículo:

• Varias figuras influyentes, incluidos Sam Altman y Geoffrey Hinton, han expresado su preocupación por la posibilidad de que una inteligencia artificial escape al control humano.
• Un debate persistente enfrenta a quienes temen la extinción de la especie humana debido a la IA y a quienes se preocupan por las consecuencias inmediatas en el empleo y los sesgos algorítmicos.

Extinción o empleos destruidos: la inteligencia artificial no da miedo por las mismas razones

En marzo de 2023, el Center for AI Safety, un instituto de investigación californiano, hizo firmar una frase única a más de 350 líderes y investigadores. Esta eleva la lucha contra el riesgo de extinción relacionado con la IA a una prioridad mundial. Al mismo nivel que las pandemias o la guerra nuclear.

Entre los firmantes se encuentran Sam Altman, Demis Hassabis y Dario Amodei. Estos tres líderes dirigen precisamente los laboratorios más avanzados del sector, a saber, OpenAI, Google DeepMind y Anthropic, respectivamente. Geoffrey Hinton y Yoshua Bengio, quienes sentaron las bases del deep learning hace veinte años, también firman.

Dos años y medio después. En octubre de 2025, el Future of Life Institute lleva el asunto más lejos con su Statement on Superintelligence. Y allí, una vez más, más de 800 firmas, incluidas las de Steve Wozniak, Richard Branson y el príncipe Harry. Exigen una prohibición del desarrollo de una superinteligencia hasta que un consenso científico y una aceptación pública no garanticen su seguridad. Bengio también está presente.

Junto a estos dos textos, otra familia de investigadores ha estado trabajando durante años en un registro completamente diferente. El de los sesgos algorítmicos en la contratación o la justicia predictiva. También se trata de la precarización de profesiones enteras y de un puñado de empresas estadounidenses que concentran el poder de cálculo mundial. Para este grupo, a menudo agrupado bajo la etiqueta de ética de la IA, hablar de extinción humana desvía la atención de daños ya medibles, aquellos que afectan a trabajadores específicos, hoy, no a una humanidad abstracta dentro de cincuenta años. Ambos grupos utilizan la palabra riesgo, pero no hablan del mismo riesgo.

Altman y Musk: el bombero pirómano

Volvamos a nuestras buenas almas firmantes. Sam Altman firma el texto del Center for AI Safety en mayo de 2023. Ese mismo año, OpenAI recauda 10 mil millones de dólares de Microsoft y comienza la carrera por el modelo más potente del mercado.

En 2026, la empresa presenta su solicitud de salida a bolsa sin nunca frenar la carrera por el poder de cálculo. Sin embargo, justo cuando escribimos este artículo, anuncia esta mañana que retrocede para este año. Alertar sobre la extinción de la especie y correr tras la próxima ronda de financiación fuerza esta ambigüedad.

Elon Musk no se queda atrás. En marzo de 2023, también cofirma la carta del Future of Life Institute. Esta exige una pausa de seis meses en el entrenamiento de los modelos más potentes. Cuatro meses después, nace xAI. Grok, su modelo, opera hoy en uno de los clústeres de computación más grandes jamás ensamblados. La pausa, nadie la ha aplicado nunca.

En Anthropic, Dario Amodei publica regularmente textos que detallan, con cifras de apoyo. En ellos detalla los escenarios en los que un modelo de frontera podría escapar al control de sus creadores. Al mismo tiempo, Anthropic busca una valoración récord para su salida a bolsa. Y la empresa ha ganado un pulso muy comentado frente al Pentágono sobre el uso militar de sus propios modelos.

Casi se podría pensar que se trata de un remake del Proyecto Manhattan. Los físicos que construyeron la bomba también fueron los primeros. Una vez que Hiroshima y Nagasaki fueron borradas del mapa, piden un control internacional sobre el arma que acababan de entregar. La comparación tiene sus límites. Oppenheimer nunca negoció una parte de las regalías sobre el plutonio. Los tres jefes de la IA alertan mientras, cada trimestre, activan una máquina para recaudar capitales.

Debemos marcar el ritmo de la frontera: he escrito un nuevo ensayo sobre por qué la industria de la IA debería desacelerar, con un plan de tres partes para hacerlo.

Anthropic se compromete unilateralmente a dar el primer paso. Proporcionaremos a evaluadores externos acceso permanente, a nivel de empleado, a nuestros...
--- Dario Amodei (@DarioAmodei) 12 de septiembre de 2026
<< Debemos marcar el ritmo de la frontera: he redactado un nuevo ensayo explicando por qué la industria de la IA debería desacelerar, y proponiendo un plan en tres puntos para lograrlo. Anthropic se compromete unilateralmente a implementar el primero de estos pasos. Otorgaremos a evaluadores externos acceso permanente, equivalente al de nuestros empleados, a nuestros sistemas. Así podrán verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la coherencia de los modelos durante su entrenamiento. >>

Dario Amodei

Obama, Trump, Pekín: la carrera por la inteligencia artificial disfrazada de marco de seguridad

Frente a esta interminable carrera, la política se involucra. Barack Obama insta a los demócratas estadounidenses a dotarse de un plan claro sobre la IA. También llama, según el New York Times, a una forma de prudencia ante la velocidad del despliegue de los modelos. La declaración llega en un momento en que la administración Trump impulsa exactamente lo contrario. Un decreto presidencial busca impedir que cada estado estadounidense legisle por su cuenta sobre la IA, en nombre de un único marco federal, más permisivo. Un decreto anterior de Trump ya prometía unir seguridad e innovación. En la práctica, el cursor se inclina claramente hacia la segunda opción.

En el lado chino, el discurso oficial utiliza el mismo vocabulario que Obama o el Future of Life Institute. Durante la cumbre mundial sobre IA en Shanghái en 2026, Pekín firma una declaración a favor de una gobernanza mundial coordinada del sector. Al mismo tiempo, una empresa china es acusada de haber saqueado los modelos de Anthropic para ponerse al día, lo que ha provocado una respuesta de Washington. La cooperación declarada y la verdadera carrera tecnológica avanzan por dos rieles que nunca se cruzan.

La Unión Europea ha optado por el camino inverso, obligando por ley con el AI Act, que ha entrado en vigor por etapas desde 2024. Bruselas regula, sin embargo, un mercado donde no posee ni los modelos ni los centros de datos más potentes. Washington y Pekín financian la IA. Europa la comenta.

Espejo, hermoso espejo, ¿quién es la IA más bella?

En julio de 2026, la Comisión Federal de Comunicaciones (FCC) autoriza a Reflect Orbital. Esta start-up estadounidense va a probar un espejo gigante en órbita baja. Es capaz de reflejar la luz del sol hacia un punto específico de la Tierra, por la noche. El objetivo declarado es vender sol a demanda a agricultores o a obras que quieran extender sus jornadas laborales. Astrónomos, biólogos y varias asociaciones de defensa del cielo nocturno han estado alertando durante meses. Temen la contaminación lumínica que provocaría un despliegue a gran escala. También señalan la alteración de los ciclos de sueño de la fauna y las imágenes de observatorios que se volverían inutilizables. La CBC ha documentado las zonas de sombra jurídicas del expediente. Ninguna ley internacional regula realmente quién tiene el derecho de modificar la noche de un país vecino desde el espacio. Sin embargo, la FCC ha validado el proyecto.

Nada que ver con un modelo de lenguaje, a primera vista. Sin embargo, el mismo mecanismo está en funcionamiento en ambos lados. Una comunidad científica alerta, documenta, cuantifica el riesgo. Una entidad privada, respaldada por un regulador que tiene la última palabra, avanza a pesar de todo, porque tiene la capacidad técnica y el financiamiento. La alerta nunca ha sido el problema. El problema es que nadie, ni los 800 firmantes del Future of Life Institute, ni los investigadores del Center for AI Safety, ni Barack Obama, tiene el poder de decir basta a quienes deciden presionar el botón.

Reflect Orbital y la IA: el mismo mecanismo de poder

Es aquí donde la comparación con Reflect Orbital se vuelve más útil que cualquier paralelo con la bomba atómica. Un espejo en órbita y un modelo de fundación de varios cientos de miles de millones de parámetros no tienen, sobre el papel, nada en común. Sin embargo, comparten la misma estructura de decisión. Un puñado de actores privados, un regulador que los autoriza más a menudo de lo que los frena. Esta masa de textos de alerta que se acumulan sin nunca pesar sobre el calendario de despliegue. La FCC tardó unos meses en decidir sobre Reflect Orbital. Hace tres años que los mismos textos circulan sobre la IA, sin que ningún laboratorio haya ralentizado su hoja de ruta.

La ONU ha reconocido, en un informe publicado este año, que la IA podría provocar daños catastróficos si no se establece un mecanismo de control vinculante antes del final de la década. El texto no tiene ningún valor legal. Ningún Estado está obligado a aplicarlo.

Reflect Orbital debe lanzar su primer espejo de prueba antes de que termine el año. Los laboratorios de IA ya han programado sus próximos modelos para 2027. Los textos de alerta, por su parte, seguirán acumulándose en los escritorios de personas que nunca han tenido el poder de hacerlos cumplir.