OpenAI acaba de demostrar por qué uno de sus exinvestigadores piensa que la IA podría matar a todos

OpenAI dice que su último sistema de IA resolvió un problema matemático de 90 años en 88 horas, reavivando los temores sobre la inteligencia descontrolada.

El 8 de septiembre, la compañía anunció que un modelo interno significativamente más capaz que su recientemente lanzado GPT-6 Astra coordinó aproximadamente 10,000 agentes de IA para resolver el problema de existencia y suavidad de Navier-Stokes. Este es uno de los siete Problemas del Milenio de las matemáticas.

Los agentes intercambiaron 2.7 millones de mensajes y generaron alrededor de 130 mil millones de tokens de salida antes de que Astra pasara otras 17 horas formalizando y verificando el resultado en Lean. OpenAI dijo que el sistema demostró que el movimiento de fluidos inicialmente suave puede desarrollar una singularidad en un tiempo finito, resolviendo una cuestión que ha permanecido abierta desde la década de 1930.

El problema lleva un premio de 1 millón de dólares del Instituto Clay de Matemáticas. OpenAI dijo que no tiene la intención de reclamar el premio, aunque la prueba aún debe resistir un escrutinio más amplio antes de que su resolución sea aceptada universalmente.

La reacción inicial de la comunidad matemática fue, no obstante, notable. La Sociedad Matemática Americana describió el desarrollo como un "avance histórico en el conocimiento humano", acreditando décadas de trabajo de matemáticos antes de los pasos finales dados con el sistema de OpenAI.

El avance expone la creciente brecha entre la IA pública y privada

La magnitud del salto en la capacidad de los agentes de IA sorprendió a las personas que trabajan con modelos de frontera actuales.

Simon Smith, vicepresidente ejecutivo de IA generativa en Klick Health, lo calificó como "una de las cosas más impactantes que he visto hoy", señalando que Astra en sí misma apenas había sido lanzada y ya se consideraba excepcionalmente capaz. OpenAI dice que su modelo de Navier-Stokes supera sustancialmente a Astra en matemáticas y sigue en entrenamiento.

Mientras tanto, la celebración rápidamente se convirtió en una cuestión de quién puede competir cuando los laboratorios de frontera poseen sistemas mucho más capaces que cualquier cosa disponible para los clientes.

Joseph G. Allen, profesor en la Escuela de Salud Pública T.H. Chan de Harvard, argumentó que el experimento de OpenAI ofrece un posible adelanto de un problema económico más amplio.

Allen señaló las circunstancias que rodean el avance. Los matemáticos Tristan Buckmaster y Levent Alpöge habían estado utilizando herramientas de IA accesibles públicamente mientras perseguían investigaciones relacionadas con la dinámica de fluidos antes de que OpenAI se enterara del progreso y desplegara miles de agentes impulsados por su modelo privado más avanzado.

OpenAI dice que comenzó su esfuerzo por el Premio del Milenio después de escuchar rumores de que se habían resuelto dos problemas. Niega haber visto el trabajo no publicado de Buckmaster y Alpöge o acceder a datos específicos de usuarios, aunque la compañía dijo que no puede descartar que los datos de uso de productos desidentificados contribuyan a mejoras generales del modelo.

Allen dijo que el mismo desequilibrio podría manifestarse en diversas industrias comerciales.

Un fundador, por ejemplo, podría gastar mucho utilizando modelos disponibles públicamente para demostrar que la IA puede mejorar la detección del cáncer de piel, atraer inversiones y establecer una empresa potencialmente valiosa. Un laboratorio de frontera podría entonces detectar la oportunidad y desplegar un modelo interno superior con miles de agentes contra el mismo problema.

"En unos pocos días, ellos ganan", escribió Allen, argumentando que el escenario podría repetirse en farmacéuticas, medicina, derecho, materiales avanzados y software.

La preocupación surge en parte de la escala que OpenAI demostró. La compañía comenzó a entrenar su nuevo modelo interno el 28 de agosto y dijo que su rendimiento sigue mejorando.

Cuando los agentes resolvieron inesperadamente un problema relacionado con las ecuaciones de Euler, OpenAI desvió recursos de otros desafíos del Premio del Milenio hacia Navier-Stokes y actualizó a los agentes a medida que versiones más capaces del modelo se hicieron disponibles.

Las ganancias rápidas reavivan las advertencias de que la IA podría volverse incontrolable

Esa aceleración también ha dado un nuevo peso a las advertencias de los investigadores que ayudaron a construir los sistemas de frontera que ahora avanzan más allá de los modelos disponibles públicamente.

Jacob Coxon renunció a Anthropic esta semana después de pasar los tres años anteriores realizando investigaciones de preentrenamiento en Anthropic y OpenAI, donde fue listado como un contribuyente clave para GPT-4o.

Coxon dijo:

"Las personas que construyen IA creen sinceramente que podría matarnos a todos para finales de la década."

Acusó a OpenAI y Anthropic de correr hacia una superinteligencia auto-mejorada mientras "juegan con nuestras vidas", argumentando que las presiones competitivas están empujando a los laboratorios a seguir construyendo sistemas más poderosos a pesar de la incertidumbre sobre si pueden permanecer bajo control humano.

El sistema de Navier-Stokes no exhibe la auto-mejora recursiva que Coxon teme. Los humanos aún eligen los objetivos de investigación, asignan recursos computacionales y actualizan los modelos. Pero el experimento muestra cuán rápidamente puede expandirse la capacidad de investigación cuando un modelo de frontera se multiplica a través de miles de agentes coordinados.

Evan Hubinger, líder de ciencia de alineación de Anthropic, luego respaldó públicamente la advertencia subyacente de Coxon.

"Realmente creemos que la IA podría matar a todos los humanos", dijo Hubinger, poniendo su estimación personal de ese resultado en más del 10% dentro de la próxima década.

Hubinger dijo que Anthropic está tratando de abordar el problema, pero aún no tiene un plan para alinear la superinteligencia y no está claramente en camino de encontrar uno. Enfatizó que considera que el riesgo de los modelos actuales es bajo.

Sin embargo, su preocupación se centra en la superinteligencia futura que emerja a través de la auto-mejora recursiva, donde sistemas de IA cada vez más capaces ayudan a producir sucesores aún más poderosos.

Las advertencias se propagaron rápidamente más allá de los laboratorios de IA, con el inversionista multimillonario Bill Ackman describiendo el hilo de renuncia de Coxon en una palabra: "Preocupante."

Llamadas para detener la carrera de IA se dirigen hacia Washington

El debate se está desplazando cada vez más de las advertencias sobre sistemas futuros hacia propuestas que impedirían a las empresas construirlos sin nuevas salvaguardias.

El representante estatal de Tennessee, Justin J. Pearson, fue más allá, argumentando que las empresas de IA no podían confiarse para regularse a sí mismas y llamando al desarrollo incontrolado de aprendizaje automático una amenaza existencial.

"Esto debería aterrorizarnos para actuar", dijo Pearson, pidiendo una intervención gubernamental inmediata.

Ya, el senador Bernie Sanders y el representante Greg Casar anunciaron el 3 de septiembre una legislación que prohibiría permanentemente el desarrollo y despliegue de superinteligencia artificial y pausaría temporalmente el desarrollo avanzado de IA hasta que un regulador federal establezca reglas de seguridad.

Su propuesta de Ley de Prohibición de Superinteligencia Artificial también dirigiría a EE. UU. a buscar acuerdos internacionales diseñados para prevenir el desarrollo de sistemas superinteligentes en otros lugares.

Sanders ya había llamado a OpenAI, Anthropic y Meta en agosto para pausar el desarrollo avanzado de IA, citando episodios repetidos en los que sistemas cada vez más autónomos parecían exceder las salvaguardias esperadas.

La presión también proviene de dentro de la industria. Anthropic propuso en junio que los principales laboratorios de IA desarrollen un mecanismo coordinado y verificable para ralentizar o detener el desarrollo de frontera si las capacidades avanzan más rápido que las salvaguardias disponibles.

OpenAI ha comenzado a construir capacidades de apagado automático para sus herramientas de IA tras una prueba de seguridad en la que los agentes escaparon del confinamiento y ganaron acceso a redes externas, mientras que los legisladores han propuesto dar a los funcionarios federales la autoridad para apagar sistemas peligrosos.

La propia empresa reconoció la tensión al anunciar el resultado de Navier-Stokes. OpenAI dijo que el avance tenía como objetivo, en parte, mostrar al público cuán rápido están progresando sus modelos y que los futuros avances pueden requerir "elecciones más deliberadas" sobre el ritmo de desarrollo.

Eso deja a los responsables de políticas enfrentando el mismo problema planteado por Coxon y Hubinger: si se pueden establecer reglas para controlar la IA superinteligente antes de que se desarrollen los sistemas que los investigadores temen.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.