"Vender AGI a los gobiernos de EE. UU., China y Rusia"... OpenAI había planeado una 'subasta nacional'

Uno de los motivos por los que Dario Amodei dejó OpenAI

Filtración del resumen de un libro sobre la fundación de Anthropic

"La ruptura entre Altman y Amodei fue un problema de confianza"

[Reportero de Blockmedia James Jung] El trasfondo de la salida de Dario Amodei, fundador de Anthropic, de OpenAI no se limitó a diferencias filosóficas sobre la seguridad de la inteligencia artificial (IA).

Hubo discusiones sobre la venta de los derechos de la inteligencia general artificial (AGI) a gobiernos como los de EE. UU., China y Rusia a través de un sistema de subasta para recaudar fondos. Se ha informado que la confianza entre ambas partes se rompió cuando Amodei se enteró de este plan conocido como 'plan de países'.

El 'plan de países', que se discutió internamente en OpenAI, partía de la idea de que los riesgos de la AGI deberían ser gestionados conjuntamente por la comunidad internacional. Sin embargo, OpenAI, que enfrentaba problemas de financiación en ese momento, consideró la impactante opción de prácticamente subastar los derechos sobre la futura AGI a los gobiernos de diferentes países.

Dario Amodei, quien era el responsable de investigación de OpenAI, se opuso firmemente a este plan, argumentando que podría desencadenar una carrera armamentista en IA y violaciones de derechos humanos.

Financiamiento mediante la venta de AGI a los gobiernos

La revista estadounidense The Atlantic publicó el 29 de septiembre (hora local) extractos del nuevo libro de Kevin Roose, "Las crónicas de AGI (The AGI Chronicles)". Roose entrevistó a más de 150 personas de OpenAI, Anthropic y Google DeepMind, y rastreó el proceso de ruptura entre Amodei y la dirección de OpenAI a partir de documentos internos.

Amodei se unió a OpenAI, que en ese momento era un laboratorio de investigación sin fines de lucro, después de dejar Google en 2016. Lideró investigaciones que demostraban que el aumento en la escala de los modelos de IA conducía a mejoras en la inteligencia.

El conflicto comenzó en 2017. Con la interrupción del financiamiento de Elon Musk, OpenAI tuvo que encontrar nuevas formas de recaudar enormes fondos para el desarrollo de IA.

Greg Brockman, cofundador de OpenAI, y Ilya Sutskever, científico principal, propusieron el 'plan de países'. Inicialmente, la idea era que varios países formaran una unión internacional para gestionar conjuntamente los riesgos de la AGI y compartir los beneficios.

Sin embargo, durante la fase de presentación interna, la naturaleza del plan cambió. Se discutió un tipo de subasta para ofrecer derechos sobre la futura tecnología de AGI a países como EE. UU., China y Rusia para recaudar fondos. Un asistente que escuchó el plan recordó que sonaba como una idea de startup que buscaba obtener dinero del gobierno.

No se ha confirmado si la idea de la subasta fue propuesta directamente por Sam Altman, CEO de OpenAI.

Si de todos modos hay que entregárselo al gobierno, mejor venderlo

La idea de la subasta estaba relacionada con la seguridad nacional. Se pensaba que si la AGI se concretaba, era probable que los gobiernos de cada país obtuvieran tecnología de las empresas desarrolladoras. La lógica era que, dado que la tecnología se entregaría al gobierno de todos modos, sería mejor asegurar fondos de los gobiernos por adelantado en un momento en que se necesitaba dinero.

Este impactante plan surgió en un momento en que OpenAI buscaba nuevas fuentes de financiación, pero también está relacionado con las actuales teorías sobre el apocalipsis de la IA y el desarrollo de IA liderado por el estado, lo que ha generado controversia. Plantea la pregunta fundamental: "¿Qué están pensando las empresas privadas de desarrollo de IA al crear tecnología de AGI?"

Amodei se opuso frontalmente al plan de países. En diciembre de 2017, envió un correo electrónico a Brockman, Sutskever y otros ejecutivos argumentando que este plan podría no solo no reducir la carrera armamentista, sino ampliarla. También planteó la posibilidad de que gobiernos autoritarios aseguraran AGI que reflejara sus valores, lo que podría llevar a graves violaciones de derechos humanos.

Advirtió que este tipo de plan podría socavar la legitimidad moral de OpenAI. La idea de una organización que promueve el desarrollo seguro de AGI proporcionando tecnología poderosa a los gobiernos contradice su propósito fundacional.

El plan no se llevó a cabo. Posteriormente, Microsoft (MS) invirtió una gran cantidad de dinero en OpenAI, lo que hizo que el plan de países desapareciera en el olvido.

OpenAI refutó las afirmaciones de Roose, diciendo que "en ese momento se revisó brevemente si OpenAI podría convertirse en un proyecto de cooperación internacional", pero que no se consideró la venta de AGI a China o Rusia.

De 'plan de países' a MS y GPT-3... la desconfianza acumulada

El plan de países no fue la única causa de la ruptura. Varios eventos posteriores aumentaron la desconfianza entre Amodei y la dirección.

También hubo conflictos en torno a la versión no pública de GPT-3. Amodei solicitó a Altman la lista de clientes que habían recibido la aprobación para usar el modelo y la recibió. Sin embargo, luego se enteró de que existía una lista más larga de la que le habían proporcionado. Amodei comenzó a sospechar que la información que se le proporcionaba estaba siendo filtrada.

Las negociaciones de inversión con MS también fueron problemáticas. Los estatutos de OpenAI contenían un principio que indicaba que si otros proyectos que priorizaban la seguridad se acercaban al desarrollo de AGI, se podría detener la competencia y colaborar. Amodei quería que esta posibilidad estuviera garantizada en el contrato de inversión con MS.

Sin embargo, Altman explicó que MS no aceptaría eso. Amodei comenzó a dudar de cuán firmemente Altman había planteado esa demanda en las negociaciones reales. La discrepancia sobre decisiones comerciales individuales se amplió a la cuestión de si se podía confiar en la dirección.

En 2020, también se generó controversia por el intento de ofrecer acceso a la versión beta de GPT-3 al rapero Kanye West. Altman intentó invitar a West a la beta no oficial de GPT-3 después de reunirse con él. Sin embargo, Jack Clark, entonces responsable de políticas de OpenAI, intervino y la invitación no se llevó a cabo.

Para Amodei, el núcleo del problema era, en última instancia, la 'confianza'. Se dice que mientras trabajaba en OpenAI, registró por separado los casos en los que sintió que estaba 'siendo engañado' por Altman. Según los documentos proporcionados, en una nota se dejó constancia de que el núcleo del problema era 'Altman mismo'.

Ruptura de la confianza y separación

El conflicto finalmente se convirtió en un problema de la estructura de poder de la organización. Amodei exigió que se le otorgara al equipo de seguridad el derecho de veto sobre el lanzamiento de nuevos productos como condición para quedarse en OpenAI. La cuestión clave era quién debería tener la autoridad final si la seguridad de la IA chocaba con los objetivos comerciales.

Durante las negociaciones, Amodei y seis colegas crearon un canal de Slack informal llamado 'BATNA'. BATNA (Mejor Alternativa a un Acuerdo Negociado) se refiere a la mejor alternativa que se puede elegir si las negociaciones fracasan.

La reunión secreta incluyó a Daniella Amodei (prima de Dario), Jack Clark, Sam McCandlish, Tom Brown, Chris Ola y Jared Kaplan. Mientras negociaban para quedarse en OpenAI, también se estaban preparando para separarse.

Finalmente, ambas partes involucraron a abogados en las negociaciones internas sobre las condiciones de salida, que se llamaron 'divorcio'. Altman acordó darles la oportunidad de reclutar empleados de OpenAI durante un período determinado, a cambio de no reclutar más durante un año. También se incluyó la condición de no difamarse públicamente entre sí.

En diciembre de 2020, durante una reunión virtual de toda la empresa, Amodei y sus colegas anunciaron que dejarían la empresa para crear una nueva organización de seguridad de IA. Al final de la reunión, se les bloquearon los correos electrónicos y el acceso a Slack de OpenAI. Amodei fundó Anthropic en 2021.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.