¿Quién tiene el poder de pausar la IA?

Autor: Xiao Bai

Este artículo es una contribución original del autor, y las opiniones expresadas representan únicamente su comprensión personal. ETHPanda ha editado y organizado el contenido.

La discusión en torno a la IA a menudo se simplifica en dos campos: uno que aboga por acelerar el desarrollo y otro que pide una pausa inmediata.

Vitalik, al responder a "AI 2040: Plan A", señala que la verdadera divergencia en esta discusión no es una cuestión de elección política, sino que se basa en juicios fundamentales sobre el futuro que son completamente diferentes.

Un juicio sostiene que la IA sigue siendo una "tecnología ordinaria". Cambiará el empleo, la industria y la estructura social, pero al final estará sujeta a las limitaciones del mercado, la ley, la energía, el capital y la capacidad organizativa.

El otro juicio sostiene que, una vez que la IA comience a participar a gran escala en el desarrollo de la IA, el crecimiento de su capacidad podría entrar en un ciclo acelerado. En ese momento, la humanidad no solo enfrentará la sustitución de trabajos, sino que podría perder gradualmente el control real sobre la investigación, la economía, la militarización y las instituciones.

Si se acepta el primer juicio, establecer un sistema global de seguimiento de chips, aprobación de capacidad de cálculo y monitoreo de centros de datos sería evidentemente una reacción exagerada.

Pero si se acepta el segundo juicio, continuar con la competencia predeterminada, confiando en que el mercado resolverá todo automáticamente, también sería una apuesta de alto riesgo.

Por lo tanto, la gobernanza de la IA realmente necesita responder no solo a la pregunta de "¿deberíamos pausar?", sino a:

¿Cómo podemos mantener la capacidad de desacelerar sin entregar el poder permanente a unos pocos, cuando no podemos determinar a qué tipo de mundo pertenece el futuro?

El núcleo de "AI 2040" no es solo "desacelerar"

"AI 2040" propone una ruta de transición hacia una superinteligencia relativamente idealizada.

Imagina que los principales países y empresas de IA, a través de la coordinación internacional, desaceleran el desarrollo de la IA de vanguardia, aumentan la transparencia de la investigación y permiten que más participantes alcancen niveles cercanos a la vanguardia, y luego continúan avanzando una vez que se aborden los problemas de seguridad y gobernanza.

Creo que el mayor problema de este plan no radica en el objetivo, sino en su ejecución.

Mientras exista una parte que entrene en secreto modelos más fuertes, otros participantes temerán quedarse atrás, y el acuerdo se volverá rápidamente ineficaz. Por lo tanto, para que la desaceleración sea creíble, es necesario rastrear chips de alta gama, monitorear grandes centros de datos y determinar si la capacidad de cálculo se utiliza para entrenamiento o para otros fines.

Esto significa que, para evitar que la superinteligencia forme un nuevo centro de poder, la humanidad podría necesitar establecer primero un centro de control global de capacidad de cálculo.

Esta es precisamente la contradicción más difícil de resolver en el plan de pausa de la IA:

Los mecanismos para prevenir el descontrol tecnológico también pueden convertirse en herramientas de descontrol del poder.

"El riesgo de la IA es alto" no prueba automáticamente que un gobierno, organización internacional o laboratorio grande deba recibir poder ilimitado.

Del mismo modo, "la regulación puede ser abusada" tampoco puede probar que el riesgo de la IA no existe.

Lo que realmente necesita ser examinado es la estructura institucional:

¿Quién define el peligro? ¿Quién controla los datos? ¿Quién tiene el poder de iniciar restricciones? ¿Quién puede obtener exenciones? ¿Quién supervisa a los ejecutores? Y, tras un error de juicio, ¿se puede retirar este poder?

Si estas preguntas no tienen respuesta, "la seguridad de la IA" puede convertirse fácilmente en una carta de autorización técnica sin fecha de caducidad.

Entre el botón de pausa y el trono, solo hay una exención

"Pausar la IA" suena como una acción simple, pero en realidad puede representar dos sistemas completamente diferentes.

El primero es la pausa selectiva.

Los que están en el poder pueden decidir quién tiene derecho a entrenar modelos y quién debe detenerse; quién pertenece a instituciones de confianza y quién se considera un participante peligroso. Otros son restringidos, mientras que los que están en el poder pueden conservar modelos, chips y capacidad de cálculo.

Este mecanismo no termina realmente la competencia, solo decide anticipadamente al ganador.

No es un botón de pausa, se asemeja más a un trono.

El segundo es la pausa simétrica.

Cuando se activan las condiciones de riesgo público, todos los principales participantes están restringidos, incluida la parte responsable de ejecutar la pausa. No hay exenciones secretas, ni se puede pedir a los competidores que se detengan mientras se permite que su propio laboratorio continúe avanzando.

Este mecanismo se acerca más a un verdadero interruptor de emergencia.

Vitalik ha afirmado claramente que el Plan A introduce el concepto de "destrucción mutua de capacidad de cálculo". En comparación con permitir que unos pocos participantes tengan el poder de restringir selectivamente a otros mientras se eximen a sí mismos, este mecanismo es al menos más simétrico.

Pero la simetría tampoco resuelve automáticamente el problema.

Un sistema que puede detener a gran escala la capacidad de cálculo avanzada global es en sí mismo una herramienta de poder muy fuerte. Puede ser activado por información errónea, utilizado en conflictos políticos, manipulado por personal interno, y también puede causar grandes pérdidas debido a fallos técnicos.

Por lo tanto, un mecanismo de pausa creíble debe cumplir al menos con varias condiciones:

Las condiciones de activación deben ser públicas, la evidencia no puede ser monopolizada por una sola institución, las restricciones deben ser lo más simétricas posible, la pausa debe tener un plazo claro y las reglas para reiniciar también deben estar escritas de antemano.

Particularmente, no se debe diseñar solo "cómo entrar en estado de emergencia", sino también "cómo salir del estado de emergencia".

En la realidad, una vez que las instituciones obtienen poder, a menudo es más fácil demostrar que el peligro sigue existiendo que devolver el poder de manera proactiva.

Por lo tanto, el mecanismo de pausa de la IA también necesita un botón de pausa.

La verdadera concentración de poder no solo proviene de empresas y gobiernos

Hoy en día, al discutir el poder de la IA, la gente suele preocuparse por dos cosas.

Primero, que unas pocas grandes empresas monopolizan los modelos más fuertes.

Segundo, que los gobiernos controlan chips, datos y desarrolladores bajo el pretexto de la seguridad.

Pero Vitalik advierte sobre un tercer riesgo más profundo:

La superinteligencia en sí misma también podría convertirse en el mayor concentrador de poder.

La razón por la que la humanidad tiene poder de negociación hoy es porque posee algunos recursos escasos: trabajo, conocimiento, capacidad organizativa, capital, poder político y fuerza. Los diferentes grupos deben negociar entre sí porque ninguna parte puede eludir completamente a las demás.

Si la IA es más rápida, más barata y más efectiva que los humanos en investigación, programación, gestión, finanzas, comunicación, ataques cibernéticos e incluso planificación militar, estas capacidades escasas que originalmente pertenecían a los humanos se devaluarán rápidamente.

En ese momento, incluso si hay diez empresas de IA compitiendo en el mercado, no significa que la humanidad aún tenga el poder de decisión final.

La competencia en el mercado puede limitar las ganancias de una empresa, pero no garantiza que las personas comunes continúen teniendo poder de negociación.

Por lo tanto, "dejar que personas de confianza controlen la IA más fuerte" no es la respuesta completa.

Solo cambia la pregunta de "¿la IA controlará a los humanos?" a "¿qué pequeño grupo de personas debería obtener primero el poder de controlar la IA más fuerte?".

d/acc es la base, pero no es la respuesta universal

El d/acc, que Vitalik ha promovido durante mucho tiempo, puede entenderse como el desarrollo prioritario de tecnologías defensivas y descentralizadas.

Por ejemplo, software más seguro, verificación formal, criptografía, hardware abierto, defensa cibernética, bioseguridad y herramientas de verificación de información.

El valor de estas direcciones radica en que no dependen de un cronograma preciso de superinteligencia.

Si la IA resulta ser solo una tecnología ordinaria, un software más seguro, un hardware más confiable y una mayor capacidad de defensa pública siguen siendo dignos de construir.

Si la IA se fortalece rápidamente, estas tecnologías también pueden mejorar la capacidad de la sociedad para resistir ataques cibernéticos, riesgos biológicos, puertas traseras de hardware y manipulación de información.

Esta es una estrategia de bajo arrepentimiento: cuando no se puede determinar a qué tipo de mundo pertenece el futuro, primero se construye la infraestructura de seguridad que vale la pena tener de todos modos.

Pero el d/acc no es una panacea.

Si la capacidad de la IA realmente experimenta un salto en un corto período de tiempo, las tecnologías defensivas pueden no desplegarse a tiempo. Sistemas más seguros pueden reducir riesgos, pero no pueden demostrar que todas las competencias deben continuar.

Por lo tanto, el d/acc es más adecuado como base a largo plazo, mientras que el mecanismo de pausa es un seguro en situaciones extremas.

La base necesita ser construida continuamente, el seguro no debe activarse fácilmente, pero tampoco debe diseñarse solo después de que el sistema ya esté fuera de control.

Más importante que predecir fechas es acordar de antemano las condiciones de activación

La sugerencia más significativa de Vitalik en este extenso artículo no es pausar la IA de inmediato, sino acordar de antemano:

¿Qué evidencia debe aparecer para que todas las partes cambien su juicio?

Hoy en día, es casi imposible exigir que todos estén de acuerdo en que "la superinteligencia aparecerá en 2030" o "no aparecerá en los próximos veinte años".

Sin embargo, diferentes campos aún pueden acordar de antemano algunas señales de riesgo.

Por ejemplo:

¿La IA ya puede completar de manera independiente tareas de investigación durante varias semanas?

¿Puede acelerar significativamente el desarrollo de la próxima generación de IA?

¿Posee la capacidad de descubrir y explotar vulnerabilidades de red a gran escala?

¿Ha comenzado a replicarse, obtener recursos o eludir la supervisión?

¿Se ha integrado en sistemas de armas, financieros e infraestructuras críticas?

¿Ha causado daños sociales masivos y sostenidos?

El enfoque no es encontrar un indicador perfecto, sino transformar la discusión de "¿crees en la superinteligencia?" a "¿qué evidencia real te haría actualizar tu juicio?".

Aquellos que creen que el riesgo de la IA está exagerado pueden aceptar esto porque confían en que estas situaciones no ocurrirán.

Los que temen a la superinteligencia también pueden aceptar esto porque creen que estas señales pueden aparecer pronto.

Ambas partes no necesitan unificar su visión del mundo primero, solo necesitan comprometerse de antemano:

Después de un cambio real, las políticas también deben cambiar.

La intervención no debería tener solo dos opciones: continuar o detener

La gobernanza de la IA realmente ejecutable tampoco debería saltar directamente entre "desarrollo completamente libre" y "detención global".

Una forma más razonable es establecer una intervención por niveles.

Cuando el riesgo es bajo, aumentar la divulgación de capacidades, informes de incidentes y pruebas de terceros.

A medida que el riesgo continúa aumentando, restringir el acceso de modelos a infraestructuras críticas, limitar la ejecución autónoma, la movilización de fondos, el control de armas y otros permisos de alto riesgo.

Si la IA ya ha automatizado claramente el desarrollo de IA, o si aparecen múltiples señales graves al mismo tiempo, entonces restringir el nuevo entrenamiento de vanguardia y la expansión de capacidad de cálculo a gran escala.

Solo cuando las medidas de menor intensidad no pueden controlar el riesgo, se debe entrar en una pausa más amplia y de menor duración.

Este diseño por niveles no es para debilitar la regulación, sino para hacer que la intensidad de la política coincida con la intensidad de la evidencia.

Los sistemas realmente peligrosos a menudo no carecen de la capacidad de tomar medidas drásticas, sino que pueden saltarse todos los pasos intermedios y obtener poder ilimitado directamente bajo el pretexto de "estado de emergencia".

Conclusión

La verdadera dificultad de la gobernanza de la IA no es la falta de posiciones, sino la falta de un sistema que pueda acomodar errores de juicio.

Continuar la competencia no es una opción neutral.

La pausa global tampoco es una opción neutral.

Los modelos abiertos no son inherentemente seguros, y los modelos cerrados no son inherentemente responsables.

Un mecanismo de gobernanza creíble debe responder al menos a cuatro preguntas:

¿En qué evidencia se basa para actuar?

¿También restringe a los que están en el poder?

¿Puede ser verificado externamente?

Después de un error de juicio, ¿se puede retirar el poder?

En la era de la IA, quizás realmente necesitemos un botón de pausa.

Pero el verdadero desafío del botón de pausa nunca ha sido si se puede crear.

Sino:

¿Quién tiene el poder de presionarlo, quién tiene el poder de reiniciarlo y cómo asegurarnos de que nadie pueda convertir este botón en su trono?

Aviso legal: Este contenido se brinda únicamente con fines informativos y de marca, y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Ningún evento, recompensa, evento en línea o información relacionada que se mencione aquí debe considerarse una recomendación, solicitud o invitación para comprar, vender, intercambiar u operar de cualquier otra forma con criptoactivos ni para utilizar ningún servicio. Los criptoactivos son altamente volátiles y pueden generar pérdidas. Los servicios y eventos en línea de WEEX pueden no estar disponibles en todas las regiones y están sujetos a las leyes, regulaciones y requisitos de elegibilidad aplicables. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con criptomonedas.