La controvertida investigación sobre la explicabilidad de la IA llama la atención de Sam Altman
En los últimos meses, OpenAI ha estado negociando con la startup de IA Goodfire sobre una posible adquisición o colaboración (mi colega y yo publicamos un informe esta mañana, OpenAI había considerado adquirir esta startup que analiza la "forma de pensar" de la IA por más de 5 mil millones de dólares). Durante las negociaciones, el CEO de OpenAI, Sam Altman, mostró un interés particular en la investigación de Nick Kamarata. Kamarata, quien trabajó en OpenAI y ahora está en Goodfire, ha propuesto recientemente nuevas ideas sobre cómo piensa la inteligencia artificial, lo que ha generado un gran revuelo en la industria.
El mes pasado, Kamarata publicó un artículo y la semana pasada lanzó un informe de seguimiento, lo que provocó un intenso debate entre los investigadores de IA. Algunos elogiaron el resultado como un posible gran avance en la comprensión de los modelos de IA; otros, sin embargo, creen que es solo una exageración. Esta reacción polarizada indica que algunas áreas de la investigación en IA aún son muy inmaduras, y los investigadores ni siquiera pueden llegar a un consenso sobre lo que constituye una investigación de alta calidad. Sin embargo, a pesar de que la tecnología aún no ha sido validada, las startups relacionadas aún pueden obtener valoraciones de miles de millones de dólares.
La dirección de investigación central de Goodfire es la explicabilidad de los mecanismos, abreviada en la industria como "mech interp". El objetivo de este campo es entender los mecanismos internos de funcionamiento de los modelos de IA, y no solo observar su comportamiento externo. Los modelos de IA están compuestos por billones de valores, como una "caja negra", y no se pueden leer directamente como el código de software tradicional. Esto hace que sea difícil predecir qué comportamiento tendrá la IA en nuevos escenarios, y también es complicado rastrear errores.
El artículo de Kamarata se titula "Las redes neuronales son inherentemente legibles" y propone la idea de que los neuronas artificiales en los modelos de IA (funciones matemáticas construidas sobre una gran cantidad de valores) son en realidad más fáciles de interpretar de lo que los investigadores habían pensado anteriormente. Siguiendo esta lógica, las startups como Goodfire, que se dedican a analizar la lógica interna de la IA, tienen un futuro más prometedor.
Por ejemplo, ya en 2017, los investigadores en explicabilidad de mecanismos encontraron una neurona especial en un modelo de IA de imágenes: independientemente de si se introducían imágenes de coches o gatos, esa neurona se activaba. Muchas neuronas presentan este fenómeno, procesando múltiples tareas aparentemente no relacionadas, lo que ha causado gran confusión entre los investigadores. De hecho, en 2023, cuando Kamarata aún trabajaba en OpenAI, intentó usar GPT-4 para analizar las neuronas de GPT-2 y descubrió que solo el 1.7% de las neuronas podían ser interpretadas.
Sin embargo, Kamarata cree que, gracias a los avances en las técnicas de entrenamiento de modelos y en los métodos de análisis, la situación ya no es tan desesperada. Tomando como ejemplo el modelo Qwen3-32B de Alibaba, alrededor del 90% de las neuronas solo cumplen una función única, lo que las hace susceptibles de ser interpretadas. Al volver a investigar esa clásica neurona que responde tanto a gatos como a coches, descubrió que tanto la cara del gato como la del coche tienen un contorno en forma de V similar, que es la verdadera característica que activa esa neurona. {#quote_BABA}
"En mi opinión, la historia en el campo de la explicabilidad es, en gran medida, que lo que se observa bajo el microscopio es mucho mejor de lo que habíamos imaginado", escribió. "Solo que el microscopio en sí no estaba bien calibrado, y los ajustes necesarios a menudo son muy sutiles."
Varios de los principales investigadores en el campo de la explicabilidad de mecanismos no están de acuerdo con las conclusiones del artículo de Kamarata. Ellos afirman que la dirección de investigación tiene valor, pero que el artículo exagera la importancia de los resultados.
Neil Nanda, responsable de la dirección de explicabilidad de mecanismos en Google DeepMind, comentó en las redes sociales: "Este trabajo es interesante, pero no creo que aporte una actualización significativa al panorama general de la explicabilidad". Nanda escribió que el artículo sobreestima el nivel de comprensión que los humanos tienen actualmente sobre las neuronas; incluso si todas las neuronas pudieran ser leídas, el mecanismo de funcionamiento del modelo seguiría dejando muchas preguntas sin respuesta. {#quote_GOOG}
Leo Gao, investigador de OpenAI, también participó en la discusión y publicó un artículo de refutación titulado "Las redes neuronales no son inherentemente legibles". Él argumentó: "Este artículo es muy insuficiente para demostrar que ya entendemos la mayoría de los comportamientos de las neuronas; estos resultados no representan que el problema de la explicabilidad haya sido resuelto, ni indican que este trabajo sea mucho más simple de lo que se pensaba anteriormente."
Liv Gorton, quien trabajó en Goodfire y ahora está en Anthropic, replicó algunos de los experimentos de Kamarata y obtuvo resultados diferentes. Ella también señaló: "Las caras de los gatos no son todas en forma de V, y esa neurona no responde a muchos objetos en forma de V (como los picos de los pájaros)."
Frente a las críticas y elogios diversos, Kamarata sigue expresando una actitud optimista. Publicó en las redes sociales sobre la explicabilidad de la IA: "Creo que este problema puede ser resuelto. Ya sea que las soluciones simples existentes funcionen, o que las soluciones actuales sean en gran medida viables pero necesiten herramientas nuevas, o que necesitemos un nuevo enfoque disruptivo, eventualmente encontraremos la respuesta.
Precio de --
Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.
También te puede interesar

MPLX Aumenta el Pago Anual en un 12.5% por Tercer Año Consecutivo

Perspectivas macroeconómicas de la próxima semana: el PCE subyacente de EE. UU. de octubre se presenta, y el mercado cierra por el Día de Acción de Gracias

El oleoducto Hamada en Libia bloqueado, pérdidas superan los 30.7 millones de dólares

Emiratos Árabes Unidos realiza transporte de petróleo en formación nocturna, ADNOC se convierte en la fuerza central del estrecho de Ormuz

Productores de petróleo de Dakota del Norte recurren al transporte por camión debido a la interrupción de un oleoducto

Sam Price señala que los precios del petróleo han caído durante tres semanas consecutivas

¿Dónde estará la acción de Bloom Energy en 5 años después de más que duplicar sus ingresos en 2026?

El Nasdaq está en su tercera corrección de 2026. Aquí está la lección que la mayoría de los inversores están pasando por alto.

Chevron llega a Grecia para iniciar exploración de petróleo y gas en el mar

Analista de Bank of America: La tendencia de los activos de riesgo en 2027 dependerá de dos preguntas clave

La caída de los precios del petróleo no alivia la presión en el mercado de bonos, los rendimientos de los bonos siguen por encima del 5%

Transbordo de petróleo iraní entre petroleros en el Golfo Pérsico, EE. UU. amplía advertencias sobre bloqueo marítimo

CITIC Securities: Perspectivas positivas para el oro en 2027, con un aumento menor que en 2025

La interrupción del oleoducto de Dakota del Norte en Estados Unidos entra en su sexto día

2 Razones para Comprar Acciones de SpaceX (SPCX) -- y 1 Razón para Esperar

Procter planea reducir hasta un 30% de su personal de fabricación y logística para 2030

Procter & Gamble planea reducir hasta un 30% de su personal de fabricación y logística para 2030

Amundi reduce su optimismo sobre el mercado de valores europeo para 2027

Fed: ¿Y si el banco central estadounidense comete un grave error?

Las expectativas del mercado apuntan a que la Reserva Federal y otros bancos centrales aumentarán las tasas de interés en el futuro, manteniendo altas tasas hasta 2031

S&P Global prevé que el precio del petróleo Brent caerá a 83 dólares para finales de 2027

Null completa una financiación de 1.7 millones de dólares en ronda Pre-Seed, liderada por cyber•Fund y Nethermind

Deutsche Bank advierte sobre el "triple riesgo bajista" del mercado: factores negativos pueden contrarrestarse, pero un repunte podría estimular la postura agresiva de la Reserva Federal

La UE retrasa la implementación de las regulaciones sobre emisiones de metano en importaciones de combustibles fósiles

La AIE: El mercado energético puede operar sin el estrecho de Ormuz

Irak vende crudo de Basora de diciembre con un descuento máximo de 33 dólares por barril

Los analistas advierten que la caída del precio del oro por debajo de los 3800 dólares refleja una venta por capitulación

El capital de la inteligencia artificial cambia de rumbo hacia los bonos, en busca de recuperación en criptomonedas

El auge de las inversiones en IA eleva el mercado, las tenencias de bonos estadounidenses en el extranjero disminuyen en 75.5 mil millones de dólares







