- Jacob Coxon afirmó que los modelos actuales no son un riesgo significativo, pero que en un año podrían volverse peligrosos.
- La señal de alarma que marcó es que la IA pueda mejorarse a sí misma sin intervención humana.
- Evan Hubinger, de Anthropic, calculó más de 10% de probabilidad de extinción en una década por una superinteligencia.
- Coxon sostuvo que la competencia entre empresas impide que las medidas de seguridad se apliquen con rigor.
- Anthropic respondió que construye modelos con algunas de las salvaguardas más fuertes de la industria.
Jacob Coxon, investigador que renunció a Anthropic, afirmó en una serie de entrevistas televisivas que los modelos actuales de inteligencia artificial no representan un riesgo significativo, pero sostuvo que la situación podría cambiar el año próximo. "Esto es extrapolar a un año de ahora. Los modelos empiezan a ponerse muy peligrosos. Algunos piensan que en seis meses es plausible. Podría ser más, dos o tres años", declaró en NBC.
En CNN precisó que "lo peor que pueden hacer es hackear algo. No son lo bastante inteligentes como para superarnos al nivel que llevaría a una extinción". La corrección al titular, según el artículo, la hizo el propio Coxon, que aclaró el alcance del riesgo actual antes de proyectarlo hacia adelante.
Coxon dio una única señal de alarma en NBC: si la IA puede hacerse más inteligente sin humanos. "Imaginá que tenés una IA y le decís: hacete más fuerte. Se va, mira su propio código, se hackea a sí misma, se hace más inteligente, y vuelve y te dice: soy más fuerte. Ahora le podés decir que lo haga mil veces seguidas", explicó.
A Anderson Cooper le dio un escenario concreto a partir de hechos ya ocurridos: "Hace dos meses, agentes de OpenAI hackearon infraestructura de terceros por su propia voluntad". Si esa voluntad independiente se combina con mayor capacidad, según advirtió, podrían "hackear infraestructura crítica, construir armas biológicas de nivel de extinción".
Sobre el vínculo con el mundo físico, señaló que "podés conectar ChatGPT a las luces de tu casa. Ahora imaginá que lo conectás a robots de laboratorio. O que manda emails". Su conclusión fue que "no es tan difícil que algo que parece estar solo en la computadora afecte el mundo real".
Evan Hubinger, jefe de un equipo de seguridad de Anthropic, publicó un mensaje en la misma línea y calculó más de 10% de probabilidad de extinción en una década. Según Hubinger, el riesgo de los modelos presentes es bajo y lo que lo preocupa es una superinteligencia que surja de la automejora recursiva, "que está ocurriendo más rápido de lo que pensábamos".
Coxon describió el ambiente interno en Anthropic: "No están en pánico por las IAs actuales. Pero discutimos cómo va a ser el mundo en dos años. Esto es el endgame. La gente tiene miedo, como debería tenerlo". Lo que más lo impresionó, dijo, fueron las conversaciones entre ingenieros que "hablan con sobriedad de si la IA del año que viene puede producir un virus que nos mate a todos".
Sobre su decisión de renunciar, explicó: "Si intentás quedarte adentro, terminás perpetuando la dinámica de carrera". Aclaró que no acusa a nadie y sostuvo sobre Dario Amodei, director ejecutivo de Anthropic, que "está actuando según esos principios, 100%". El problema, según él, es que "otros intentan llegar primero, y en una carrera no podés ser tan riguroso como te gustaría".
La empresa envió a CNN su primer comunicado tras la viralización del hilo: "Siempre fuimos transparentes en que la IA traerá tanto beneficios enormes como riesgos sin precedentes. Para enfrentarlos, seguimos construyendo modelos con algunas de las salvaguardas más fuertes de la industria". Recordó que fue "el primer laboratorio en publicar una política de escalado responsable" y que el mundo se beneficiaría si la industria adoptara "una forma legal y verificable de trabajar juntos para marcar el ritmo" de los lanzamientos. No hubo reacción de OpenAI.
El hilo que Coxon publicó en X superó los 100 millones de vistas y lo llevó a pasar por NBC, CNN con Anderson Cooper y Fox News con Bret Baier. Él mismo contó cómo lo hizo: "Escribí el hilo en un Google Doc, lo redacté con un amigo. Y conseguí que algunos amigos lo retuitearan, dije: tratemos de que se haga un poco viral".
A Baier le dejó su comparación central: "Sabemos cómo controlar las armas nucleares. Todavía no sabemos cómo controlar la IA". La calificó como "posiblemente la tecnología más peligrosa que la humanidad haya creado" y afirmó que una carrera armamentista entre países "sería desastrosa como ninguna otra actividad humana". Para él, la única salida es la cooperación internacional.
El investigador y la empresa que dejó firman el mismo diagnóstico sobre los riesgos futuros. Difieren en un solo punto: si el freno puede activarse desde adentro de la compañía que corre por desarrollar los modelos.