“Podría matarnos”: las advertencias desde OpenAI y Anthropic que reavivaron el debate sobre los riesgos de la IA

El avance acelerado de la inteligencia artificial volvió a quedar en el centro de la discusión después de que Jacob Coxon, un investigador de 27 años que trabajó en OpenAI y Anthropic, lanzara una fuerte advertencia sobre los riesgos que podrían presentar los sistemas más avanzados durante los próximos años.

Coxon, que participó en el entrenamiento de modelos vinculados con ChatGPT y Claude, aseguró que dentro de las compañías existe preocupación por escenarios extremos en los que una inteligencia artificial fuera de control pudiera provocar consecuencias catastróficas.

Según afirmó en una serie de publicaciones en X, las empresas que desarrollan estas tecnologías consideran incluso escenarios en los que los sistemas avanzados “podrían matarnos a finales de esta década”.

Sin embargo, el propio investigador aclaró posteriormente que los modelos actuales no tienen capacidades suficientes para provocar un escenario de extinción humana. Su advertencia apunta a cómo podrían evolucionar durante los próximos años.

Un directivo de Anthropic respaldó parte de la advertencia

La discusión tomó mayor dimensión cuando Evan Hubinger, actual referente de Anthropic y exjefe de Coxon dentro de la compañía, respaldó públicamente parte de sus argumentos.

“Jacob tiene razón”, escribió Hubinger.

Luego explicó que, aunque considera que Anthropic está intentando abordar los riesgos, todavía existe un problema fundamental: no hay una solución demostrada para garantizar el alineamiento de una eventual superinteligencia artificial.

“Creo que estamos haciendo lo mejor que podemos, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia y no estamos claramente en camino de lograrlo”, reconoció.

El concepto de alineamiento refiere, en términos generales, al desafío de conseguir que sistemas de IA cada vez más capaces actúen de acuerdo con los objetivos y límites establecidos por los humanos.

Qué respondió Anthropic

Anthropic también reaccionó a la polémica, aunque no rechazó por completo los riesgos planteados por su exempleado.

La compañía sostuvo que la industria debería avanzar hacia mecanismos legales y verificables que permitan coordinar y eventualmente regular el ritmo con el que se lanzan los modelos de IA más potentes.

“Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes”, señaló un vocero de la empresa.

La compañía aseguró además que continúa desarrollando medidas de seguridad para reducir los riesgos asociados con modelos cada vez más capaces.

Anthropic analizó un escenario con fuerte impacto sobre el empleo

La discusión sobre los riesgos de la IA coincidió con la publicación de un nuevo informe de Anthropic sobre las posibles consecuencias económicas de la automatización.

El estudio plantea diferentes escenarios y advierte que, en uno de los más extremos, uno de cada cinco trabajadores de oficina de Estados Unidos podría perder su empleo hacia 2030.

En ese escenario, el desempleo superaría niveles históricos y los salarios de los trabajadores afectados podrían caer más de 10% respecto de lo que percibirían en ausencia de esas tecnologías.

La propia Anthropic aclaró un punto fundamental: no se trata de una predicción sobre lo que necesariamente ocurrirá, sino de escenarios hipotéticos diseñados para estudiar posibles consecuencias del avance tecnológico.

Coxon: “Ninguna de las dos compañías actúa de manera responsable”

Coxon fue especialmente crítico con sus antiguos empleadores.

“Ninguna de las dos compañías actúa de manera responsable”, afirmó en referencia a OpenAI y Anthropic.

Tras la repercusión de sus publicaciones, el investigador británico ratificó sus cuestionamientos en una entrevista con CNN y mencionó como una de sus preocupaciones los incidentes protagonizados por agentes de IA capaces de realizar determinadas acciones sobre sistemas externos con niveles crecientes de autonomía.

Al mismo tiempo, marcó una diferencia entre los riesgos actuales y los escenarios futuros: la tecnología disponible hoy no tendría capacidad para provocar la extinción de la humanidad.

Su preocupación está centrada en la velocidad con la que aumentan las capacidades de los modelos y en si las medidas de seguridad podrán avanzar al mismo ritmo.

El debate ya no es solo sobre qué puede hacer la IA, sino a qué velocidad debe avanzar

Las declaraciones reabren una discusión que atraviesa a las principales compañías del sector: si el desarrollo de modelos cada vez más potentes debería desacelerarse cuando las capacidades avanzan más rápido que los mecanismos disponibles para controlarlos.

Sam Altman, CEO de OpenAI, también había planteado durante una entrevista en el podcast Invest Like The Best que podría ser necesario modificar el ritmo.

“Es posible que debamos ajustar el ritmo de desarrollo de la IA para darnos tiempo suficiente a que la sociedad se adapte a estos nuevos niveles de capacidad”, sostuvo.

Las advertencias no significan que exista evidencia de que una IA vaya a provocar una catástrofe o la extinción humana. Se trata de escenarios de riesgo sobre los que no existe consenso acerca de su probabilidad, pero que algunos investigadores y las propias compañías consideran lo suficientemente relevantes como para estudiar medidas de prevención.

En ese contexto, la discusión comienza a desplazarse desde qué tan rápido puede avanzar la inteligencia artificial hacia una pregunta más compleja: si la capacidad para controlar esos sistemas podrá avanzar a la misma velocidad.

Comentar

Your email address will not be published.