Inteligencia artificial: por qué las empresas discuten frenar su desarrollo y qué riesgos ya están documentados

Durante el fin de semana, el director ejecutivo de Anthropic, Dario Amodei, pidió a las empresas de inteligencia artificial (IA), incluida la suya propia, que ralentizaran su ritmo de trabajo. Sam Altman y Elon Musk, directores de las empresas rivales OpenAI y xAI, respectivamente, se mostraron de acuerdo.

El intercambio reabrió el debate sobre la velocidad con la que avanza el desarrollo de sistemas de IA cada vez más capaces y sobre los mecanismos de seguridad que deberían acompañarlo. Mientras algunos referentes de la industria plantean frenar determinados avances, otros sostienen que hacerlo podría afectar la competencia tecnológica.

Al mismo tiempo, existen riesgos asociados con la IA que ya fueron documentados, como el uso de modelos para operaciones de influencia, generación de contenido engañoso, fraude y determinadas actividades de ciberseguridad. Otros escenarios, como la posibilidad de que los sistemas lleguen a escapar del control humano y provoquen “el fin de la humanidad”, todavía son objeto de debate entre especialistas.

Por qué las empresas discuten frenar el desarrollo de la IA 

A fines de agosto, OpenAI, Anthropic, Google y más de 100 empresas firmaron una carta abierta en donde advirtieron sobre los riesgos de la IA para la ciberseguridad, considerando que, en los próximos meses, los ciberataques facilitados por la IA se generalizarían y sofisticarían cada vez más.

El debate se reactivó tras la renuncia de Jacob Coxon a Anthropic, quien cuestionó la velocidad con la que las principales compañías avanzan hacia sistemas cada vez más potentes.

A raíz de esto, Amodei propuso establecer evaluaciones externas, estándares comunes de seguridad y coordinación entre gobiernos para moderar el ritmo de desarrollo. Altman y Musk le respondieron y respaldaron la idea de desacelerar ciertos avances.

Tras el intercambio de mensajes, el presidente estadounidense, Donald Trump, minimizó la posibilidad de que su administración controle su avance y dijo que le preocupaba perder la ventaja de Estados Unidos sobre China en una competencia global.

Por su parte, el director técnico de Palantir, Shyam Sankar, manifestó su desacuerdo con la iniciativa de moderar el avance de la IA. Mark Zuckerberg, el CEO de Meta, también se posicionó en contra de desacelerar los avances.

Algunos expertos señalan que una pausa también podría beneficiar a las grandes empresas de IA: les daría tiempo para recuperar las enormes inversiones que hicieron y, con normas de seguridad costosas, podría dificultar que competidores más pequeños las alcancen.

“Aunque los recientes ataques informáticos pueden haberles obligado a dar este paso, las principales empresas de IA en realidad podrían beneficiarse de una pausa o ralentización del desarrollo. Al establecer costosas normas de seguridad y limitar las exportaciones de chips, podría impedir que los competidores más pequeños les alcancen”, explicó Andrew Cullen, investigador principal de la Escuela de Computación y Sistemas de Información de la Universidad de Melbourne.

Qué riesgos todavía son hipotéticos

Los riesgos asociados con el desarrollo de la IA suelen discutirse en términos de escenarios futuros: qué podría ocurrir si los modelos se vuelven más capaces, autónomos o difíciles de controlar. Uno de estos escenarios es la posibilidad de que los sistemas de IA lleguen a escapar del control humano. 

Evan Hubinger, otro empleado de Anthropic, intervino para situar en más del 10 % la probabilidad de una extinción humana provocada por la IA en un plazo de 10 años.

Sin embargo, existe un desacuerdo entre especialistas sobre la probabilidad de que los sistemas de IA lleguen a escapar del control humano, según el International AI Safety Report 2026, elaborado con aportes de más de 100 expertos de más de 30 países y organismos internacionales. 

Además, el informe concluye que los modelos actuales todavía no tienen las capacidades necesarias para provocar un escenario de ese tipo, aunque muestran avances en algunas habilidades que podrían ser relevantes a futuro.

“Lo primero que me gustaría aclarar es que la versión amarillista de destrucción masiva de la humanidad no tiene ningún argumento razonable para hablar ni de 10 años, ni de 10%, ni de la liquidación, la imagen de Terminator viniendo a destruir todo, no es razonable”, señaló en diálogo con Chequeado Diego Fernández Slezak, doctor en Ciencias de la Computación, investigador del Conicet y director del Laboratorio de Inteligencia Artificial Aplicada (LIAA) de la UBA.

Y agregó: “La velocidad a la que la inteligencia artificial está haciendo avances tecnológicos, avance en ciencia, avance en creatividad, avance en trabajo de oficina, en eficiencia, en procesos educativos que están muy cuestionados y que yo los cuestiono mucho, son extraordinarios. Entonces, en cada uno de esos lugares yo puedo enumerar e imaginar avances que sin la inteligencia artificial serían completamente impensados”.

Operaciones de influencia y usos maliciosos: qué riesgos ya fueron reportados

Además de los escenarios futuros, distintas empresas e investigaciones ya documentaron usos concretos de sistemas de IA en actividades que pueden generar riesgos.

En las últimas semanas, Anthropic publicó un informe sobre amenazas asociadas al uso de Claude, su modelo de IA. El documento analiza cómo determinados usuarios emplearon la herramienta, para llevar a cabo operaciones de influencia y campañas vinculadas con la desinformación de actores de Rusia, Irán, Turquía y distintas regiones de Oriente Medio, Asia del Sur, África y Europa dirigidas a audiencias en 6 continentes, incluida América Latina.

El informe recoge también actividades de vigilancia y usos indebidos relacionados con sistemas biológicos y la construcción de armas. 

Según el documento, la IA fue utilizada para producir grandes cantidades de contenido engañoso, crear perfiles falsos de ciudadanos, periodistas y figuras políticas e inventar biografías e imágenes para darles apariencia de autenticidad. Algunas de estas operaciones estuvieron vinculadas con períodos electorales. La empresa también registró estafas con miles de identidades generadas con IA y bloqueó 5 casos en los que se intentó utilizar sus modelos para desarrollos de laboratorio que podrían haber llevado a la fabricación de armas biológicas.

OpenAI también documenta desde hace tiempo usos maliciosos reales de sus modelos en operaciones de influencia, propaganda y campañas coordinadas.

Su informe de febrero de 2026 muestra que actores maliciosos combinan sistemas de IA con cuentas de redes sociales, sitios web y otras herramientas.
Otro conjunto de investigaciones apunta a una cuestión distinta: qué ocurre cuando los propios modelos reciben mayor autonomía para resolver una tarea.

En julio, OpenAI reveló que algunos de sus modelos de IA más avanzados se descontrolaron y llevaron a cabo un “ciberataque sin precedentes” perpetrado de manera autónoma contra la empresa Hugging Face, encargada de desarrollar modelos de IA de código abierto.

Según el informe técnico de Hugging Face, ningún humano dirigió los pasos individuales. Aunque las vulnerabilidades utilizadas ya eran conocidas y un atacante humano también podría haberlas explotado, la diferencia estuvo en la escala: el agente realizó 17.600 acciones, probó numerosas rutas y cambió de estrategia cuando encontraba obstáculos.

“Hay 3 cosas que ya sabemos a ciencia cierta: que la inteligencia artificial mejora todos los días; que la IA actúa de manera autónoma hoy y que cuando lo hace no respeta los lineamientos que le ponemos a los humanos de que tiene que hacer y que no tiene que hacer, y que puede hablarse entre ella y pensar en lenguajes no reconocibles por nosotros, eso ya pasó y hay papers sobre eso”, explicó Daniel Stilerman, experto en inteligencia artificial, a Chequeado.