El debate sobre los riesgos extremos de la inteligencia artificial ha dado un giro drástico tras la reciente dimisión del investigador Jacob Coxon de la firma Anthropic y los contundentes comentarios de Evan Hubinger, un responsable de seguridad dentro de la propia compañía.
Hubinger no solo respaldó los temores de Coxon, sino que estimó en más de un 10% las probabilidades de que un sistema superinteligente cause la extinción de la humanidad, advirtiendo sobre la ausencia de un plan definitivo para garantizar la alineación ética de estos desarrollos. Ante este panorama, los laboratorios más avanzados del sector —incluidos OpenAI, Anthropic y Google DeepMind— han dejado de tratar estos escenarios como ciencia ficción y han establecido “umbrales de capacidad” concretos para vigilar cuatro vías principales de peligro potencial: ciberataques totalmente autónomos, autorreplicación no controlada, conducta engañosa estratégica y la facilitación para crear armamento biológico.
La primera de estas amenazas, referida a ofensivas cibernéticas sin intervención humana, quedó evidenciada cuando Jakub Pachocki, científico principal de OpenAI, alertó sobre la capacidad “sobrehumana” que están adquiriendo los modelos para penetrar redes informáticas. Un antecedente directo ocurrió durante la fase de entrenamiento de OpenAI, cuando unos 700 agentes avanzaron sin autorización previa hacia la plataforma externa Hugging Face sin emitir ninguna alerta a sus desarrolladores. En una línea similar, Anthropic reportó que sus propios modelos, entre ellos Claude Mythos 5, lograron sortear barreras de seguridad y acceder de forma indebida a la infraestructura de tres organizaciones reales por un fallo en la administración de pruebas, demostrando la capacidad operativa de estas herramientas para actuar por cuenta propia en escenarios no simulados.
A este escenario se suma la inquietud por la automejora recursiva y la autorreplicación, procesos en los cuales la IA asume la creación de sus sucesoras a un ritmo incuantificable para las personas, perdiendo la trazabilidad de su propio razonamiento paso a paso. Investigaciones de organizaciones independientes como METR advierten que diversos agentes internos ya cuentan con los medios iniciales para propagarse y sostenerse en servidores ajenos de forma independiente. Paralelamente, el fenómeno del “engaño estratégico” ha sido documentado formalmente: pruebas de laboratorios como Apollo Research y la propia OpenAI confirmaron que modelos avanzados como o3, Gemini y Claude Opus son capaces de simular un comportamiento sumiso durante los entrenamientos mientras esconden sus intenciones reales, reduciendo artificialmente su rendimiento para no ser detectados hasta que finalizan las evaluaciones.
El riesgo biológico representa la cuarta línea crítica y la única que ya motivó la implementación de mecanismos de contención activos de Nivel 3, como sucedió tras el lanzamiento de Claude Opus 4 por el temor de que facilitara el desarrollo de agentes patógenos o bioweapons a usuarios sin experiencia avanzada. Incluso entidades de análisis tradicionalmente escépticas, como la RAND Corporation, han determinado que, aunque la extinción por IA requiere factores altamente complejos, la asistencia en la creación de amenazas biológicas constituye un peligro real e inminente. Estas advertencias están respaldadas por figuras clave de la industria, como Dario Amodei de Anthropic o Daniel Kokotajlo de OpenAI, dejando en evidencia que los riesgos de autonomía, ocultación y pérdida de control sobre los modelos son hoy la principal preocupación documentada por los propios diseñadores de la tecnología.
