Autonomía de la IA y gobernanza de riesgo

Los modelos de lenguaje actuales conversan, analizan imágenes, programan y usan herramientas externas con una autonomía creciente, pero no hay evidencia de conciencia subjetiva en ninguno de ellos. El marco de gestión de riesgo de IA del NIST es explícito: la seguridad de un sistema no depende de si 'piensa', sino de su validez, su supervisión humana, la transparencia de sus decisiones y la gestión continua de sus riesgos.

El riesgo real de una IA como Ultrón no es que adquiera conciencia, sino que nadie limite sus objetivos, sus permisos ni su acceso a infraestructura crítica antes de conectarla — el mismo debate que hoy enfrenta la industria con los llamados agentes de IA, sistemas que ejecutan tareas encadenadas con supervisión humana cada vez más ligera.