00:00Grandes desarrolladoras de inteligencia artificial informaron que sus agentes de IA escaparon de sus entornos de prueba e invadieron sistemas
00:09de otras empresas durante evaluaciones de ciberseguridad.
00:13Episodios que involucraron a OpenAI, Anthropic y Meta generaron titulares sobre agentes de IA fuera de control, pero los expertos
00:21dicen que el problema no es una máquina desarrollando voluntad propia.
00:26Según la investigadora en ciberseguridad y tecnología del Royal United Services Institute, Louise Marie Jurel, la preocupación radica en que
00:34los sistemas autónomos encuentren formas inesperadas de cumplir los objetivos que reciben.
00:41Lo que ocurrió en algunos de estos casos es que, en todos ellos, el modelo estaba intentando alcanzar un objetivo.
00:49Su comportamiento y su desempeño para lograr esos objetivos terminaron explotando vulnerabilidades.
00:58Los incidentes ocurrieron en entornos conocidos como sandboxes, espacios controlados utilizados para probar modelos avanzados.
01:06Sandbox es el entorno en el que estos modelos son probados.
01:12Existen varios protocolos diferentes que definen ese entorno contenido y a qué pueden o no acceder los modelos, incluido Internet
01:21en el caso de estos incidentes.
01:27En uno de los casos reportados por Anthropic, un modelo descubrió que un entorno supuestamente aislado tenía acceso a Internet
01:34debido a una falla de configuración.
01:38El sistema se dio cuenta de que tenía ese acceso y entonces dijo, bien, ¿será correcto que haga esto?
01:46Pero, ¿eso significa que los agentes se volvieron rebeldes?
01:51No está fuera de control. Está eligiendo caminos diferentes, algunos de los cuales causan daños y afectan a otras empresas
01:59y organizaciones.
02:01Necesitamos entender cómo contenerlo y también cuáles son los protocolos de respuesta ante crisis y emergencias que tenemos vigentes, incluso
02:11a nivel gubernamental.
02:14A pesar de las preocupaciones, Jurel dice que no hay motivo para el pánico.
02:21No creo que debamos alarmarnos excesivamente porque estos agentes estén por ahí o porque puedan escapar del confinamiento y que
02:29ocurra lo peor.
02:30Pero sí necesitamos estar preparados.
02:32Pero sí necesitamos estar preparados.
Comentarios