00:00La inteligencia artificial sirve para todo, aunque por ahora no nos ha hecho aún la colada,
00:04pero sí que podemos decir que sirve para detectar y analizar los discursos de odio en las redes sociales.
00:10Y para contarnos todo ello nos acompaña Sergio García Magariño,
00:12que es doctor en Sociología y profesor investigador de la Universidad Pública de Navarra.
00:16Muchas gracias por estar hoy aquí con nosotros.
00:17Un placer, gracias por el interés, por invitarme, me alegro de verte.
00:21Vienes a hablar de Xenometer, que en realidad lo que hace es la aplicación de la inteligencia artificial
00:26para detectar discursos de odio o de xenofobia en las redes sociales.
00:30Efectivamente.
00:31Explícanos en qué consiste esto, tradúcenos.
00:33Sí, bueno, en términos muy sencillos, es un sistema que permite que un algoritmo,
00:39a través de la descarga de mensajes, determine si esos mensajes hablan de la migración o no,
00:46y si hablan de la migración, si hablan en términos positivos o negativos.
00:50Y si hablan en términos positivos o negativos, con qué nivel de virulencia o de positividad.
00:54Tenemos una escala de 7.
00:56Entonces, lo que pasa es que para entrenar el algoritmo hay todo un trabajo de cocina,
01:00de trasfondo, manual, de personas etiquetando mensajes,
01:05llegando a consensos acerca de las categorías de esos mensajes,
01:08y después con todo ese material se entrena el algoritmo.
01:12Surge en Estados Unidos el proyecto en realidad,
01:15y después nosotros intentamos aplicarlo en España,
01:18y ahora lo que hemos creado es una red internacional,
01:21que está en Estados Unidos, España, de momento El Salvador y Colombia,
01:24y en cada uno de esos países hay equipos que están intentando hacer lo mismo para las redes sociales de
01:30esos países.
01:30Y ahora mismo es un momento clave para abordar este tema,
01:33con toda la polarización que estamos viendo también en Estados Unidos.
01:36Sí, sí, sin duda. Es un momento clave, yo creo que además, por lo menos por cuatro razones.
01:41O sea, por un lado, la inteligencia artificial está de moda.
01:43Hay una burbuja, la burbuja de la inteligencia artificial.
01:46Por otro lado, las redes sociales atraviesan nuestra vida,
01:50son un instrumento a través del cual nos informamos, socializamos,
01:53pero también hay muchos riesgos y polarizan e incrementan los discursos de odio, los magnifican.
01:59Luego, además, en el caso de los equipos multidisciplinares,
02:04es algo que desde hace tiempo se viene viendo,
02:06que los problemas sociales actuales, el cambio climático, la misma xenofobia,
02:12el agotamiento del sistema de protección social, el envejecimiento de la población,
02:16son problemas complejos que requieren enfoques multidisciplinares.
02:19Aquí tenemos un caso de un proyecto específico que combina lo mejor de la sociología,
02:24la ciencia política, el derecho, la tecnología.
02:27Yo diría que por todos esos motivos, por lo menos, es un momento bueno para poder abordarlo.
02:32Y la parte negativa es que vivimos en una sociedad, como tú decías,
02:35donde la xenofobia, el rechazo a lo diferente, la polarización, la radicalización, la desinformación,
02:42discurren por las redes sociales como altavoz y poder abordarlo es una gran necesidad social.
02:48¿Y cómo se entrena el algoritmo para detectar el odio?
02:51Porque al final no deja de haber sesgos, ¿no?
02:54Porque quien lo entrena es un humano.
02:56Claro. Por eso nosotros lo que estamos intentando hacer es eludir esos sesgos.
03:00La innovación viene de la metodología que diseñaron en Cornell.
03:04Nosotros también aquí en la UBNA habíamos visto que los científicos sociales
03:07rara vez se acercan a la tecnología desde dentro,
03:09si no suele haber una visión crítica sin conocer demasiado.
03:12Y luego los tecnólogos, la gente que se dedica a la inteligencia artificial,
03:16ciencia de datos, no tiene formación en ciencias sociales
03:18y rápidamente suele utilizar bases de datos que se han creado en otros lugares
03:22y no hay trazabilidad para ver cómo han hecho los procesos de evaluación etiquetado
03:26para entrenar algoritmos.
03:29En nuestro caso, el proyecto tiene una parte humana muy importante para evitar los sesgos.
03:32Nosotros nos reunimos y por lo menos hasta un número de 7.000 mensajes
03:36intentamos clasificarnos manualmente, no solamente a nivel individual
03:41con unas categorías prediseñadas, sino que lo que etiquetan grupos de personas
03:46se pone en conjunto, en diálogo, cada tres semanas, un mes,
03:51para llegar a consensos, refinarlos y evitar que no haya sesgos.
03:54Y luego, con toda esa materia prima ya bien analizada,
03:58utilizando grupos de trabajo, cargamos el algoritmo a través de programas
04:03que no son demasiado complejos, tampoco hay tanta innovación tecnológica
04:06en la manera que se entrenan, y simplemente las pautas que observa el algoritmo
04:10de cómo están esos mensajes clasificados, luego se reproducen
04:14para hacerlo de manera automática.
04:15Le das unos mensajes y les dices, oye, este mensaje trata la migración o no,
04:19con qué nivel de virulencia la trata, etc.
04:21Y eso, claro, se clasificaría por insultos o...
04:24Nosotros tenemos siete categorías.
04:28Cero es mensajes neutros, que hablan de la migración,
04:31pero transmiten datos sin intenciones.
04:34Luego tenemos una escala positiva, 1, 2 y 3, y una escala negativa,
04:37menos 1, menos 2 y menos 3.
04:39El 1 y el menos 1 tienen que ver con mensajes que hablan de la migración,
04:44si es el 1, en términos positivos, pero sutil.
04:47No hay una declaración demasiado explícita acerca de la actitud positiva
04:51hacia la migración, pero igual dicen, bueno, es necesario que haya acciones
04:56que mejoren la integración de la población migrante, elementos sutiles.
05:01Dos serían declaraciones explícitamente positivas sobre la migración
05:05o población percibida como tal, y tres, llamamientos a la acción.
05:08Debería haber mejores políticas públicas.
05:10Lo mismo pasa al revés, menos 1 son mensajes que hablan negativamente
05:15de la población migrante, pero de forma sutil.
05:18Puede ser que utilizan una palabra despectiva, un menor no acompañado, un mena.
05:23El reducir esa palabra ya es un menos 1, hay un prejuicio, aunque uno no sea consciente.
05:28O correlacionar población migrante con criminalidad en una noticia.
05:32Cuando hay consenso entre los medios, menos 1 sería actitud negativa sutil,
05:36menos 2 claramente puede ser que haya un insulto, una declaración negativa,
05:40y menos 3 son llamamientos a la acción, contra la población migrante
05:44o para implementar políticas que vayan en contra de la misma.
05:48Esa es la manera que se clasifica.
05:49¿Y existe riesgo de que herramientas como estas puedan servir para vigilar o censurar también,
05:55que están en el debate?
05:56Siempre la tecnología, y el caso de China creo que es el más claro,
06:00la tecnología se puede usar para censurar, para vigilar y para limitar los derechos.
06:07La tecnología, primero, no es neutra.
06:09Siempre se diseña con una intención detrás, las redes sociales.
06:13La gente dice, bueno, hay que usarlas bien, si hay que usarlas bien,
06:15pero las redes están diseñadas para que te vuelvas adicto, para que te vuelvas adicta.
06:19Y eso está en el diseño, es una intención, por lo tanto, lo natural es que te vuelvas adicto a
06:24la red.
06:24Hay un diseño.
06:25Lo mismo pasa con otras tecnologías, por ejemplo, las tecnologías de vigilancia.
06:29Están ellas para vigilar.
06:30¿Que pueden tener efectos positivos sobre la seguridad?
06:33Sí, pero están diseñadas para vigilar.
06:35El caso de China, que quería compartir contigo, creo que es muy ilustrativo.
06:40Hace unos años hubo un joven que iba a entrar a la universidad, tenía notas del top, del porcentaje del
06:4710% más altas del país,
06:48y de repente va a hacer la solicitud a la universidad y le dicen que no puede entrar.
06:52Cuando pregunto, oye, ¿qué es lo que sucede?
06:54Le dan un informe y entonces él había cometido varias infracciones menores en los últimos años,
07:00cuando iba en la bicicleta se saltó varios semáforos en rojo.
07:03Qué miedo, ¿no? Qué control.
07:04Efectivamente.
07:04Y el gobierno tenía esa lista de infracciones y le impedía entrar a la universidad por eso.
07:09Por ello, claro, que se puede utilizar para vigilar y para acuartar los derechos.
07:12También, en nuestro caso, estamos intentando ver si se pueden utilizar con una vertiente más positiva.
07:18Claro, ¿y dónde está el equilibrio entre combatir el odio y la libertad de expresión también?
07:22Esa es una muy buena pregunta.
07:24En el caso de España creo que el límite es muy claro, porque en España hay un delito que es
07:29discurso de odio.
07:30Es verdad que es muy difícil clasificar una acción de discurso de odio o de delictiva,
07:34porque tiene que trazarse la posibilidad de que haya acciones violentas contra ese colectivo.
07:39Pero, digamos, sería la línea roja.
07:43En el caso de Estados Unidos, donde surge el proyecto, es mucho más difícil,
07:46porque en Estados Unidos la primera enmienda de la Constitución blinda la libertad de expresión.
07:51La libertad de expresión está por encima de todo.
07:52Eso significa que puede haber declaraciones violentas contra grupos, incluso llamamientos a la acción violenta.
07:58Solo si hay una acción violenta, en el caso de Estados Unidos, como pasó con la toma del Capitolio,
08:03y después se puede trazar que hubo un mensaje previo que incitó a esa acción violenta, puede ser delito.
08:10Pero en el caso de España es andal.
08:12En el caso europeo, somos más protectores, en cierta manera, que en Estados Unidos.
08:18Pero bueno, es algo que hay que tener en cuenta.
08:19La libertad de expresión no se puede coartar, pero tiene límites.
08:23Tiene ciertos límites y es bueno que entendamos cuál es el círculo de lo apropiado.
08:28Y me viene a la cabeza, con tanto dato, que acumular la inteligencia artificial
08:31podría ser capaz de prever futuros conflictos sociales o le pedimos mucho.
08:37No, no. Mira, y eso que no es en la era de la inteligencia artificial.
08:41La Universidad de Maryland, hace muchos años, ya diseñó un proyecto que se llama
08:45Minorities at Risk, Minorías en Riesgo.
08:48Y ellos desarrollan toda una metodología introduciendo diferentes variables
08:52que cuando llegaran a cierto nivel te indicaban que puede haber un genocidio.
08:56Y realmente es un mecanismo de alarma temprana muy, muy, muy potente.
09:00Y ni siquiera usaban inteligencia artificial en su día.
09:02Por lo tanto, claro que hoy día, ante ciertos fenómenos, por ejemplo,
09:06en Reino Unido están explorando la radicalización violenta en distritos.
09:11Y tienen una serie de parámetros.
09:13Hay una profesora, Margarita Beriolloso, con la que hemos colaborado.
09:16Ella, por ejemplo, tiene todo un sistema que identifica ciertos factores
09:20relacionados con el territorio, no con las personas, que cuando confluyen
09:23incrementa el riesgo de que hay un atentado terrorista.
09:27La situación económica del barrio, las infraestructuras,
09:29la cuestión ecológica y si ha habido algún discurso de odio recientemente.
09:35Con inteligencia artificial y ciencia de datos, ahora se pueden hacer análisis
09:39mucho más sofisticados si tienes bien los parámetros.
09:42Pero tiene que haber una buena conceptualización de fondo.
09:45Tú dijiste al principio algo que es muy importante, que es que detrás de todo
09:50sistema de inteligencia artificial hay personas, hay humanos.
09:53Y el éxito de la inteligencia artificial depende, sobre todo, de que la conceptualización
09:57que hacen los humanos esté bien hecha, porque si no lo que hace es introducir
10:00unos sesgos que se magnifican en el proceso, porque la inteligencia artificial usa
10:05los datos que va generando para entrenarse a sí misma.
10:09Por lo tanto, siempre se va volviendo más extrema la tendencia.
10:13Pues Sergio García Magariño, doctor en Sociología y profesor de Investigación
10:17en la Universidad Pública de Navarra, muchas gracias por acercarnos a esta realidad.
10:21Un placer, gracias por haceros eco y esperamos que vengan quienes nos están viendo a las jornadas.
10:26Que es mañana, que son mañanas.
10:27Mañana, miércoles y jueves, nueve y media.
10:30Muy bien, pues lo apuntamos.
10:31Nosotros hacemos una pequeña pausa y volvemos en unos instantes.
Comentarios