- hace 21 horas
- #documental
El algoritmo contra el crimen
#documental
#documental castellano
#documental español
#documental
#documental castellano
#documental español
Categoría
📺
TVTranscripción
00:00La idea es que si miras los delitos pasados, puedes ser capaz de predecir el futuro.
00:30Queremos comunidades más seguras, sociedades menos confinadas.
00:35¿Pero es eso lo que estamos consiguiendo? ¿Son fiables las predicciones?
00:39En muchos casos, los algoritmos pueden ser mejores que las personas, pero no tienen conciencia. El algoritmo solo sabe lo que se le ha proporcionado.
00:47Como se trata de tecnología, no los cuestionamos tanto como cuestionaríamos a un juez o un funcionario racista. Se presentan con un barniz de neutralidad.
00:57Tenemos que saber quién es responsable cuando los sistemas perjudican a las comunidades a las que deben servir.
01:05¿Podemos confiar en la justicia de los algoritmos predictivos? ¿Y deberíamos hacerlo?
01:11Vivimos en un mundo de grandes bases de datos, donde los ordenadores buscan patrones en vastas colecciones de información para predecir el futuro.
01:31Y dependemos de su precisión.
01:35¿Es una buena mañana para hacer footing? ¿Se convertirá esto en un cáncer? ¿Qué película elijo?
01:42¿La mejor manera de sortear el tráfico? Nuestro ordenador puede decirnoslo.
01:47Programas informáticos similares, llamados algoritmos predictivos, extraen grandes cantidades de datos para hacer predicciones sobre delitos y penas, reinventando el funcionamiento de nuestro sistema jurídico penal.
02:01Las agencias policiales han utilizado estos algoritmos informáticos para intentar predecir dónde se producirá el próximo delito e incluso quién será el autor.
02:10Aquí, el Estado recomienda...
02:13Los jueces los utilizan para determinar quién debe obtener libertad bajo fianza y quién no.
02:17Si no comparece la próxima vez, no obtendrá fianza.
02:20Puede recordarnos a la policía del futuro en la película Minority Report.
02:24Queda detenido por el futuro asesinato de Sarah Marks.
02:26Pero no es ficción.
02:29¿Cómo funcionan realmente estas predicciones?
02:34¿Pueden los algoritmos informáticos hacer que nuestro sistema jurídico penal sea más equitativo?
02:41¿Son estos algoritmos realmente justos y están libres del sesgo humano?
02:50Crecí en Chicago a finales de los 80 y principios de los 90.
03:02Mi padre era inmigrante griego.
03:05Y trabajábamos en el restaurante de mi familia, llamado Keymars.
03:10Andrew Papacristos era un chaval de 16 años en el Northside de Chicago en los años 90.
03:18Pasé muchos de mis años de formación atendiendo mesas, sirviendo a la gente hamburguesas y bocadillos.
03:23Era básicamente un negocio familiar.
03:29El joven Papacristos era consciente de que la calle podía ser peligrosa, pero nunca imaginó que la violencia le afectaría a él o a su familia.
03:38Dos asesinatos relacionados con pandillas.
03:40Los años 80 y 90 constituyeron uno de los periodos históricamente más violentos en Chicago.
03:47Venta de drogas en las esquinas, organizaciones callejeras.
03:51Y como sucedió con muchos otros negocios en nuestra manzana y en nuestro barrio,
03:55las pandillas locales trataron de extorsionar a mi familia y nuestro negocio.
03:59Mi padre llevaba 30 años dirigiendo Keymars y se negó.
04:03Una noche el restaurante familiar arde hasta los cimientos.
04:15La policía sospecha que se trata de un incendio provocado.
04:18Fue un auténtico shock para nuestra familia, porque todos en el barrio habían trabajado en el restaurante en algún momento.
04:23Y mis padres perdieron 30 años de sus vidas.
04:30Ese acontecimiento me hizo querer entender la violencia.
04:33¿Cómo podía ocurrir algo así?
04:37Una década después, Papacristo será un estudiante de posgrado en busca de respuestas.
04:44En la escuela de posgrado trabajaba en un programa de prevención de la violencia
04:48que reunía a miembros de la comunidad, incluidos trabajadores sociales.
04:55Estábamos sentados en una mesa y uno de esos trabajadores me preguntó a mí, el estudiante universitario,
05:02¿Quién será el siguiente?
05:04¿Quién será el próximo en recibir un disparo?
05:08Y eso me llevó a sentarme con montones de archivos de tiroteos y homicidios,
05:13con un bolígrafo rojo y un bloc de notas,
05:16y a crear una serie de imágenes que representaban a personas que habían disparado a alguien
05:20y personas que estaban involucradas con tal grupo y tal evento,
05:25configurando así una red con ese tipo de relaciones.
05:27Y entonces me enteré de que existía toda una ciencia sobre redes, así que no tuve que inventar nada.
05:35El análisis del círculo de redes sociales ya estaba influyendo en la cultura popular.
05:40Seis grados de separación fue una obra de teatro en Broadway.
05:45Y luego llegó Seis grados de Kevin Bacon.
05:48La idea era que jugabas a ese juego y quien conseguía la menor distancia a Kevin Bacon ganaba.
05:54Así que Robert De Niro estaba en una película con tal y tal que estaban en una película con Kevin Bacon.
06:00Esencialmente se estaba creando una serie de lazos entre películas y actores.
06:05Y de hecho, hay una matemática detrás de ese principio.
06:08En realidad es una vieja teoría matemática de grafos que se remonta a las matemáticas de la década de 1900.
06:16Muchos científicos empezaron a ver que había principios matemáticos
06:19y los recursos computacionales, ordenadores, datos, estaban en un punto en el que podías testar esas cosas.
06:27Fue una época muy excitante.
06:30Miramos registros de detenciones policiales y registros de victimización.
06:34¿Quién era la víctima de un homicidio o de un tiroteo no mortal?
06:38El modelo estadístico comienza creando el círculo de las redes sociales de, por ejemplo,
06:46todas las personas que pueden haber sido detenidas en un barrio en concreto.
06:49Así, la persona A y la persona B estuvieron juntas en un robo, tienen un vínculo,
06:54y luego la persona B y la C fueron detenidas por la policía en otro caso.
06:58Y se crean redes de miles de personas.
07:01Comprender que los eventos están conectados, los lugares están conectados,
07:05que hay cosas antiguas como las disputas entre grupos,
07:08que impulsan el comportamiento durante generaciones.
07:13Lo que vimos fue sorprendente,
07:15y se podía ver de inmediato y a dos kilómetros de distancia.
07:18Eran víctimas de disparos agrupadas.
07:21Muy rara vez se ve una víctima.
07:23Ves dos, tres, cuatro...
07:25A veces se encadenan a través del tiempo y el espacio.
07:28Y entonces, el modelo predice cuál es la probabilidad
07:32de que esto conduzca a un tiroteo en el mismo entorno...
07:35en el futuro.
07:41Otro joven yace muerto.
07:43En Boston, Papa Cristos descubrió que el 85% de todos los heridos de bala
07:48se produjo dentro de una sola red social.
07:51Los individuos de esa red estaban a menos de cinco apretones de manos
07:55de la víctima de un homicidio por arma de fuego
07:57o de un tiroteo no mortal.
08:00Cuanto más cerca estaba una persona de la víctima de un tiroteo,
08:04mayor era la probabilidad de que esa persona recibiera un disparo.
08:07Alrededor de 2011, cuando Papa Cristos presentó su trabajo pionero
08:14sobre el círculo de redes sociales y violencia de pandillas,
08:18el Departamento de Policía de Chicago quiso saber más.
08:21En una conferencia, el superintendente del Departamento de Policía
08:25me hizo un montón de preguntas.
08:27Estaba claro que había leído mi trabajo.
08:30El Departamento de Policía de Chicago estaba trabajando
08:32en su propio programa de vigilancia predictiva para combatir el crimen.
08:36Estaban convencidos de que el modelo de Papa Cristos
08:39podía hacer que su nuevo modelo de vigilancia fuera aún más eficaz.
08:45La vigilancia predictiva se basa en datos históricos
08:48sobre la delincuencia para predecir acontecimientos futuros,
08:52ya sea donde cree la policía que puede producirse un delito
08:55o quién podría estar implicado.
08:57Se trata de utilizar datos históricos para predecir acontecimientos futuros.
09:02En el núcleo de estos programas hay un software
09:05que, como todos los programas informáticos,
09:07se construye en torno a un algoritmo.
09:12Pensemos en un algoritmo como en una receta.
09:19Tenemos las entradas, que son los ingredientes.
09:22Tenemos el algoritmo, que son los pasos a seguir.
09:24Y luego está la salida, que con suerte será el delicioso bizcocho.
09:35¡Feliz cumpleaños!
09:37Una manera de entender los algoritmos
09:40es pensar en el proceso de contratación.
09:42De hecho, los encargados de contratación
09:44han sido estudiados durante 100 años.
09:46Y resulta que muchos de ellos tienen un algoritmo estándar
09:50cuando miran un currículum.
09:54Empiezan por tu nombre,
09:55luego miran dónde estudiaste,
09:58y por último miran cuál fue tu último trabajo.
10:01Si no ven el patrón que están buscando,
10:04ese es todo el tiempo que te conceden.
10:06Y en cierto sentido,
10:08eso es exactamente lo que la inteligencia artificial
10:11está haciendo también,
10:12en un nivel muy básico.
10:14Reconoce conjuntos de patrones
10:16y los utiliza para decidir cuál sería el siguiente paso
10:19en su proceso de decisión.
10:25Lo que comúnmente se conoce como inteligencia artificial,
10:28o IA,
10:30es un proceso llamado aprendizaje automático,
10:32en el que un algoritmo informático
10:34se ajusta por sí solo,
10:36sin instrucciones humanas,
10:37en respuesta a los patrones que encuentra en los datos.
10:42Estos potentes procesos pueden analizar más datos
10:44que cualquier persona
10:45y encontrar patrones nunca antes reconocidos.
10:50Los principios del aprendizaje automático
10:53se inventaron en los años 50,
10:55pero no empezaron a proliferar hasta 2010.
11:00Lo que hoy consideramos aprendizaje automático
11:03surgió porque los discos duros se abarataron mucho.
11:06Fue realmente fácil obtener un montón de datos
11:08sobre todo el mundo y en todos los aspectos de la vida.
11:11Y la pregunta es,
11:12¿qué podemos hacer con todos esos datos?
11:14Esos nuevos usos son cosas como
11:16la vigilancia predictiva,
11:18decidir si una persona va a conseguir un trabajo o no,
11:21o si la llamarán para una entrevista de trabajo.
11:24¿Cómo funciona entonces una herramienta tan potente
11:27como el aprendizaje automático?
11:29Tomemos el caso de un algoritmo de contratación.
11:33En primer lugar,
11:34un ordenador tiene que entender el objetivo,
11:36que en este caso,
11:37es identificar al mejor candidato para el puesto.
11:39El algoritmo examina los currículos
11:42de antiguos candidatos al puesto
11:44y busca palabras clave en los currículos
11:46de las personas contratadas con éxito.
11:49Los currículos son lo que se denomina
11:51datos de entrenamiento.
11:53El algoritmo asigna valores a cada palabra clave.
11:56A las palabras que aparecen con más frecuencia
11:58en los currículos de los candidatos contratados
12:00se les asigna más valor.
12:03El sistema aprende de los currículos anteriores
12:05los patrones de cualidades
12:07que se asocian a las contrataciones exitosas.
12:10A continuación realiza sus predicciones
12:12identificando estos mismos patrones
12:14en los currículos de los candidatos potenciales.
12:17De forma similar,
12:19la policía de Chicago quería encontrar patrones
12:21en los informes criminales
12:22y en los registros de detenciones
12:24para predecir quién estaría relacionado
12:27con la violencia en el futuro.
12:28Pensaron que el modelo de Papacristos podía ayudar.
12:32Obviamente redactamos todas las advertencias
12:35e hicimos recomendaciones
12:36para argumentar que aquella investigación
12:38debería estar en ese espacio de salud pública.
12:41Pero una vez que las matemáticas
12:42y las estadísticas están ahí,
12:44la gente también puede cogerlas
12:46y hacer lo que quiera con ellas.
12:50Mientras Papacristos veía el modelo
12:52como una herramienta para identificar
12:54a futuras víctimas de violencia por arma de fuego,
12:56la policía vio la oportunidad
12:58de identificar no solo a las futuras víctimas,
13:02también a los futuros criminales.
13:05Primero me cogió por sorpresa
13:06y luego me preocupó.
13:09¿Qué va a hacer?
13:10¿A quién puede perjudicar?
13:13Lo que la policía quería predecir
13:15era quién corría el riesgo
13:17de verse implicado en futuros actos violentos.
13:20Dame todo tu dinero, tío.
13:22Basándose en cientos de miles
13:24de registros de detenciones,
13:26el algoritmo informático busca patrones
13:28o factores asociados a delitos violentos
13:30para calcular el riesgo
13:32de que un individuo esté relacionado
13:34con futuros actos violentos.
13:39Utilizando el análisis
13:40del círculo de redes sociales,
13:42los registros de detenciones
13:43de los integrantes también se incluyen
13:45en ese cálculo.
13:47El programa se denominó
13:48Lista Estratégica de Sujetos,
13:50o SSL,
13:51y sería uno de los más controvertidos
13:54en la historia de la policía de Chicago.
13:56La idea que subyacía detrás
13:58de la lista de sujetos estratégicos
14:00era tratar de identificar
14:02a las personas que tendrían
14:03más probabilidades de involucrarse
14:05como lo que ellos llamaban
14:07parte de la violencia,
14:08ya fuera como tirador o como víctima.
14:11La policía de Chicago utilizaría
14:13la investigación de Papacristos
14:15para evaluar lo que se denominó
14:17red de codetenciones de un individuo.
14:21Y la forma en que el departamento
14:23de policía de Chicago
14:24calculó la red de un individuo
14:26fue a través de dos grados
14:27de eliminación.
14:29Cualquiera con quien yo
14:30hubiera sido detenido
14:31o con quien esa persona
14:32hubiera sido detenida
14:33contaba como persona
14:35que estaba dentro de mi red.
14:36Por tanto, mi puntuación de riesgo
14:38se basaría en mi historial
14:39de detenciones y victimización
14:41y en los historiales
14:42de detenciones y victimización
14:44de las personas dentro
14:45de esa red de dos grados mía.
14:47Se conocía como la lista caliente.
14:51Si eras caliente,
14:52estabas en ella
14:52y te daban una puntuación
14:54de riesgo de cero
14:55a más de 500.
14:56Con más de 500,
14:57eras una persona
14:57de alto riesgo.
15:00Y si entrabas
15:01en esa lista caliente,
15:02podías encontrarte
15:03con un detective
15:04llamando a tu puerta.
15:10Intentar predecir
15:12futuras actividades delictivas
15:13no es una idea nueva.
15:17Scott Lanyard,
15:18en Londres,
15:19empezó a utilizar
15:20esa técnica
15:21cartografiando
15:22sucesos delictivos
15:23en la década de 1930.
15:27Pero en la década
15:28de 1990
15:29fue el comisario
15:30de policía de Nueva York,
15:32William Bratton,
15:33quien llevó
15:33la cartografía del crimen
15:35a otro nivel.
15:36Yo dirijo
15:37el departamento
15:37de policía de Nueva York.
15:39Mi competencia
15:40es el elemento criminal.
15:42Bratton convenció
15:42a los organismos
15:43policiales
15:44de todo el país
15:45de que la vigilancia
15:46basada en datos
15:46era la clave
15:47del éxito
15:48de las estrategias policiales.
15:49Parte de ello
15:50es prevenir los delitos.
15:55Bratton se inspiró
15:56en el trabajo
15:56de su propia policía
15:58de tránsito
15:58de Nueva York.
16:01Como ven,
16:02todos esos puntos
16:03en el mapa
16:03son nuestros adversarios.
16:06Se llamó
16:06Mapas del futuro
16:07y se le atribuye
16:09la reducción
16:09de delitos graves
16:10en el metro
16:11en un 27%
16:12y los robos
16:13en un tercio.
16:15Bratton vio
16:16el potencial.
16:17Ordenó
16:17a todas las comisarías
16:19de Nueva York
16:19que cartografiaran
16:21sistemáticamente
16:21la delincuencia,
16:23recopilaran datos,
16:24encontraran patrones
16:25e informaran.
16:27El nuevo enfoque
16:28se denominó
16:28CompStat.
16:30Creo que,
16:31en cierto modo,
16:32CompStat
16:32es un predecesor
16:33de la vigilancia predictiva,
16:35en el sentido
16:36de que muchos
16:37de sus principios,
16:38el uso
16:38del seguimiento
16:39de datos,
16:40la identificación
16:41de lugares
16:41donde las intervenciones
16:42policiales
16:43podrían ser eficaces,
16:45etc.,
16:45realmente sentaron
16:47las bases
16:47de la vigilancia predictiva.
16:50A principios
16:50de la década
16:51de 2000,
16:52a medida que aumentaba
16:53la potencia
16:53de cálculo,
16:54los criminólogos
16:55estaban convencidos
16:56de que estos nuevos datos
16:57se podían utilizar
16:59en el aprendizaje automático
17:00para crear modelos
17:01que predijeran
17:02cuánto y dónde
17:03se cometerían
17:04delitos en el futuro.
17:07La policía
17:08de Los Ángeles
17:08dice que los pistoleros
17:10abrieron fuego
17:10con un arma
17:11semiautomática.
17:12En 2008,
17:13ahora como jefe
17:14del Departamento
17:15de Policía
17:15de Los Ángeles,
17:16Bratton se unió
17:17a académicos
17:18de la Universidad
17:19de California
17:19en Los Ángeles
17:20para ayudar
17:21a lanzar
17:21un innovador
17:22sistema de vigilancia
17:23predictiva
17:24llamado
17:24PredPol,
17:25impulsado por un
17:26algoritmo
17:27de aprendizaje automático.
17:30PredPol comenzó
17:31como una derivación
17:32de un conjunto
17:33de contratos
17:33del gobierno
17:34que estaban
17:35relacionados
17:35con el trabajo
17:36militar.
17:38Estaban desarrollando
17:39una forma
17:40de algoritmo
17:40que se utilizó
17:41para predecir
17:42artefactos
17:42explosivos
17:43improvisados.
17:45Y era una técnica
17:46que también se utilizó
17:48para detectar
17:48réplicas
17:49y actividad
17:49sismográfica.
17:53Cuando esos contratos
17:54terminaron,
17:55la empresa
17:55decidió aplicar
17:56el sistema
17:57en el ámbito
17:57de la vigilancia
17:58policial
17:59a nivel nacional
18:00en Estados Unidos.
18:01El modelo
18:04PredPol
18:04se basa
18:05en tres tipos
18:05de datos
18:06históricos.
18:08Tipo de delito,
18:10lugar del delito
18:11y hora del delito,
18:13que se remontan
18:14de dos a cinco años
18:15atrás.
18:16El algoritmo
18:17busca patrones
18:18para identificar
18:18los lugares
18:19donde es más probable
18:20que se produzcan
18:21delitos.
18:23A medida
18:23que se registran
18:24nuevos incidentes
18:25delictivos,
18:26se incorporan
18:27al cálculo.
18:27Las predicciones
18:30se muestran
18:31en un mapa
18:31como áreas
18:32de 150
18:33por 150 metros
18:34que los agentes
18:35deben patrullar.
18:37Y a partir de ahí
18:38el algoritmo dice,
18:39basándose
18:40en lo que sabemos
18:41sobre la historia
18:42muy reciente,
18:43dónde es probable
18:44que se cometan
18:45delitos
18:45en los próximos días
18:47o en las próximas horas.
18:52Una de las razones
18:54clave por las que
18:55la policía
18:55empieza a utilizar
18:56estas herramientas
18:57es la eficiencia
18:58e incluso
18:59hasta cierto punto
19:00la aplicación
19:01más justa
19:02y justificable
19:03de sus recursos
19:03policiales.
19:05En 2013,
19:06además de PredPol,
19:08se utilizaban
19:08en todo el país
19:09sistemas de policía
19:10predictiva
19:11desarrollados
19:12por empresas
19:12como Hands Lab,
19:14IBM y Palantir.
19:20Y los algoritmos
19:21informáticos
19:22también se estaban
19:23adoptando
19:24en los juzgados.
19:262-1-C-F-3-8-1-0,
19:29Estado de Wisconsin
19:30contra Chantil.
19:32Estas herramientas
19:33se utilizan
19:34en las determinaciones
19:35previas al juicio,
19:36en las determinaciones
19:38de sentencia
19:38y en las determinaciones
19:40de alojamiento.
19:41También se utilizan
19:42de modo importante
19:43en la fase
19:44de negociación
19:45de los cargos.
19:46En realidad,
19:47se utilizan
19:47a lo largo
19:48de todo el proceso
19:49para intentar hacer
19:50lo que los jueces
19:51siempre han hecho,
19:52que es la dificilísima
19:53tarea de tratar
19:54de entender
19:55y predecir
19:56lo que un ser humano
19:57hará mañana,
19:58al día siguiente,
19:59el mes próximo
20:00o dentro de tres años.
20:02Pérdida de la fianza
20:03no compareció
20:04el 13 del 12 del 21,
20:05ni siquiera se presentó
20:06a la audiencia preliminar.
20:08Las herramientas
20:09de software
20:09son un intento
20:10de predecir
20:11mejor que los humanos.
20:13En el primer cargo
20:14se le acusa
20:14de intimidación
20:15de una víctima.
20:16En Estados Unidos
20:18eres inocente
20:19hasta que se demuestre
20:20lo contrario,
20:21pero has sido detenido.
20:23Y cuando has sido detenido,
20:24un juez
20:25tiene que decidir
20:26si sales o no
20:27bajo fianza
20:28o cuán alta o baja
20:29debe ser esa fianza.
20:30Se le acusa
20:31de conducir
20:32con el carnet suspendido.
20:33Establezco la fianza
20:34en mil dólares.
20:35Sin seguro,
20:36establezco la fianza
20:37en mil dólares.
20:37Uno de los problemas
20:38es que los jueces
20:39a menudo
20:40dependen del dinero
20:41de la fianza
20:42o de las condiciones
20:42económicas
20:43de la puesta en libertad.
20:44Por tanto,
20:45bajaré su multa
20:46para que sea
20:47un poco más razonable.
20:48Así que en lugar
20:49de 250.000 en efectivo,
20:51ahora son 100.000.
20:53Permite poner en libertad
20:55a quienes tienen ese dinero.
20:57Si eres pobre,
20:58a menudo te detienen
20:59antes del juicio.
21:01Aproximadamente
21:01el 70%
21:02de las personas
21:03que están en la cárcel
21:04se encuentran
21:05en prisión preventiva.
21:07Se les presume
21:07su inocencia,
21:08pero están detenidas
21:09durante la fase
21:10de instrucción
21:11de su caso.
21:13Muchas jurisdicciones
21:14utilizan algoritmos
21:15de evaluación
21:16previa al juicio
21:17con el objetivo
21:18de reducir
21:19la población carcelaria
21:20y disminuir
21:21el impacto
21:21de la parcialidad judicial.
21:23El uso
21:24de una herramienta
21:25como esta
21:26toma datos históricos
21:27y evalúa,
21:28basándose en la investigación,
21:30factores asociados
21:31que son predictivos
21:32de las dos cuestiones
21:33que preocupan al juez,
21:35es decir,
21:35la seguridad
21:36de la comunidad
21:37y si esa persona
21:38comparecerá de nuevo
21:40ante el tribunal
21:40durante el periodo
21:41previo al juicio.
21:42Muchos de estos
21:46algoritmos
21:46se basan
21:47en un concepto
21:48llamado
21:48modelo de regresión.
21:52El más antiguo,
21:53llamado
21:54regresión lineal,
21:55se remonta
21:56a las matemáticas
21:57del siglo XIX.
22:02Al fin y al cabo,
22:03los algoritmos
22:03de aprendizaje automático
22:05hacen exactamente
22:06lo mismo
22:06que la regresión lineal,
22:08que es predecir
22:09basándose
22:09en las condiciones
22:10iniciales,
22:11la situación
22:12que están viendo,
22:13predecir lo que ocurrirá
22:14en el futuro,
22:15ya sea en el próximo minuto
22:16o en los próximos cuatro años.
22:19En todo Estados Unidos,
22:21más de 60 jurisdicciones
22:23utilizan algoritmos
22:24predictivos
22:25como parte
22:25del proceso legal.
22:28Uno de los más
22:29utilizados
22:29es COMPAS.
22:31El algoritmo
22:32COMPAS
22:33sopesa factores,
22:34incluidas las respuestas
22:35de un acusado
22:36a un cuestionario,
22:37para proporcionar
22:38una puntuación
22:39de evaluación
22:40de riesgo.
22:42Estas puntuaciones
22:43son utilizadas
22:44a diario
22:44por los jueces
22:45para orientar
22:46las decisiones
22:47sobre la prisión
22:48preventiva,
22:49la libertad
22:50bajo fianza
22:51e incluso
22:52la condena.
22:53Pero la fiabilidad
22:54del algoritmo
22:55COMPAS
22:55se ha cuestionado.
22:57En 2016,
22:58ProPublica
22:59publicó
23:00un informe
23:00de investigación
23:01sobre la herramienta
23:02de evaluación
23:03de riesgos
23:04COMPAS.
23:04Los investigadores
23:07querían ver
23:08si las puntuaciones
23:09eran precisas
23:10para predecir
23:11si esos individuos
23:12cometerían un delito
23:13en el futuro
23:13y encontraron
23:14dos cosas
23:15interesantes.
23:17Una era
23:17que la puntuación
23:18era muy poco fiable
23:19a la hora de predecir
23:21quién cometería
23:22un delito
23:22en el futuro
23:23durante ese periodo
23:25de dos años.
23:26Pero otra cosa
23:27que descubrieron
23:28los investigadores
23:29de ProPublica
23:30fue que la población
23:31negra
23:32tenía muchas más
23:33probabilidades
23:34de ser considerada
23:35de alto riesgo
23:36y la población
23:36blanca
23:37de bajo riesgo.
23:39Esto era cierto
23:40incluso en los casos
23:42en que la persona negra
23:43era detenida
23:43por un delito menor
23:44y la persona blanca
23:46en cuestión
23:46era detenida
23:47por un delito
23:48más grave.
23:52Este estudio
23:53de ProPublica
23:54fue uno de los primeros
23:55en empezar
23:56a pinchar
23:57la burbuja
23:57de la tecnología
23:58como algo
24:01objetivo
24:01y neutral.
24:05El artículo
24:06levantó
24:06una gran controversia
24:07en todo el país.
24:10Pero en Dartmouth
24:10una estudiante
24:11convenció
24:12a su profesor
24:13de que ambos
24:13debían estar
24:14mucho más
24:15que atónitos.
24:17Resulta que
24:17una de mis estudiantes
24:19Julia Dressen
24:19leyó el mismo artículo
24:20y me dijo
24:21esto es terrible
24:21deberíamos hacer
24:23algo al respecto.
24:24Esa es la diferencia
24:25entre una maravillosa
24:26estudiante idealista
24:27y un profesor hastiado
24:28y pensé
24:29creo que tienes razón.
24:31Y mientras luchábamos
24:32por entender
24:33las raíces subyacentes
24:34del sesgo
24:34y los algoritmos
24:35nos hicimos
24:36una pregunta
24:37muy simple
24:38¿los algoritmos
24:39actuales
24:40hacen las cosas
24:40mejor que los humanos?
24:42Porque presumiblemente
24:43la razón
24:44por la que existen
24:45estos algoritmos
24:46es que eliminan
24:47algunos de los sesgos
24:48y prejuicios
24:49implícitos
24:50o explícitos
24:51del juicio humano.
24:52Para analizar
24:53la precisión
24:54de la evaluación
24:55de riesgo
24:55del programa COMPAS
24:56utilizaron
24:57la plataforma
24:58de colaboración
24:58colectiva
24:59Mechanical TARC
25:00Su estudio online
25:02incluyó
25:02a 400 participantes
25:04que evaluaron
25:05a 1000 acusados.
25:08Pedimos
25:08a los participantes
25:09que leyeran
25:10un párrafo
25:10muy breve
25:11con datos
25:11sobre un acusado real
25:13cuántos años tenía
25:14si era hombre
25:15o mujer
25:16cuáles eran
25:16sus antecedentes
25:17penales juveniles
25:18y sus antecedentes
25:19penales adultos
25:20y lo más importante
25:22omitimos
25:22la raza del sujeto
25:23y les hicimos
25:24una pregunta
25:25muy sencilla
25:26¿crees que esta persona
25:27cometerá un delito
25:28en los próximos dos años?
25:29Sí, no
25:30e insisto
25:31no eran expertos
25:32hablamos de personas
25:34a las que se les paga
25:35un par de dólares
25:35online por responder
25:36a una encuesta
25:37carecen de experiencia
25:38en justicia criminal
25:39y no saben nada
25:40de los acusados
25:41resulta que fueron
25:42tan precisos
25:43como el software comercial
25:44que se utiliza
25:45en los tribunales
25:46de hoy
25:46fue sorprendente
25:47habríamos esperado
25:49al menos
25:49un poco de mejora
25:50del software
25:51al fin y al cabo
25:52el algoritmo
25:53tiene acceso
25:53a ingentes cantidades
25:54de datos de entrenamiento
25:56y algo más desconcertó
25:59a los investigadores
26:00las respuestas
26:01de los trabajadores
26:02de Mechanical Tark
26:03a preguntas
26:04sobre quién
26:04cometería delitos
26:05en el futuro
26:06y quién no
26:07mostraron
26:07un sorprendente
26:08patrón de sesgo racial
26:09pese a que la raza
26:11no se indicaba
26:12en ninguno
26:12de los perfiles
26:14era más probable
26:15que dijeran
26:15que una persona de color
26:16sería de alto riesgo
26:18cuando no lo era
26:18y era más probable
26:19que dijeran
26:20que una persona blanca
26:21no sería de alto riesgo
26:22cuando sí lo era
26:23esto no tenía
26:24ningún sentido
26:25para nosotros
26:25no conocían
26:26la raza del sujeto
26:27¿cómo es posible
26:28que tuvieran prejuicios
26:30contra ellos?
26:31en este país
26:32históricamente
26:32si eres una persona
26:34de color
26:34tienes muchas más
26:35probabilidades
26:36de ser detenido
26:37acusado
26:38y condenado
26:38por un delito
26:39de hecho
26:41las condenas previas
26:42de una persona
26:43son una aproximación
26:44a su raza
26:45no es un indicador
26:46perfecto
26:47pero está
26:48correlacionado
26:49debido a las desigualdades
26:50históricas
26:51en el sistema
26:52de justicia penal
26:53y a la actuación
26:53policial
26:54en este país
26:55las investigaciones
27:01indican
27:02que una persona
27:02de raza negra
27:03tiene cinco veces
27:04más probabilidades
27:05de ser parada
27:06sin motivo
27:06por la policía
27:07que una persona
27:08de raza blanca
27:09y al menos
27:10el doble de probabilidades
27:11de ser arrestada
27:12por consumo de drogas
27:13que alguien
27:14de raza blanca
27:15a pesar de que
27:16negros y blancos
27:17consumen drogas
27:17en la misma proporción
27:19también tiene doce veces
27:20más probabilidades
27:21de ser condenada
27:22injustamente
27:23por delitos
27:24de drogas
27:24históricamente
27:27los hombres
27:28de raza negra
27:29han sido detenidos
27:30más que otras razas
27:32por lo tanto
27:33la herramienta
27:34predice
27:34por ejemplo
27:35que un hombre negro
27:36será detenido
27:37y reincidirá
27:38a un ritmo mayor
27:40que un individuo
27:41blanco
27:41y aunque los resultados
27:45son palmarios
27:46los programadores
27:47del sistema
27:48de aprendizaje
27:48automático
27:49arguían
27:50no estamos indicando
27:51la raza
27:51no puede haber
27:52un sesgo racista
27:53pero sabemos
27:54que hay otras cosas
27:55que se correlacionan
27:56con la raza
27:57en este caso
27:58el número
27:58de condenas previas
27:59si programas
28:00un algoritmo
28:01con datos históricos
28:02¿qué ocurre?
28:02pues que la historia
28:03se reproduce
28:04para agravar
28:06el problema
28:07sucede
28:08que los algoritmos
28:08predictivos
28:09no pueden ser llamados
28:10al estrado
28:11de los testigos
28:12e interrogados
28:13sobre su proceso
28:14de toma de decisiones
28:15muchos acusados
28:17han tenido dificultades
28:19para acceder
28:20a la información
28:20subyacente
28:21que les explique
28:23cuál fue el conjunto
28:24de datos
28:24que se usó
28:25para evaluarlos
28:26¿qué datos informáticos
28:28se utilizaron?
28:29¿de qué forma
28:30se ponderaron
28:31esos datos?
28:32el resultado
28:33es que en la actualidad
28:34vivimos cada vez más
28:35en un sistema
28:36de caja negra
28:37con una inquietante
28:38falta de transparencia
28:39algunos algoritmos
28:42de caja negra
28:43deben su nombre
28:44a la falta
28:44de transparencia
28:45sobre el código
28:46y los datos
28:47introducidos
28:47que utilizan
28:48que están protegidos
28:50por derechos
28:50de propiedad intelectual
28:52pero este no es
28:53el único tipo
28:53de caja negra
28:54una caja negra
28:56es cualquier sistema
28:58cuya complejidad
29:00permite ver
29:01lo que entra
29:01y lo que sale
29:02pero resulta
29:04imposible entender
29:05lo que ocurre
29:06en su interior
29:07todos los pasos
29:09del algoritmo
29:10están ocultos
29:11en procesos matemáticos
29:13extraordinariamente
29:14complejos
29:15considero que
29:19cuando se utilizan
29:20algoritmos
29:21en aplicaciones
29:21de misión crítica
29:22como el sistema
29:24de justicia penal
29:24no deberíamos
29:26desplegar
29:26algoritmos
29:27de caja negra
29:28predpol
29:34como muchas otras
29:35plataformas
29:36predictivas
29:36afirmaba tener
29:37un historial probado
29:38de reducción
29:39de la delincuencia
29:40en 2015
29:41predpol
29:42publicó su algoritmo
29:43en una revista
29:44revisada por expertos
29:45William Isaac
29:46y Christina Lam
29:48dos investigadores
29:49científicos
29:50que estudian
29:50las plataformas
29:51de predicción
29:52policial
29:52analizaron
29:53el algoritmo
29:54vimos que
29:56el algoritmo
29:57volvía
29:57una y otra vez
29:58sobre las mismas
29:59una o dos manzanas
30:00nos pareció extraño
30:05porque cuando tienes
30:06un sistema
30:07de vigilancia
30:07realmente predictivo
30:08no tienes que volver
30:10necesariamente
30:11a los mismos lugares
30:12una y otra vez
30:14en su experimento
30:18Isaac y Lam
30:19utilizaron
30:19un conjunto
30:20diferente
30:21de datos
30:21datos de salud
30:22pública
30:23para mapear
30:24el consumo
30:24de drogas
30:25ilícitas
30:25en Oakland
30:26una buena parte
30:27de la ciudad
30:28estaba distribuida
30:29uniformemente
30:30en cuanto a la ubicación
30:31potencial
30:31del consumo
30:32ilícito
30:32de drogas
30:33pero las predicciones
30:35policiales
30:35se agrupaban
30:36en torno
30:37a las zonas
30:37donde la policía
30:38había encontrado
30:39históricamente
30:39incidentes
30:40de consumo
30:40ilícito
30:41de drogas
30:42vimos que un número
30:44significativo
30:44de vecindarios
30:45predominantemente
30:46no blancos
30:47y de bajos ingresos
30:48eran el objetivo
30:49deliberado
30:50de las predicciones
30:51aunque el consumo
30:55ilícito
30:55de drogas
30:56era un problema
30:57en toda la ciudad
30:57el algoritmo
30:58centró sus predicciones
31:00en los barrios
31:00de bajos ingresos
31:02y las comunidades
31:03de color
31:03la razón
31:05de ese sesgo
31:06es un elemento
31:07clave
31:07resulta muy difícil
31:09separar dichas
31:10predicciones
31:10de los antecedentes
31:11históricos
31:12de vigilancia
31:12policial
31:13y como resultado
31:14esa tendencia
31:16se manifiesta
31:17en los datos
31:17en las zonas
31:20donde hay más
31:21presencia policial
31:22se descubren
31:23más delitos
31:24los datos
31:26sobre delincuencia
31:27indican
31:28al algoritmo
31:28que el barrio
31:30más vigilado
31:30por la policía
31:31es en el que
31:32con más probabilidad
31:33se cometerá
31:34un delito
31:34en el futuro
31:35aunque haya
31:35otros barrios
31:36en los que se cometan
31:37delitos al mismo ritmo
31:38o a un ritmo
31:39incluso mayor
31:40cada nueva
31:42predicción
31:42que se genera
31:43dependerá
31:44cada vez más
31:44del comportamiento
31:45del algoritmo
31:46en el pasado
31:47es decir
31:49que si avanzas
31:5010, 20
31:50o 30 días
31:51en el futuro
31:52justo después
31:53de usar un algoritmo
31:54todas esas predicciones
31:56modifican
31:56el comportamiento
31:57de la policía
31:58y a partir de ese momento
31:59se reincorporan
32:00a las predicciones
32:01del día siguiente
32:01el resultado
32:04puede ser un bucle
32:05de retroalimentación
32:07que refuerza
32:07las prácticas
32:08policiales
32:09históricas
32:10todos estos
32:14tipos diferentes
32:15de algoritmos
32:15de aprendizaje automático
32:17intentan ayudarnos
32:18a descubrir
32:19si hay patrones
32:20en los datos
32:20nos corresponde
32:22a nosotros
32:22averiguar
32:23si se trata
32:23de patrones
32:24legítimos
32:25o útiles
32:25porque los ordenadores
32:27no saben distinguirlo
32:28no hacen una asociación
32:29lógica
32:30solo hacen una correlación
32:31de datos
32:32mi definición favorita
32:36de inteligencia artificial
32:37es aquella
32:39que describe
32:39cualquier sistema
32:40autónomo
32:41capaz de tomar
32:42decisiones
32:42en condiciones
32:43de incertidumbre
32:44y no se pueden
32:45tomar decisiones
32:46en condiciones
32:47de incertidumbre
32:48sin sesgo
32:48de hecho
32:50es imposible
32:51librarse
32:52del sesgo
32:52es una realidad
32:54matemática
32:54de cualquier sistema
32:56inteligente
32:57incluido el humano
32:59e incluso
33:01cuando el objetivo
33:02es deshacerse
33:03de los prejuicios
33:04el sesgo
33:05en los datos
33:06históricos
33:06puede socavar
33:07ese objetivo
33:08Amazon
33:12lo descubrió
33:13cuando comenzó
33:14una búsqueda
33:15de grandes talentos
33:16mediante un algoritmo
33:17de contratación
33:18cuyos datos
33:19de entrenamiento
33:20dependían
33:20de éxitos
33:21de contratación
33:22del pasado
33:22Amazon
33:24un gigante
33:25en la industria
33:25de la inteligencia artificial
33:27intentó crear
33:29un algoritmo
33:30de contratación
33:31disponían
33:32de un conjunto
33:33masivo
33:34de datos
33:34tenían todas
33:35las respuestas
33:36correctas
33:37porque sabían
33:38literalmente
33:38quién era contratado
33:39y quién conseguía
33:40un ascenso
33:41en su primer año
33:42la empresa
33:44creó múltiples
33:45modelos
33:46para revisar
33:46los currículos
33:47de candidatos
33:48anteriores
33:48e identificó
33:50unos 50.000
33:51términos clave
33:52lo que Amazon
33:55quería conseguir
33:56en realidad
33:56era diversificar
33:58su contratación
33:59Amazon
34:00como cualquier
34:01otra empresa
34:02tecnológica
34:02y muchas empresas
34:03de otros ámbitos
34:04también
34:05tiene un sesgo
34:06enorme
34:07incorporado
34:07en su historial
34:08de contratación
34:09siempre ha habido
34:11un sesgo
34:11un sesgo
34:12muy fuerte
34:13a favor
34:13de los hombres
34:14y particularmente
34:16a favor
34:16de hombres blancos
34:17o a veces
34:18asiáticos
34:19el caso
34:20es que
34:21construyeron
34:21un algoritmo
34:22de contratación
34:23y el resultado
34:24que obtuvieron
34:25fue el reclutador
34:27más sexista
34:28que uno pueda imaginar
34:29si decías
34:30la palabra
34:31mujer
34:31en tu currículum
34:32no te contrataba
34:33si habías ido
34:34a una universidad
34:35de mujeres
34:35el sistema
34:36te rechazaba
34:37asi que eliminaron
34:38todos los marcadores
34:39de genero
34:40todas las universidades
34:41de mujeres
34:42y todos los elementos
34:43que distinguieran
34:44explícitamente
34:45entre un hombre
34:46y una mujer
34:47incluso los datos
34:48que lo hicieran
34:49de forma implícita
34:50una vez hecho esto
34:51entrenaron a su nueva
34:52red neuronal
34:53profunda
34:54para decidir
34:54a quien debía
34:55contratar Amazon
34:56y el algoritmo
34:57hizo algo asombroso
34:59hizo algo
35:00que ningún ser humano
35:01podría haber hecho
35:02se dio cuenta
35:03de que candidatos
35:04eran mujeres
35:05y no las contrató
35:06el sistema
35:07fue capaz
35:08de examinar
35:09todas las correlaciones
35:10que existían
35:10en un conjunto
35:11masivo de datos
35:12e identificar
35:13cuáles estaban
35:14más estrechamente
35:15relacionadas
35:16con la obtención
35:17de un ascenso
35:18y la mayor correlación
35:19para obtener un ascenso
35:21era ser un hombre
35:21así que descubrió
35:23esos patrones
35:24y no contrató
35:24a mujeres
35:25Amazon abandonó
35:27su algoritmo
35:28de contratación
35:29en 2017
35:30recordemos
35:31como funciona
35:32el aprendizaje automático
35:34es como el estudiante
35:35que no ha entendido
35:36bien la materia
35:36de una clase
35:37tiene un montón
35:38de preguntas
35:38y un montón
35:39de respuestas
35:40así que trata
35:41de buscar un patrón
35:42para la siguiente pregunta
35:43y se dice
35:44déjame encontrar
35:45una respuesta
35:45que se parezca
35:46bastante a las preguntas
35:47y a las respuestas
35:48que he visto previamente
35:49el algoritmo
35:50solo funciona
35:51porque alguien ha dicho
35:52esta persona
35:53cuyos datos tienes
35:54era un buen empleado
35:55esta otra
35:56era un mal empleado
35:57esta rindió bien
35:58esta otra
35:59no rindió bien
36:00los algoritmos
36:03no solo buscan
36:04patrones
36:05buscan patrones
36:06de éxito
36:06sea cual sea
36:07su definición
36:08pero la definición
36:09de éxito
36:09es un aspecto
36:11clave
36:11para lo que termina
36:12siendo el sistema
36:13puesto que
36:15la propia definición
36:16lleva implícita
36:17mucha carga
36:18de opinión
36:19en el caso
36:21de los algoritmos
36:22las decisiones
36:23humanas
36:23desempeñan
36:24un papel fundamental
36:26cuando se seleccionan
36:28datos
36:28alguien ha decidido
36:30que datos recopilar
36:31y ha decidido
36:32que datos
36:33no eran relevantes
36:34y no los excluye
36:35de forma intencionada
36:36necesariamente
36:36podrían ser puntos ciegos
36:38la necesidad
36:39de identificar
36:40esas lagunas
36:41se hace más urgente
36:42a medida que la tecnología
36:44toma cada vez
36:45más decisiones
36:46tomemos por ejemplo
36:52la tecnología
36:52de reconocimiento facial
36:54utilizada por las fuerzas
36:56del orden
36:56en ciudades
36:57de todo el mundo
36:57para labores
36:58de vigilancia
36:59en 2018
37:02en Detroit
37:03las fuerzas
37:03del orden
37:04recurrieron
37:05a la tecnología
37:05de reconocimiento facial
37:07cuando en una boutique
37:08de lujo
37:08robaron unos relojes
37:10valorados
37:10en 3.800 dólares
37:12la policía
37:14introdujo
37:14un fotograma
37:15del vídeo
37:15de vigilancia
37:16de la tienda
37:17en su sistema
37:17de reconocimiento facial
37:18para encontrar
37:19una coincidencia
37:21¿cómo se convierte
37:22un rostro
37:23en números susceptibles
37:24de ser manejados
37:25por una ecuación?
37:27convirtiendo
37:27los píxeles individuales
37:29de la imagen
37:29de ese rostro
37:30en valores
37:31lo que realmente
37:36se busca
37:36son patrones
37:37complejos
37:38en esos píxeles
37:39se toma
37:40la secuencia
37:41de un patrón numérico
37:42y se transforma
37:44en pequeños
37:45bordes y ángulos
37:46y estos a su vez
37:48se transforman
37:50en ojos
37:51pómulos
37:51y bigotes
37:52para encontrar
37:54una coincidencia
37:56el sistema
37:56puede entrenar
37:57con miles
37:58de millones
37:58de fotografías
37:59el reconocimiento facial
38:03utiliza un tipo
38:04de aprendizaje automático
38:05denominado
38:06aprendizaje profundo
38:07los modelos
38:08construidos
38:09mediante técnicas
38:10de aprendizaje profundo
38:11se denominan
38:12redes neuronales
38:13una red neuronal
38:15se estiliza
38:16tratando de modelar
38:17cómo funcionan
38:18las vías neuronales
38:19en el cerebro
38:20podemos pensar
38:23en una red neuronal
38:24como en un conjunto
38:25de neuronas
38:26se introducen
38:28unos determinados valores
38:29en una neurona
38:30y si suman
38:32un número suficiente
38:33si traspasan
38:34un cierto umbral
38:34la neurona se dispara
38:36y envía un nuevo número
38:37a la neurona siguiente
38:38al llegar a cierto umbral
38:42la neurona
38:43disparará
38:43a la siguiente neurona
38:44si está por debajo
38:46del umbral
38:46la neurona
38:47no se dispara
38:48este proceso
38:50se repite
38:50una y otra vez
38:51a través de cientos
38:52si no miles de capas
38:54estableciendo conexiones
38:55como las neuronas
38:56de nuestro cerebro
38:57el resultado
38:59es una coincidencia
39:01predictiva
39:01basándose en una coincidencia
39:07de reconocimiento facial
39:08en enero de 2020
39:10la policía arrestó
39:11a Robert Williams
39:12por el robo
39:12de los relojes
39:13al día siguiente
39:16fue puesto en libertad
39:18Williams no solo
39:20tenía coartada
39:21sino que no era su cara
39:23seamos francos
39:26esos algoritmos
39:27están probablemente
39:28entrenados masivamente
39:29con rostros blancos
39:30obviamente
39:35los algoritmos
39:36mal programados
39:37se pueden mejorar
39:38por regla general
39:39el proyecto
39:40Gender Shades
39:41descubrió que
39:42cierta tecnología
39:42de reconocimiento facial
39:44probada con mujeres negras
39:45tenía una precisión
39:46del 65%
39:48mientras que
39:49con hombres blancos
39:49su precisión
39:50era del 99%
39:52¿y cómo lo mejoraron?
39:56porque es lo que hicieron
39:57programaron
39:58un algoritmo
39:59que fue entrenado
40:00con datos
40:00mucho más diversos
40:02no creo que sea
40:03una causa perdida
40:04perfeccionar los algoritmos
40:05para que funcionen
40:06mejor es posible
40:07antes pensaba
40:11que mi trabajo
40:12consistía solo
40:12en hacer detenciones
40:13hace algunos años
40:15salió un anuncio
40:16en el que aparecía
40:17un policía
40:18yendo a una gasolinera
40:19y esperando
40:19a que apareciera
40:20el delincuente
40:21analizamos los datos
40:22sobre delincuencia
40:23detectamos patrones
40:24y averiguamos
40:24donde enviar patrullas
40:26el anunciante
40:27el anunciante decía
40:27nuestro algoritmo
40:29te dirá exactamente
40:30donde se va a producir
40:31el próximo delito
40:32eso es una solemne tontería
40:34no funciona así
40:35y lo impedimos
40:36antes de que ocurra
40:37construyamos un planeta
40:39más inteligente
40:40y así comprender
40:50que tienen de especial
40:51esos lugares
40:52que permiten
40:53que surjan
40:53y persistan
40:54los problemas
40:55de delincuencia
40:56en la universidad
40:58de Rutgers
40:59los investigadores
41:00que crearon
41:00la plataforma
41:01de cartografía
41:02de la delincuencia
41:03denominada
41:04modelización
41:05del terreno
41:05de riesgo
41:06o RTM
41:07se irritan
41:08ante el término
41:09vigilancia predisposiva
41:10nuestra intención
41:12no es predecir
41:13queremos prevenir
41:14yo mismo
41:16trabajé como policía
41:18hace mucho tiempo
41:18a principios
41:19de la década
41:20de 2000
41:20la policía
41:21recopila datos
41:22desde que la policía
41:24existe
41:25hoy en día
41:26hay un mayor
41:27reconocimiento
41:28sobre el valor
41:29que pueden tener
41:29pero no se trata
41:31solo de los datos
41:32se trata de cómo
41:33se analizan
41:34y qué uso
41:34se da
41:34a los resultados
41:35obtenidos
41:36la modelización
41:37del terreno
41:38de riesgo
41:38solo utilizados
41:39conjuntos
41:40de datos
41:40se trata de datos
41:41de información
41:42local y actual
41:43sobre incidentes
41:44delictivos
41:44en una zona
41:45determinada
41:46y también
41:47información
41:47sobre características
41:48ambientales
41:49que existen
41:50en el entorno
41:51como bares
41:52restaurantes
41:53tiendas
41:53escuelas
41:54parques
41:54callejones
41:55el algoritmo
41:57el algoritmo
41:58analiza
41:59la relación
41:59entre estas
42:00características
42:01medioambientales
42:02y los datos
42:03resultantes
42:03que en este caso
42:04son delitos
42:05y a continuación
42:06elabora un mapa
42:07de distribución
42:08de los valores
42:08de riesgo
42:10esta es la zona
42:12de mayor riesgo
42:13en este corredor
42:14comercial
42:14de la avenida
42:15bloomfield
42:15pero el algoritmo
42:17no está pensado
42:18solo para uso
42:18policial
42:19el criminólogo
42:21alejandro
42:22jiménez
42:22santana
42:23dirige el
42:24newart
42:24public safety
42:25collaborative
42:26un grupo
42:27que engloba
42:27a 40 organizaciones
42:28comunitarias
42:29utilizan el programa
42:31rtm
42:32como herramienta
42:33de diagnóstico
42:33para entender
42:34no solo
42:35donde puede
42:35producirse
42:36el próximo
42:36delito
42:37sino por qué
42:38a través de rtm
42:40identificamos
42:40este corredor
42:41comercial
42:41de la avenida
42:42bloomfield
42:42como una zona
42:43de riesgo
42:44para el robo
42:44de automóviles
42:45estacionados
42:45al ralentí
42:46y por qué
42:47es especialmente
42:48problemática
42:48esta zona
42:49en lo que se refiere
42:50al robo
42:50de coches
42:51primero
42:53porque estamos
42:53en un corredor
42:54comercial
42:55donde hay mucha
42:55gente que va
42:56al salón
42:56de belleza
42:57o a un restaurante
42:58y segundo
42:59porque los repartidores
43:00que vienen a recoger
43:01sus pedidos
43:02dejan sus coches
43:03en marcha
43:03creando las condiciones
43:04ideales
43:05para que este tipo
43:06de delito
43:06se concentre
43:07en esta zona
43:08en particular
43:08lo que nos mostraron
43:11los datos
43:11fue que había
43:12un tremendo aumento
43:13de los robos
43:14de vehículos
43:14pero convencimos
43:16al departamento
43:16de policía
43:17para que adoptara
43:18un enfoque
43:19más social
43:19los organizadores
43:20comunitarios
43:21convencieron
43:22a la policía
43:23de que no multara
43:24a los coches
43:24estacionados
43:25en marcha
43:25y crearon
43:26una eficaz campaña
43:27de carteles
43:28de concienciación
43:29pública
43:29propusimos
43:31a los estudiantes
43:32de Newark
43:32que presentaran
43:33sus carteles
43:34para la campaña
43:35para escoger
43:35la obra de arte
43:36que aparecería
43:37en los folletos
43:38este es el corredor
43:40comercial
43:41de la avenida
43:41Bloomfield
43:42la puntuación
43:43muestra un 6
43:43que indica
43:44el mayor índice
43:45de riesgo
43:45de robo
43:45de coches
43:46en este lugar
43:47en particular
43:47al desplazarnos
43:48hacia el final
43:49del corredor comercial
43:50la puntuación
43:50de riesgo
43:51va disminuyendo
43:51es la primera vez
43:54en Newark
43:55que la policía
43:56comparte ampliamente
43:57los datos
43:57sobre delincuencia
43:58con los miembros
43:59de la comunidad
44:00local
44:00los datos
44:02que compartimos
44:02son puramente
44:03incidentales
44:04como la hora
44:05y el lugar
44:05de la comisión
44:06del delito
44:07no compartimos
44:08ninguna información
44:09sensible
44:09sobre las detenciones
44:11solo intentamos
44:12evitar el delito
44:12en 2019
44:16Kaplan y Kennedy
44:17crearon una startup
44:19en Rutgers
44:19para satisfacer
44:20la creciente
44:21demanda
44:21de su tecnología
44:22a pesar
44:25de las muchas
44:25aplicaciones
44:26posibles
44:26de RTM
44:27desde el seguimiento
44:29de problemas
44:29de salud pública
44:30hasta el análisis
44:31de accidentes
44:32de circulación
44:33la aplicación
44:34de la ley
44:34sigue constituyendo
44:35su principal uso
44:36como cualquier
44:38otra tecnología
44:39el programa
44:40RTM
44:40puede utilizarse
44:42para el bien público
44:43cuando la gente
44:44lo utiliza
44:44con prudencia
44:45como académicos
44:53y científicos
44:54tenemos que ser críticos
44:55porque podría ser
44:56el mejor modelo
44:57del mundo
44:57y sus predicciones
44:58podrían ser muy buenas
44:59pero la forma
45:00en que se utilizan
45:01es aún más importante
45:03el departamento
45:04de policía
45:05ha revisado
45:06la lista estratégica
45:07de sujetos
45:07numerosos
45:07en 2019
45:08el inspector general
45:10de Chicago
45:10contrató
45:11a la corporación
45:12RAND
45:12para que evaluase
45:13la lista estratégica
45:15de sujetos
45:15una plataforma
45:16de vigilancia
45:17predictiva
45:18que incorporaba
45:19la investigación
45:20de Andrew Papacristos
45:21sobre el círculo
45:22de redes sociales
45:23nunca pretendí
45:24transitar
45:25por el camino
45:26de señalar
45:26a la persona
45:27potencialmente sospechosa
45:28el problema
45:30no está
45:30en el modelo estadístico
45:31sino en que alguien
45:32tomó a la víctima
45:33y la convirtió
45:33en delincuente
45:34criminalizando a alguien
45:35que está en riesgo
45:36cuando debería
45:37estar priorizando
45:38salvar su vida
45:39resultó que unas
45:42400.000 personas
45:43fueron incluidas
45:44en la polémica lista
45:46de ellos
45:47el 77%
45:49eran negros
45:50o hispanos
45:50la auditoría
45:55del inspector general
45:56reveló que las puntuaciones
45:57de la lista SSL
45:59no eran fiables
46:00la corporación
46:01RAND
46:02descubrió
46:02que el programa
46:03no tenía ningún impacto
46:04en las tasas
46:05de homicidio
46:05o victimización
46:06el programa
46:11fue cancelado
46:12pero la recopilación
46:16de datos
46:16sigue siendo esencial
46:17para la aplicación
46:19de la ley
46:19hay cosas nuestras
46:25de las que quizá
46:26ni somos conscientes
46:27que están siendo
46:28recopiladas
46:29por los corredores
46:30de datos
46:30y que se guardarán
46:32contra nosotros
46:33de forma digital
46:34para el resto
46:35de nuestras vidas
46:36los datos
46:38se producen
46:39y se recopilan
46:40pero
46:40son exactos
46:42y pueden ser
46:44examinados
46:45adecuadamente
46:46y esa fue una
46:47de las críticas
46:48a la lista estratégica
46:49de sujetos
46:50y a la base
46:50de datos
46:51de pandillas
46:51en Chicago
46:52cualquier fuente
46:53de datos
46:53que trate los datos
46:54como un compartimento
46:55estanco
46:55de forma permanente
46:56constituye un problema
46:58la base de datos
47:03de pandillas
47:03existe desde hace
47:04cuatro años
47:05queremos librarnos
47:06de la vigilancia
47:07en las comunidades
47:08de población negra
47:09y de tez morena
47:10en lugares como Chicago
47:12o en Los Ángeles
47:13donde yo crecí
47:14hay bases de datos
47:15de pandillas
47:16con decenas
47:16de miles
47:17de personas
47:18sus nombres
47:19figuran en esas
47:20bases de datos
47:21el mero hecho
47:22de tener un apellido
47:23determinado
47:24y profeder
47:24de un código postal
47:25concreto
47:26puede llevarte
47:27a esas bases
47:27de datos
47:28¿os sentís seguros
47:29en Chicago?
47:31la policía
47:32apareció de repente
47:33no hicieron
47:34ninguna pregunta
47:35simplemente
47:35empezaron a pegarnos
47:37y básicamente
47:38nos decían
47:39¿qué hacéis aquí
47:40en esta zona
47:41de pandilleros?
47:42yo ya estaba
47:43etiquetado
47:44como pandillero
47:45de la zona
47:45por el lugar
47:46en el que vivía
47:47simplemente
47:47por vivir allí
47:49la base de datos
47:51de pandillas
47:52de Chicago
47:52se comparte
47:53con cientos
47:54de organismos
47:54encargados
47:55de hacer cumplir
47:56la ley
47:56incluso si alguien
47:57es incluido
47:58erróneamente
47:59no hay ningún
47:59mecanismo
48:00para eliminar
48:01su nombre
48:01de la base
48:02de datos
48:02si intentas
48:03alquilar
48:04un apartamento
48:05pedir un trabajo
48:06o solicitar
48:06una plaza
48:07universitaria
48:08o incluso
48:09comprar una casa
48:10aparecerá
48:11que estás
48:12incluido
48:13en la base
48:13de datos
48:14de pandillas
48:14me detuvieron
48:17por protestar
48:18pacíficamente
48:18y me dijeron
48:19bueno estás
48:20en la base
48:21de datos
48:21de pandillas
48:22pero yo nunca
48:23he estado
48:23en ninguna pandilla
48:25desde que se te etiqueta
48:26como pandillero
48:27te conviertes
48:27en una amenaza
48:28para la seguridad
48:29investigadores
48:30y activistas
48:31han contribuido
48:32a desmantelar
48:32algunos
48:33de estos sistemas
48:34nuestra lucha
48:36no va a terminar
48:37hasta que nos
48:38deshagamos
48:38de la base
48:39de datos
48:39lo que vemos
48:42ahora no es
48:43un distanciamiento
48:44de los datos
48:45es solo un distanciamiento
48:46del término
48:47vigilancia predictiva
48:48las grandes empresas
48:50las grandes tecnológicas
48:51están entrando
48:52en el espacio policial
48:54la realidad
48:55que vivimos
48:55es que casi toda
48:56la labor policial
48:57se basa en datos
48:58los departamentos
48:59de policía
49:00invierten
49:00una gran parte
49:01de su presupuesto
49:02en tecnología
49:03incluyendo otras formas
49:05de tecnología
49:05de vigilancia
49:06y toda suerte
49:07de bases de datos
49:08para realizar
49:09la labor policial
49:10cada vez son más
49:14los ciudadanos
49:15que piden una normativa
49:16que controle
49:16estos algoritmos
49:17para garantizar
49:18que cumplen
49:19lo que prometen
49:20sin provocar daño
49:22paradójicamente
49:24hay muy pocos datos
49:25sobre el uso policial
49:27de los macrodatos
49:28y no hay datos
49:29sistemáticos
49:30a nivel nacional
49:31sobre cómo se utilizan
49:32estas herramientas
49:33el despliegue
49:34de estas herramientas
49:35supera con creces
49:36la respuesta legal
49:37y normativa
49:38ante esta proliferación
49:40desde un punto
49:40de vista regulatorio
49:42podríamos decir
49:42que estamos
49:43en el salvaje oeste
49:44y nos decimos
49:47bueno es un algoritmo
49:49pongámoslo
49:50en funcionamiento
49:51sin comprobar
49:52si funciona
49:53como es debido
49:54en absoluto
49:56múltiples intentos
49:59por obtener
50:00algún comentario
50:01por parte
50:01de agencias policiales
50:03y otros organismos
50:04encargados
50:05de hacer cumplir
50:05la ley
50:06en varias ciudades
50:07incluidas Chicago
50:08y Nueva York
50:09fueron rechazados
50:10o quedaron
50:11sin respuesta
50:12la inteligencia artificial
50:16debe estar
50:17al servicio
50:18de las personas
50:19y por lo tanto
50:20debe respetar
50:21siempre
50:21los derechos
50:22de las personas
50:23la unión europea
50:25se prepara
50:26para poner en marcha
50:27una legislación
50:28que regule
50:28la inteligencia artificial
50:30en 2021
50:32se presentaron
50:33distintos proyectos
50:34de ley
50:34para regular
50:35los algoritmos
50:36de la ciencia
50:36de datos
50:37en 17 estados
50:38americanos
50:39y fueron aprobados
50:40en Alabama
50:41Colorado
50:41Illinois
50:42y Mississippi
50:43en los aparatos
50:45eléctricos
50:45vemos que figuran
50:46las letras
50:47UL
50:47Underwriters Laboratory
50:49es un proceso
50:50regulatorio
50:50que surgió
50:51para evitar
50:51que al enchufarlos
50:52se estallaran
50:53en la mano
50:53necesitamos aplicar
50:55ese mismo tipo
50:55de idea
50:56a los algoritmos
50:57podemos ajustarlos
51:01para que funcionen
51:01mejor que en el pasado
51:02y podemos hacerlo
51:04con cuidado
51:04y con precisión
51:05manteniendo un diálogo
51:07continuo
51:07sobre lo que significa
51:09para nosotros
51:09y asegurándonos
51:11de que su sesgo
51:12vaya en el sentido
51:13correcto
51:13no creo que podamos
51:15eliminar el sesgo
51:16pero podemos encontrar
51:17uno con el que
51:18podamos convivir
51:19que consideremos moral
51:20podemos hacerlo mejor
51:21pero a menudo
51:22hacerlo mejor
51:23podría parecerse mucho
51:24a no utilizarlos
51:25en absoluto
51:26no hay nada
51:28fundamentalmente malo
51:29en intentar
51:30predecir el futuro
51:31siempre y cuando
51:32se entienda
51:32cómo funcionan
51:33los algoritmos
51:34y qué uso
51:34se hace de ellos
51:35qué consecuencias
51:36tiene acertar
51:37y lo que es más importante
51:38qué consecuencias
51:40tiene equivocarse
51:41las manos en el volante
51:42mis manos no se han movido
51:44del volante
51:44va a arrestarme
51:46vamos a ver
51:47de qué va esto
51:48no se han movido
51:52Gracias por ver el video.
Sé la primera persona en añadir un comentario