Un programa policial en Inglaterra usó datos sensibles para calcular riesgos, pero algunos resultados no eran fiables.
En el oeste de Inglaterra, la policía de Avon and Somerset y el Ayuntamiento de Bristol impulsaron un sistema predictivo basado en datos públicos. La base Think Family Database, lanzada en 2016, contenía registros de casi medio millón de personas.
No era una base simple. Mezclaba información policial, social, educativa y sanitaria. Con esos datos se crearon modelos de aprendizaje automático para calcular riesgos sobre personas y situaciones.
Algunos modelos intentaban prever robos, ausencias en juicios, desapariciones o casos de violencia doméstica. Otros buscaban identificar a menores vulnerables a la explotación sexual o criminal. La promesa era anticiparse a daños graves, pero el sistema resultaba poco claro.
Muchas personas no sabían si estaban incluidas, qué datos se conservaban ni si un algoritmo había generado una puntuación sobre ellas. John Pegram, de un grupo local de control policial, descubrió en 2024 que figuraba en una aplicación policial, aunque no recibió todos los detalles.
También hubo dudas técnicas. Dos modelos sobre explotación infantil fueron abandonados después de que personal del ayuntamiento dijera que no podía confiar en sus resultados. Una revisión independiente señaló que las puntuaciones de riesgo eran el elemento más débil. Además, faltaban código, variables y documentación para evaluarlo bien.
El análisis de más de 36.000 datos de rendimiento mostró baja precisión en varios sistemas. La policía dice que revisa los modelos y los apaga o actualiza cuando detecta problemas. Expertos y activistas advierten de que una predicción errónea puede dirigir la atención policial o social hacia personas equivocadas. La inteligencia artificial pública exige pruebas sólidas, supervisión y debate ciudadano.
Basado en: Matt Burgess, Mark Wilding, WIRED