Un programa policial en Inglaterra usó datos sensibles para calcular riesgos, pero algunos resultados no eran fiables.
La experiencia de Avon and Somerset muestra cómo la analítica predictiva puede extenderse en los servicios públicos antes de que la ciudadanía entienda su alcance. Desde 2016, la base Think Family Database reunió datos de casi medio millón de personas en Bristol.
Esa información combinaba registros policiales, vivienda, salud mental y escolarización. La ambición era preventiva: identificar antes a menores vulnerables, posibles víctimas, personas desaparecidas o individuos con más probabilidad de delinquir.
En la práctica, esa promesa dependía de sistemas opacos, con datos sensibles y difíciles de auditar. Algunos modelos acabaron en una aplicación policial con datos de 300.000 personas. Para quienes podían aparecer en ella, el problema no era solo técnico.
El caso de John Pegram lo ilustra bien. Tras pedir explicaciones, la policía confirmó que figuraba en esa aplicación, pero no aclaró qué información conservaba ni qué efectos podía tener. Las personas afectadas necesitan comprender cómo se usan sus registros.
Las revisiones posteriores revelaron fallos relevantes. Dos modelos de explotación infantil dejaron de utilizarse cuando empleados municipales consideraron que sus resultados ya no eran fiables. Una evaluación independiente calificó las puntuaciones de riesgo como el punto más débil y no pudo examinar algunos sistemas por falta de código, variables y documentación.
Además, los datos de rendimiento apuntaron a baja precisión en varios modelos. La policía afirma que algunos sistemas no se desplegaron y que los modelos se revisan o desactivan si hay problemas. La lección es clara: la legalidad del tratamiento de datos no sustituye a la legitimidad, la transparencia ni el control público.
Basado en: Matt Burgess, Mark Wilding, WIRED