Un programa policial en Inglaterra usó datos sensibles para calcular riesgos, pero algunos resultados no eran fiables.
En Bristol, una ciudad de Inglaterra, la policía y el ayuntamiento crearon una gran base de datos. Se llamaba Think Family Database. Guardaba información de casi medio millón de personas.
En esa base había datos de vivienda, salud mental, colegios y ayudas para comer en la escuela. También incluía información sobre familias con problemas difíciles. Eran datos muy personales.
Después, algunos equipos usaron esos datos con programas informáticos. Querían saber qué personas podían estar en riesgo o causar problemas. El programa daba una puntuación. Esa puntuación podía señalar a niños, familias o adultos.
La policía de Avon and Somerset creó varios modelos. Algunos intentaban prever robos, ausencias en un juicio, desapariciones o violencia doméstica. Otros miraban si algunos niños podían estar en peligro de explotación. Para muchas personas, no era fácil saber si sus datos estaban dentro del sistema.
Con el tiempo, trabajadores del ayuntamiento dejaron de confiar en dos modelos sobre niños. Decían que los resultados no eran bastante exactos. A veces no aparecían menores vulnerables. Otras veces, el sistema señalaba casos que no parecían correctos. Una puntuación equivocada puede afectar a una familia.
También hubo revisiones externas. Encontraron que faltaban documentos sobre cómo se hicieron algunos modelos y sobre por qué dejaron de usarse. La policía dijo que revisa los modelos y los apaga si tienen fallos. El caso deja una pregunta sencilla: cuando una máquina ayuda a tomar decisiones públicas, la gente necesita saber cómo funciona.
Basado en: Matt Burgess, Mark Wilding, WIRED