Si la alerta acierta 90%, ¿qué tan seguro es que haya fraude?

La Ceiba instaló en sus cajas un sistema que marca las compras con tarjeta que parecen fraude. El proveedor lo presume así: "Detecta 90 de cada 100 fraudes". En letras chicas dice que también marca por error 5 de cada 100 compras normales. Y el área de seguridad sabe que, en sus tiendas, más o menos 1 de cada 200 compras con tarjeta es fraude. (Los números son inventados para el curso.)

Un martes, la caja de Plaza Norte se pone roja: el sistema marcó una compra. El encargado tiene que decidir si llama a seguridad y detiene al cliente.

Piensa en compras, no en porcentajes

Los porcentajes de esta historia tienen tres denominadores distintos, y por eso confunden: el 90% es de los fraudes, el 5% es de las compras normales y el "1 de cada 200" es de todas las compras. La forma más segura de no perderse es dejar los porcentajes y contar compras. Imagina un número redondo de compras y repártelas:

Por qué pasa: lo raro se ahoga en lo común

El 5% de error parece poco, pero se aplica a muchísimas compras normales. El 90% de acierto parece mucho, pero se aplica a muy pocos fraudes. Cuando lo que buscas es raro, las falsas alarmas superan a las verdaderas aunque el sistema sea bueno.

Si todavía sientes que la respuesta debería ser 90%, dile a tu Maestro por qué y revísenlo juntos.

Pasa igual con cualquier cosa que busque algo poco común entre muchos casos: un filtro que marca facturas duplicadas, una revisión que busca errores de captura, una prueba que detecta una condición poco frecuente. La pregunta que hay que hacer siempre es la misma: de cada 100 alertas, ¿cuántas son de verdad? Y para contestarla necesitas saber qué tan común es lo que se busca.

Si en tu trabajo hay alertas, filtros o revisiones automáticas, pregúntale a tu Maestro cuántas de sus alertas esperarías que sean reales.

Inténtalo

El código de abajo hace la cuenta de las 20,000 compras. Las cuatro primeras líneas son los supuestos; lo demás es la cuenta que acabas de hacer a mano. Córrelo tal cual y luego cambia los supuestos, uno a la vez:

1. Una sucursal donde el fraude es mucho más común: cambia fraude_de_cada = 200 por fraude_de_cada = 20 y corre.
2. Regresa a 200 y mejora el sistema: cambia error = 0.05 por error = 0.01 y corre.

Lo que más mueve el resultado no es qué tan bueno es el sistema, sino qué tan común es el fraude. Con 1 de cada 20 compras como fraude, casi la mitad de las alertas son reales. Con 1 de cada 200, menos de una de cada diez. Por eso el mismo sistema puede ser muy útil en un lugar y desesperante en otro.

En la práctica, una alerta es una razón para revisar, no una prueba. El encargado de Plaza Norte no debería detener a nadie: debería pedir una identificación, como haría con cualquier compra rara.