Índice de falsos positivos
La tasa de falsos positivos —más conocida como índice de falsos positivos— es la proporción de casos legítimos que un control señala erróneamente como sospechosos. En las operaciones de lucha contra el fraude y de cumplimiento normativo, es esta cifra la que determina el coste real del control, ya que en casi todos los sistemas reales la población señalada está compuesta, en su gran mayoría, por personas que no han hecho nada malo.
Se calcula dividiendo los falsos positivos entre el total de casos verdaderamente negativos: de todas las personas que eran legítimas, ¿qué porcentaje hemos marcado como sospechosas?
| También se conoce como | Índice de falsos positivos, índice de falsas alarmas, pérdida de detección |
| Fórmula | Falsos positivos ÷ (falsos positivos + verdaderos negativos) |
| Complemento | Especificidad: el porcentaje de casos legítimos que se han tramitado correctamente |
| Aspectos habituales en la verificación de sanciones | Con frecuencia, más del 90 % de las alertas generadas |
| Coste directo | Revisar la mano de obra, los retrasos en la incorporación y los clientes abandonados |
| Establecido por | El umbral de decisión, no el modelo |
Dos tasas que se confunden
Es una distinción sobre la que conviene ser preciso, ya que ambos términos se utilizan habitualmente de forma indistinta y difieren enormemente cuando el fraude es poco frecuente.
- Tasa de falsos positivos pregunta: de todos los casos válidos, ¿qué porcentaje hemos marcado? Se calcula sobre la población válida.
- Tasa de falsos positivos pregunta: de todos los casos que hemos señalado, ¿qué porcentaje eran legítimos? Se calcula a partir de las alertas.
Cuando alguien dice «nuestra tasa de falsos positivos es del 95 %», casi siempre se refiere a la segunda. La diferencia entre ambas es la tasa de base, y es ahí donde se originan la mayoría de las interpretaciones erróneas de las estadísticas sobre fraude.
Analicémoslo. Con 1 000 000 de transacciones y una tasa de fraude del 0,1 %, un control que detecte el 80 % de los fraudes con una tasa de falsos positivos del 1 % señala 800 fraudes reales y 9.990 transacciones legítimas. La tasa de falsos positivos es del 1 % —lo que parece excelente— y el 92,6 % de las alertas son erróneas. Ambas cifras son correctas y describen realidades operativas muy diferentes.
Por eso, una tasa de falsos positivos impresionantemente baja puede seguir dando lugar a una cola de revisión inmanejable, y por eso no se puede juzgar la calidad de un control basándose únicamente en esa cifra cuando lo que se detecta es poco frecuente.
El dilema sin solución
Cada umbral hace que los falsos positivos y los falsos negativos se desplacen en direcciones opuestas. Si se endurece para detectar más fraudes, también se detectan más clientes legítimos; si se relaja para reducir la fricción, se dejan pasar más fraudes. El modelo determina la forma de esa curva; el umbral elige un punto en ella. Ningún ajuste escapa a esta disyuntiva.
Los costes de las operaciones son asimétricos, y esa asimetría suele medirse de forma inadecuada:
| Falso positivo | Falso negativo | |
|---|---|---|
| ¿Qué pasó? | Se ha señalado un caso legítimo | Se ha desestimado un caso de fraude |
| ¿Quién lo soporta? | El cliente y el equipo de revisión | La empresa o la víctima |
| Visibilidad | Inmediato — longitud de la cola, quejas | Retrasados, y a menudo nunca se les atribuye el mérito |
| Cómo se mide | Bueno… eso genera trabajo | Mal: el fraude no detectado no está etiquetado |
| Sesgo típico | Se le da más importancia porque es visible | Se le ha dado un peso inferior porque no es |
La última fila es la más importante. Los falsos positivos se detectan fácilmente; los falsos negativos, en cambio, suelen pasar desapercibidos. Por lo tanto, las organizaciones se centran en corregir el error que pueden ver, que no es necesariamente el que más cuesta.
Por qué es importante para la verificación de identidad
El enfoque que hace que esto sea viable: Un falso positivo suele ser un caso que el sistema no ha podido resolver por falta de información. No es un caso en el que se equivocara, sino uno que no pudo resolver y que, por defecto, se elevó a una instancia superior.
Eso cambia la perspectiva del problema. Ajustar el umbral hace que los casos pasen de una cola a otra sin aportar información adicional, por lo que cada mejora en un error se compensa con un empeoramiento en el otro. Añadir un atributo discriminatorio desplaza la curva en sí misma, y ese es el único cambio que mejora ambos aspectos a la vez.
Los datos de identidad son el ejemplo más claro. A verificación de sanciones Una alerta por coincidencia de nombre con una persona designada no puede resolverse basándose únicamente en el nombre y se cierra al instante una vez verificada la fecha de nacimiento. Una solicitud marcada por «velocidad» debido a que varias presentaciones comparten un mismo dispositivo es un caso distinto una vez que se verifica que los solicitantes son personas reales y distintas. En ambos casos, la alerta desaparece no porque haya cambiado el umbral, sino porque ha desaparecido la ambigüedad que la provocó.
Hay un aspecto relacionado con la equidad que merece la pena señalar. Los falsos positivos no se distribuyen de manera uniforme. Las personas con expedientes de crédito incompletos, los recién llegados, quienes han cambiado de dirección o de nombre y los usuarios de dispositivos más antiguos se desvían más de lo que el modelo considera normal. El ajuste en función de una tasa agregada oculta esto, y la tasa agregada puede mejorar mientras que la carga que soporta un grupo concreto empeora.
Lo que la tasa de falsos positivos no te dice
Por sí solo, no significa nada. Si se cita sin indicar la tasa de detección, no tiene sentido: un control que no detecta nada tiene una tasa de falsos positivos perfecta. Ambos datos deben interpretarse conjuntamente, en un punto de funcionamiento determinado.
No refleja el coste. Una solicitud marcada que se resuelve en diez segundos y otra que tarda tres días y hace perder clientes tienen el mismo impacto en la tasa, pero ninguna de las dos tiene consecuencias.
Oculta la distribución. Una tasa agregada es la media calculada sobre una población en la que algunos grupos son objeto de controles mucho más frecuentes que otros.
No se puede comparar entre sistemas con tipos de interés de referencia diferentes. La aplicación del mismo control a poblaciones con diferentes índices de prevalencia del fraude da lugar a composiciones de alertas distintas, por lo que la comparación entre organizaciones de estas cifras no suele servir para comparar nada.
Preguntas frecuentes
¿Cuál es la diferencia entre la tasa de falsos positivos y la tasa de falsos descubrimientos?
La tasa de falsos positivos es la proporción de casos legítimos que se han señalado, calculada sobre el conjunto de casos legítimos. La tasa de falsos descubrimientos es la proporción de alertas que resultaron ser legítimas, calculada sobre el conjunto de alertas. Cuando el fraude es poco frecuente, estas tasas divergen drásticamente: una tasa de falsos positivos del 1 % puede significar aún que más del 90 % de las alertas sean erróneas.
¿Cuál es una buena tasa de falsos positivos?
No existe una cifra universal, ya que carece de sentido si no se tiene en cuenta la tasa de detección con la que se ha obtenido y el coste que supone cada error para esa empresa. La pregunta relevante no es qué tasa se debe fijar como objetivo, sino cuánto cuesta cada falso positivo y cada falso negativo, ya que esas dos cifras determinan dónde debe situarse el umbral.
¿Por qué son tan elevadas las tasas de falsos positivos en la detección de sanciones?
Porque la coincidencia debe ser aproximada para poder gestionar la transcripción y las variaciones en los nombres, porque los umbrales son deliberadamente conservadores dada la responsabilidad objetiva, y porque las entradas de la lista suelen contener muy pocos datos como para poder distinguir entre ellas. El resultado es un volumen de alertas en el que la gran mayoría son coincidencias de nombres en lugar de coincidencias reales.
¿Cómo se pueden reducir los falsos positivos sin dejar de detectar más casos de fraude?
Añadiendo información en lugar de modificar el umbral. Los cambios en el umbral sustituyen un error por otro a lo largo de una curva fija; un nuevo atributo discriminatorio —una fecha de nacimiento verificada, un número de documento confirmado— desplaza la curva, lo cual es la única forma de mejorar ambos aspectos a la vez.
Lecturas relacionadas
- Área bajo la curva — la perspectiva independiente del umbral de esa misma disyuntiva
- Puntuación de riesgo de fraude — a qué se aplica el umbral
- Verificación de sanciones — el grupo de control en el que predominan los falsos positivos
- Supervisión de transacciones — la otra gran fuente de alertas