Índice de falsos positivos

La tasa de falsos positivos —más conocida como índice de falsos positivos— es la proporción de casos legítimos que un control señala erróneamente como sospechosos. En las operaciones de lucha contra el fraude y de cumplimiento normativo, es esta cifra la que determina el coste real del control, ya que en casi todos los sistemas reales la población señalada está compuesta, en su gran mayoría, por personas que no han hecho nada malo.

Se calcula dividiendo los falsos positivos entre el total de casos verdaderamente negativos: de todas las personas que eran legítimas, ¿qué porcentaje hemos marcado como sospechosas?

También se conoce como Índice de falsos positivos, índice de falsas alarmas, pérdida de detección
Fórmula Falsos positivos ÷ (falsos positivos + verdaderos negativos)
Complemento Especificidad: el porcentaje de casos legítimos que se han tramitado correctamente
Aspectos habituales en la verificación de sanciones Con frecuencia, más del 90 % de las alertas generadas
Coste directo Revisar la mano de obra, los retrasos en la incorporación y los clientes abandonados
Establecido por El umbral de decisión, no el modelo

Dos tasas que se confunden

Es una distinción sobre la que conviene ser preciso, ya que ambos términos se utilizan habitualmente de forma indistinta y difieren enormemente cuando el fraude es poco frecuente.

  • Tasa de falsos positivos pregunta: de todos los casos válidos, ¿qué porcentaje hemos marcado? Se calcula sobre la población válida.
  • Tasa de falsos positivos pregunta: de todos los casos que hemos señalado, ¿qué porcentaje eran legítimos? Se calcula a partir de las alertas.

Cuando alguien dice «nuestra tasa de falsos positivos es del 95 %», casi siempre se refiere a la segunda. La diferencia entre ambas es la tasa de base, y es ahí donde se originan la mayoría de las interpretaciones erróneas de las estadísticas sobre fraude.

Analicémoslo. Con 1 000 000 de transacciones y una tasa de fraude del 0,1 %, un control que detecte el 80 % de los fraudes con una tasa de falsos positivos del 1 % señala 800 fraudes reales y 9.990 transacciones legítimas. La tasa de falsos positivos es del 1 % —lo que parece excelente— y el 92,6 % de las alertas son erróneas. Ambas cifras son correctas y describen realidades operativas muy diferentes.

Por eso, una tasa de falsos positivos impresionantemente baja puede seguir dando lugar a una cola de revisión inmanejable, y por eso no se puede juzgar la calidad de un control basándose únicamente en esa cifra cuando lo que se detecta es poco frecuente.

El dilema sin solución

Cada umbral hace que los falsos positivos y los falsos negativos se desplacen en direcciones opuestas. Si se endurece para detectar más fraudes, también se detectan más clientes legítimos; si se relaja para reducir la fricción, se dejan pasar más fraudes. El modelo determina la forma de esa curva; el umbral elige un punto en ella. Ningún ajuste escapa a esta disyuntiva.

Los costes de las operaciones son asimétricos, y esa asimetría suele medirse de forma inadecuada:

Falso positivo Falso negativo
¿Qué pasó? Se ha señalado un caso legítimo Se ha desestimado un caso de fraude
¿Quién lo soporta? El cliente y el equipo de revisión La empresa o la víctima
Visibilidad Inmediato — longitud de la cola, quejas Retrasados, y a menudo nunca se les atribuye el mérito
Cómo se mide Bueno… eso genera trabajo Mal: el fraude no detectado no está etiquetado
Sesgo típico Se le da más importancia porque es visible Se le ha dado un peso inferior porque no es

La última fila es la más importante. Los falsos positivos se detectan fácilmente; los falsos negativos, en cambio, suelen pasar desapercibidos. Por lo tanto, las organizaciones se centran en corregir el error que pueden ver, que no es necesariamente el que más cuesta.

Por qué es importante para la verificación de identidad

El enfoque que hace que esto sea viable: Un falso positivo suele ser un caso que el sistema no ha podido resolver por falta de información. No es un caso en el que se equivocara, sino uno que no pudo resolver y que, por defecto, se elevó a una instancia superior.

Eso cambia la perspectiva del problema. Ajustar el umbral hace que los casos pasen de una cola a otra sin aportar información adicional, por lo que cada mejora en un error se compensa con un empeoramiento en el otro. Añadir un atributo discriminatorio desplaza la curva en sí misma, y ese es el único cambio que mejora ambos aspectos a la vez.

Los datos de identidad son el ejemplo más claro. A verificación de sanciones Una alerta por coincidencia de nombre con una persona designada no puede resolverse basándose únicamente en el nombre y se cierra al instante una vez verificada la fecha de nacimiento. Una solicitud marcada por «velocidad» debido a que varias presentaciones comparten un mismo dispositivo es un caso distinto una vez que se verifica que los solicitantes son personas reales y distintas. En ambos casos, la alerta desaparece no porque haya cambiado el umbral, sino porque ha desaparecido la ambigüedad que la provocó.

Hay un aspecto relacionado con la equidad que merece la pena señalar. Los falsos positivos no se distribuyen de manera uniforme. Las personas con expedientes de crédito incompletos, los recién llegados, quienes han cambiado de dirección o de nombre y los usuarios de dispositivos más antiguos se desvían más de lo que el modelo considera normal. El ajuste en función de una tasa agregada oculta esto, y la tasa agregada puede mejorar mientras que la carga que soporta un grupo concreto empeora.

Lo que la tasa de falsos positivos no te dice

Por sí solo, no significa nada. Si se cita sin indicar la tasa de detección, no tiene sentido: un control que no detecta nada tiene una tasa de falsos positivos perfecta. Ambos datos deben interpretarse conjuntamente, en un punto de funcionamiento determinado.

No refleja el coste. Una solicitud marcada que se resuelve en diez segundos y otra que tarda tres días y hace perder clientes tienen el mismo impacto en la tasa, pero ninguna de las dos tiene consecuencias.

Oculta la distribución. Una tasa agregada es la media calculada sobre una población en la que algunos grupos son objeto de controles mucho más frecuentes que otros.

No se puede comparar entre sistemas con tipos de interés de referencia diferentes. La aplicación del mismo control a poblaciones con diferentes índices de prevalencia del fraude da lugar a composiciones de alertas distintas, por lo que la comparación entre organizaciones de estas cifras no suele servir para comparar nada.

Preguntas frecuentes

¿Cuál es la diferencia entre la tasa de falsos positivos y la tasa de falsos descubrimientos?

La tasa de falsos positivos es la proporción de casos legítimos que se han señalado, calculada sobre el conjunto de casos legítimos. La tasa de falsos descubrimientos es la proporción de alertas que resultaron ser legítimas, calculada sobre el conjunto de alertas. Cuando el fraude es poco frecuente, estas tasas divergen drásticamente: una tasa de falsos positivos del 1 % puede significar aún que más del 90 % de las alertas sean erróneas.

¿Cuál es una buena tasa de falsos positivos?

No existe una cifra universal, ya que carece de sentido si no se tiene en cuenta la tasa de detección con la que se ha obtenido y el coste que supone cada error para esa empresa. La pregunta relevante no es qué tasa se debe fijar como objetivo, sino cuánto cuesta cada falso positivo y cada falso negativo, ya que esas dos cifras determinan dónde debe situarse el umbral.

¿Por qué son tan elevadas las tasas de falsos positivos en la detección de sanciones?

Porque la coincidencia debe ser aproximada para poder gestionar la transcripción y las variaciones en los nombres, porque los umbrales son deliberadamente conservadores dada la responsabilidad objetiva, y porque las entradas de la lista suelen contener muy pocos datos como para poder distinguir entre ellas. El resultado es un volumen de alertas en el que la gran mayoría son coincidencias de nombres en lugar de coincidencias reales.

¿Cómo se pueden reducir los falsos positivos sin dejar de detectar más casos de fraude?

Añadiendo información en lugar de modificar el umbral. Los cambios en el umbral sustituyen un error por otro a lo largo de una curva fija; un nuevo atributo discriminatorio —una fecha de nacimiento verificada, un número de documento confirmado— desplaza la curva, lo cual es la única forma de mejorar ambos aspectos a la vez.

Lecturas relacionadas

Descubre nuestras soluciones

Explorar nuestras soluciones está a un clic de distancia. Prueba nuestros productos o charla con uno de nuestros expertos para profundizar en lo que ofrecemos.

Informe
Análisis del aumento del fraude de identidad impulsado por la inteligencia artificial

La IA no solo ha acelerado el fraude, sino que lo ha convertido en un sistema. Hemos analizado millones de interacciones relacionadas con la identidad para trazar un mapa de cómo están evolucionando los ataques a la identidad en las distintas regiones, según los tipos de ataque y los niveles de sofisticación, y qué deben replantearse las organizaciones para mantenerse al día.

Ver los datos