Taux de faux positifs

Le taux de faux positifs — plus communément appelé « taux de faux positifs » — correspond à la proportion de cas légitimes qu’un contrôle signale à tort comme suspects. Dans le domaine de la lutte contre la fraude et de la conformité, c’est ce chiffre qui détermine le coût réel du contrôle, car dans presque tous les systèmes concrets, la population signalée est en grande majorité composée de personnes qui n’ont rien fait de mal.

Il est calculé en divisant le nombre de faux positifs par le nombre total de cas véritablement négatifs : parmi toutes les personnes qui étaient légitimes, quelle proportion avons-nous signalée ?

Également appelé Taux de faux positifs, taux de fausses alertes, taux de perte de suivi
Formule Faux positifs ÷ (faux positifs + vrais négatifs)
Complément Spécificité — la proportion de cas légitimes correctement identifiés
Cas typiques dans le cadre du contrôle des sanctions Souvent, plus de 90 % des alertes sont déclenchées
Coût direct Analyse de la main-d'œuvre, retards dans l'intégration des nouveaux collaborateurs, clients perdus
Définie par Le seuil de décision — et non le modèle

Deux taux qu'on a tendance à confondre

Il convient d'être précis sur cette distinction, car ces deux notions sont souvent utilisées de manière interchangeable alors qu'elles diffèrent considérablement lorsque la fraude est rare.

  • Taux de faux positifs demande : parmi tous les cas valides, quelle part avons-nous signalée ? Ce chiffre est calculé par rapport à l'ensemble des cas valides.
  • Taux de fausses découvertes demande : parmi tous les cas que nous avons signalés, quelle proportion était justifiée ? Ce chiffre est calculé à partir des alertes.

Quand quelqu'un dit « notre taux de faux positifs est de 95 % », il fait presque toujours référence à la seconde définition. La différence entre les deux correspond au taux de base, et c'est là que réside la source de la plupart des interprétations erronées des statistiques sur la fraude.

Fais le calcul. Avec 1 000 000 de transactions et un taux de fraude de 0,1 %, un dispositif de contrôle détectant 80 % des fraudes avec un taux de faux positifs de 1 % signale 800 fraudes réelles et 9 990 transactions légitimes. Le taux de faux positifs est de 1 % — ce qui semble excellent — et 92,6 % des alertes sont erronées. Ces deux chiffres sont exacts, mais ils reflètent des réalités opérationnelles très différentes.

C'est pourquoi un taux de faux positifs extrêmement faible peut tout de même entraîner une file d'attente de vérification ingérable, et pourquoi la qualité d'un contrôle ne peut être évaluée sur la seule base de ce chiffre lorsque l'élément à détecter est rare.

Le dilemme sans issue

Chaque seuil fait évoluer les faux positifs et les faux négatifs dans des directions opposées. Si l'on resserre les critères pour détecter davantage de fraudes, davantage de clients légitimes sont également bloqués ; si l'on assouplit les critères pour réduire les frictions, davantage de fraudes passent entre les mailles du filet. Le modèle détermine la forme de cette courbe ; le seuil permet de choisir un point sur celle-ci. Aucun paramètre n'échappe à ce compromis.

Les coûts liés à la transaction sont asymétriques, et cette asymétrie est généralement mal évaluée :

Faux positif Faux négatif
Que s'est-il passé ? Un cas légitime a été signalé Une affaire de fraude a été classée sans suite
Qui en supporte la charge ? Le client et l'équipe chargée de l'évaluation L'entreprise, ou la victime
Visibilité Immédiat — longueur de la file d'attente, réclamations Retardées, souvent jamais attribuées
Comment cela est-il mesuré ? Bon… ça crée du travail Mauvais — une fraude non détectée n'est pas signalée
Biais typique Surpondéré car il est visible Sous-pondéré car il ne s'agit pas de

C'est la dernière ligne qui est importante. Les faux positifs se remarquent facilement ; ce n'est généralement pas le cas des faux négatifs. Les organisations ajustent donc leurs systèmes en fonction des erreurs qu'elles peuvent détecter, ce qui ne correspond pas nécessairement aux erreurs les plus coûteuses.

Pourquoi est-ce important pour la vérification d'identité ?

Le cadre qui rend cette approche applicable : Un faux positif correspond généralement à un cas que le système n'a pas pu résoudre faute d'informations suffisantes. Ce n'est pas une affaire où il s'est trompé, mais une affaire sur laquelle il n'a pas pu se prononcer et qui a été renvoyée d'office.

Cela remet le problème en perspective. Le réglage du seuil fait passer des cas d'une file d'attente à l'autre sans apporter d'informations supplémentaires ; ainsi, tout gain obtenu sur une erreur se fait au détriment de l'autre. L'ajout d'un attribut discriminant déplace la courbe elle-même, ce qui constitue le seul changement permettant d'améliorer les deux à la fois.

Les données d'identité en sont l'exemple le plus flagrant. A vérification des sanctions Une alerte concernant un nom commun à une personne désignée ne peut être résolue sur la seule base du nom et est immédiatement levée dès la vérification de la date de naissance. Une demande signalée pour « vitesse » parce que plusieurs soumissions proviennent du même appareil est un cas différent dès lors qu’il est vérifié que les demandeurs sont des personnes réelles distinctes. Dans les deux cas, l’alerte disparaît non pas parce que le seuil a changé, mais parce que l’ambiguïté qui l’avait déclenchée a été levée.

Il convient de souligner un aspect lié à l'équité. Les faux positifs ne sont pas répartis de manière homogène. Les personnes présentant dossiers de crédit peu fournis, les nouveaux arrivants, les personnes ayant changé d'adresse ou de nom, ainsi que les utilisateurs d'appareils plus anciens s'écartent tous davantage de ce que le modèle considère comme la norme. Un ajustement basé sur un taux global masque cette réalité, et il est possible que le taux global s'améliore alors même que la situation d'un groupe spécifique s'aggrave.

Ce que le taux de faux positifs ne vous révèle pas

En soi, cela ne veut rien dire. Si l'on ne mentionne pas le taux de détection, cette valeur n'a aucun sens : un dispositif de contrôle qui ne signale rien présente un taux de faux positifs de 100 %. Ces deux données doivent être interprétées conjointement, à un point de fonctionnement donné.

Cela ne tient pas compte du coût. Une demande signalée qui est traitée en dix secondes et une autre qui prend trois jours entraînent toutes deux une perte identique du nombre de clients en termes de taux, mais aucune conséquence concrète.

Cela masque la répartition. Un taux global correspond à la moyenne calculée sur l'ensemble d'une population au sein de laquelle certains groupes sont signalés bien plus souvent que d'autres.

Il n'est pas possible de comparer des systèmes dont les taux de base diffèrent. L'application d'un même critère de contrôle à des populations présentant des taux de fraude différents donne lieu à des compositions d'alertes différentes ; c'est pourquoi la comparaison de ces chiffres entre différentes organisations n'est généralement pas pertinente.

Foire aux questions

Quelle est la différence entre le taux de faux positifs et le taux de fausses découvertes ?

Le taux de faux positifs correspond à la proportion de cas légitimes qui ont été signalés, calculée par rapport à l'ensemble des cas légitimes. Le taux de fausses découvertes correspond à la proportion d'alertes qui se sont avérées légitimes, calculée par rapport au nombre total d'alertes. Lorsque la fraude est rare, ces deux taux divergent considérablement : un taux de faux positifs de 1 % peut tout de même signifier que plus de 90 % des alertes sont erronées.

Quel est un bon taux de faux positifs ?

Il n'existe pas de chiffre universel, car celui-ci n'a aucun sens sans le taux de détection avec lequel il a été obtenu et le coût de chaque erreur pour l'entreprise concernée. La question pertinente n'est pas de savoir quel taux viser, mais quel est le coût d'un faux positif et d'un faux négatif, puisque ce sont ces deux chiffres qui déterminent où se situe le seuil.

Pourquoi les taux de faux positifs sont-ils si élevés lors du filtrage des sanctions ?

En effet, la correspondance doit être approximative pour tenir compte de la translittération et des variantes de noms ; les seuils sont délibérément prudents compte tenu du régime de responsabilité objective ; et les entrées des listes contiennent souvent trop peu d'informations pour permettre une distinction. Il en résulte un volume d'alertes dont la grande majorité correspond à des conflits de noms plutôt qu'à des correspondances.

Comment réduire les faux positifs sans pour autant laisser passer davantage de cas de fraude ?

En ajoutant des informations plutôt qu’en modifiant le seuil. Les modifications du seuil consistent à remplacer une erreur par une autre le long d’une courbe fixe ; un nouvel attribut discriminant — une date de naissance vérifiée, un numéro de document confirmé — déplace la courbe, ce qui est le seul moyen d’améliorer les deux à la fois.

Lectures complémentaires

Découvrez nos solutions

L’exploration de nos solutions est à portée de clic. Essayez nos produits ou discutez avec l’un de nos experts pour approfondir notre offre.

Rapport
Analyse de la montée en puissance de la fraude à l'identité alimentée par l'IA

L'IA n'a pas seulement accéléré la fraude. Elle en a fait un véritable système. Nous avons analysé des millions d'interactions liées à l'identité afin de cartographier l'évolution des attaques d'usurpation d'identité selon les régions, les types d'attaques et les niveaux de sophistication — et d'identifier ce que les organisations doivent repenser pour rester dans la course.

Consultez les données