Score de fraude
Un score de fraude est un chiffre qui résume la probabilité qu’une transaction, une demande ou une session soit frauduleuse ; il est généré par un modèle qui prend en compte simultanément de nombreux indicateurs. Il sert à classer les cas afin que les ressources limitées consacrées à l’examen soient affectées à ceux qui sont les plus susceptibles de le justifier.
Un score n'est pas un verdict. Il s'agit d'une position dans un classement, et ce qui se passe à chaque position relève d'une décision opérationnelle prise indépendamment du modèle.
| Son classement | Transactions, demandes, connexions, sessions |
| Données d'entrée types | Appareil, réseau, comportement, vitesse, attributs d'identité, historique |
| Résultat | Un chiffre sur une échelle arbitraire — ce n'est pas une probabilité, à moins d'être calibré |
| Qu'est-ce qui en fait une décision ? | Un seuil fixé par l'entreprise, et non par le modèle |
| Mesuré par | AUC pour évaluer la qualité, taux de faux positifs au point de fonctionnement |
| Erreurs courantes | Interpréter un score comme une probabilité, ou comparer les scores entre différents fournisseurs |
De quoi se compose une note ?
Les modèles diffèrent, mais les familles de signaux restent cohérentes : appareil et réseau des attributs tels que l'empreinte numérique, la réputation IP et la détection de proxy ; comportemental des signaux tels que les schémas de navigation, le rythme de frappe et le temps passé sur un formulaire ; vitesse entre les différentes entités : combien d’applications partagent un appareil, combien de cartes partagent une adresse ; identité leurs caractéristiques et leur cohérence interne ; et historique les résultats obtenus dans des affaires similaires.
Le modèle apprend les poids à partir d'un historique étiqueté. C'est précisément cette dépendance vis-à-vis des étiquettes qui est à l'origine de la plupart des problèmes, et ce point sera abordé ci-dessous.
Le seuil est plus important que le modèle
C'est l'aspect que la plupart des analyses sur la notation de la fraude négligent, et c'est pourtant là que se trouve l'argent.
Un modèle génère un classement. Un seuil transforme ce classement en validations, demande les validations et les rejets — et ce seuil relève d’un choix opérationnel portant sur le coût relatif de ces deux types d’erreurs, et non d’une propriété technique du modèle. Le fait de le modifier implique un compromis entre les faux positifs et les faux négatifs le long d’une courbe que le modèle définit, mais sur laquelle il ne choisit pas de point précis.
Deux organisations appliquant le même modèle avec des seuils différents obtiennent des résultats sensiblement différents, et les deux peuvent avoir raison. Un prêteur dont les marges sont faibles et dont le coût par perte liée à la fraude est élevé se situe à un niveau différent de celui d'une place de marché dont le principal risque est de perdre de bons clients en raison de frictions.
Conséquence concrète : Une comparaison entre fournisseurs fondée sur des notes n'a aucun sens. Les scores sont exprimés selon des échelles arbitraires ; ainsi, un score de 700 obtenu selon un système donné n'a aucun rapport avec un score de 700 obtenu selon un autre système. La comparaison doit porter sur la qualité du classement à un point de fonctionnement équivalent — le taux de détection pour un taux de faux positifs identique, ou l'inverse.
Pourquoi est-ce important pour la vérification d'identité ?
Un score de fraude est une inférence concernant une identité. La vérification d'identité, quant à elle, constitue une preuve à ce sujet ; ces deux processus ont des fonctions différentes.
L'inférence est probabiliste et accessible partout, à moindre coût, à chaque transaction. La vérification est coûteuse, plus lente et apporte une réponse à une question que l'inférence ne peut pas résoudre. Un score de 850 indique que ce dossier ressemble à des dossiers qui ont mal tourné ; il ne dit pas qui est le demandeur. Un document vérifié, associé à un visage en direct, le fait, et ne génère aucun classement.
Utilisées conjointement, la répartition est claire : attribuez des points à tout, et laissez le score déterminer où affecter les preuves. C'est la même structure que authentification basée sur le risque et cela s'applique de manière générale pour la même raison : le frottement représente un budget, et le classement permet de le répartir.
Il y a une deuxième contribution qui revêt plus d'importance qu'il n'y paraît. Les attributs d'identité vérifiés comptent parmi les caractéristiques les plus fiables dont peut disposer un modèle de détection de la fraude. Un modèle qui évalue des données déclarées par le demandeur porte un jugement sur les affirmations choisies par ce dernier ; ce même modèle, lorsqu’on lui fournit un nom, une date de naissance et un numéro de document vérifiés, porte un jugement sur des faits. Il permet également la résolution d’entités — c’est-à-dire d’établir un lien entre différentes demandes et la même personne physique —, ce qui correspond précisément aux besoins des fonctionnalités de « velocity » et ce que les données non vérifiées ne peuvent pas prendre en charge.
Ce qu'un score de fraude ne peut pas vous révéler
En général, ce n'est pas une probabilité. À moins qu'un modèle n'ait été explicitement calibré, un score de 900 ne signifie pas qu'il y a 90 % de chances de fraude. Considérer des scores non calibrés comme des probabilités conduit à des calculs de perte attendue qui sont manifestement erronés.
Il apprend à partir d'étiquettes, et ces étiquettes sont incomplètes. Les demandes rejetées ne donnent lieu à aucun résultat ; le modèle ne peut donc jamais savoir si ces rejets étaient justifiés. Les fraudes non détectées sont considérées comme légitimes. Un modèle entraîné de cette manière devient plus performant pour reproduire les décisions passées, ce qui n’est pas la même chose que d’améliorer sa capacité à détecter les fraudes.
Cela reflète le contenu des données. Lorsque des décisions passées présentent une corrélation avec la situation géographique, le coût d'un appareil ou d'autres indicateurs liés à des caractéristiques protégées, un modèle apprend ces corrélations. Le fait de supprimer l'attribut explicite ne supprime pas la corrélation, et un score n'est pas neutre simplement parce qu'il est numérique.
Ça se détériore. Les modes de fraude évoluent et les modèles dérivent. Un modèle qui n'est ni surveillé ni réentraîné se détériore progressivement, tout en continuant à fournir des chiffres qui semblent fiables.
Cela ne s'explique pas tout seul, sans effort. Plusieurs réglementations exigent que les décisions défavorables soient expliquées à la personne concernée. Un simple score ne suffit pas à cette fin, et l'explication doit être fournie de manière délibérée.
Foire aux questions
Un score de fraude plus élevé est-il toujours un mauvais signe ?
Cela dépend des conventions propres à chaque système : certains attribuent un score au risque par ordre croissant, d'autres à la fiabilité ; il faut donc vérifier le sens de classement plutôt que de le supposer. Au sein d'un même système, un risque plus élevé signifie qu'un dossier est classé avant les autres, et non que la fraude est avérée.
Peut-on comparer les scores de fraude fournis par différents fournisseurs ?
Pas en termes de valeur. Les échelles sont arbitraires et sans rapport entre elles ; ainsi, des chiffres identiques ne signifient pas qu’il y ait un point commun. Une comparaison pertinente consiste à fixer un indicateur et à mesurer l’autre : le taux de détection pour un taux de faux positifs identique, ou le taux de faux positifs pour un taux de détection identique.
Quel est un bon seuil pour le score de fraude ?
Ce qui importe, c'est ce qui permet à cette entreprise de trouver le juste équilibre entre le coût d'une perte liée à la fraude et celui lié au rejet d'un client de bonne foi. Il n'existe pas de réponse universelle, et un même seuil peut être adapté à une organisation tout en étant inadapté à une autre, même si celles-ci appliquent un modèle identique.
Pourquoi les modèles de détection de la fraude perdent-ils en efficacité avec le temps ?
Comme la fraude évolue et que la population change, les relations apprises par le modèle finissent par ne plus être valables : c'est ce qu'on appelle la « dérive du modèle ». De plus, les systèmes se réentraînent sur la base de leurs propres décisions, ce qui renforce les schémas existants au lieu de les corriger. Ces deux phénomènes nécessitent une surveillance attentive à la lumière des nouvelles données de résultats.
Lectures complémentaires
- Aire sous la courbe — comment on mesure la qualité du classement d'un modèle
- Taux de faux positifs — le coût lié au niveau auquel le seuil est fixé
- Analyse des fraudes basée sur le comportement — les scores de la famille « Signal » sont les plus faibles
- Authentification basée sur le risque — utiliser un score pour déterminer où appliquer la friction