La ruée vers l'or de l'IA démocratise la fraude

Les récentes discussions autour du nouvel agent de vérification KYC d'Anthropic ont suscité un débat important au sein du secteur : alors que les entreprises spécialisées dans l'IA s'impliquent de plus en plus dans les processus liés à l'identité, à l'intégration des clients et à la confiance, quelle est leur responsabilité vis-à-vis de l'écosystème de la fraude que leurs technologies contribuent simultanément à accélérer ?

Cette question dépasse largement le cadre des activités d’une seule entreprise. Chaque grande vague d’innovation technologique crée de nouvelles opportunités. Elle engendre également de nouvelles surfaces d’attaque.

Les réseaux sociaux ont connecté le monde, mais ils ont également donné lieu à des cas d’usurpation d’identité et d’ingénierie sociale à grande échelle. Les services bancaires mobiles ont transformé l’accès aux services financiers tout en accélérant la fraude par prise de contrôle de compte. Le commerce intégré a rendu les transactions plus fluides, mais a également multiplié les risques de fraude aux paiements, d’abus d’identité synthétique et de vol d’identifiants.

Aujourd'hui, l'IA générative est en train de transformer la fraude à une échelle et à un rythme sans précédent.

Le problème ne réside pas simplement dans le fait que les fraudeurs utilisent l'IA. Le problème plus profond est que l'écosystème de l'IA dans son ensemble contribue, sans le vouloir, à démocratiser les moyens mêmes de la fraude.

Des outils initialement conçus pour améliorer la productivité, la créativité, l’automatisation et l’accessibilité facilitent désormais considérablement la mise en œuvre de fraudes sophistiquées, tout en les rendant moins coûteuses et plus évolutives. Les modèles de clonage vocal permettent d’usurper l’identité d’une personne de manière convaincante en quelques minutes. Les systèmes de génération d’images accessibles au grand public permettent de créer des documents synthétiques et des identifiants falsifiés. Les technologies d’échange de visages, autrefois cantonnées aux laboratoires de recherche, sont désormais largement accessibles via des applications grand public et des outils open source.

La fraude devient une technologie grand public

Autrefois, les opérations de fraude sophistiquées nécessitaient une coordination, des connaissances techniques et des ressources considérables. Aujourd'hui, bon nombre de ces obstacles ont disparu.

Un fraudeur n'a plus besoin de falsifier manuellement des documents d'identité ni de créer des outils d'usurpation d'identité sur mesure. Il peut exploiter les mêmes systèmes d'IA accessibles au public que ceux utilisés dans les applications grand public et d'entreprise courantes.

C'est l'une des réalités les plus importantes que les organisations continuent de sous-estimer. L'IA ne se contente pas de créer de nouvelles formes de fraude. Elle industrialise la création même de la fraude.

Les mêmes technologies qui sous-tendent les flux de travail créatifs, les médias synthétiques et les assistants IA permettent également la création d'identités synthétiques, l'usurpation d'identité par « deepfake », les escroqueries par clonage vocal, etc. 

À bien des égards, la fraude suit la même évolution que le développement logiciel lui-même. Ce qui exigeait autrefois une spécialisation technique approfondie est en train de devenir abstrait, automatisé et accessible via des interfaces et des API simples.

Le secteur fournit involontairement aux fraudeurs un véritable guide pratique

Dans le même temps, le secteur de la prévention de la fraude est confronté à une autre réalité dérangeante : la volonté de mettre en avant l'innovation peut, sans le vouloir, exposer les stratégies de détection aux attaquants.

Les organisations souhaitent, à juste titre, mettre en avant leurs progrès technologiques. Les entreprises spécialisées dans l’IA annoncent de nouvelles fonctionnalités de vérification. Les fournisseurs publient des exemples de systèmes de détection de la fraude. Des modèles sont rendus publics, accompagnés de démonstrations techniques et de workflows. Les assistants IA simplifient également l’accès à des informations autrefois réservées aux fraudeurs et aux chercheurs en sécurité. Cela conduit à une immense démocratisation de ce type d’informations, et des recherches qui prenaient auparavant plusieurs jours, voire plusieurs semaines, ne prennent désormais plus que quelques heures. 

Cela crée une dangereuse asymétrie. Les systèmes de défense fonctionnent souvent de manière transparente, dans un souci de confiance et de crédibilité, tandis que les attaquants procèdent à des itérations en toute discrétion et s'adaptent rapidement.

Il en résulte un environnement dans lequel la fraude ne cesse d'évoluer, tandis que de nombreux systèmes de défense restent figés.

La lutte contre la fraude doit devenir multicouche et adaptative

Il n'existe aucun modèle, fournisseur ou système capable à lui seul de lutter contre la fraude. La lutte moderne contre la fraude nécessite de plus en plus des systèmes à plusieurs niveaux, capables d'évaluer en continu de multiples signaux issus des documents, des données biométriques, des appareils, des comportements, du contexte des transactions et de l'intégrité des sessions.

Plus important encore, ces systèmes doivent évoluer en permanence, car les attaques sous-jacentes évoluent elles aussi sans cesse.

C'est l'une des raisons pour lesquelles les tests comparatifs et les évaluations indépendantes prennent de plus en plus d'importance dans le secteur de la gestion des identités et de la lutte contre la fraude. Les organisations ont besoin de visibilité non seulement sur ce que les systèmes détectent efficacement aujourd'hui, mais aussi sur ce qu'ils pourraient ne pas détecter demain. Les modèles tels que la nouvelle fonctionnalité d'Anthropic constituent une « boîte noire ». Nous ne savons pas exactement quels vecteurs de fraude ont été testés, quelles méthodologies d’attaque restent hors champ, comment les performances ont été évaluées, ni dans quelle mesure ces systèmes resteront résilients à mesure que l’IA adversaire continue d’évoluer. 

La protection de la vie privée est plus importante que jamais à l'ère de l'IA

Alors que les entreprises se précipitent pour adopter des systèmes de lutte contre la fraude et de gestion des identités basés sur l'IA, une autre question cruciale se pose : où finissent réellement les données d'identité sensibles ? C'est un problème qui se pose avec le nouvel agent KYC d'Anthropic. 

Les documents d'identité, les données biométriques et les identifiants personnels comptent parmi les informations les plus sensibles dont disposent les consommateurs. Pourtant, votre organisation se sentirait-elle à l'aise à l'idée d'envoyer ces données vers des environnements cloud tiers ou vers une infrastructure d'IA généralisée, alors que la transparence est limitée en matière de conservation, de gouvernance ou d'utilisation en aval ?

Cela soulève d’énormes enjeux à long terme en matière de protection de la vie privée et de sécurité. Les organisations devront de plus en plus trouver un équilibre entre l’innovation en matière d’IA et les préoccupations croissantes concernant la souveraineté, la gouvernance et la confiance à long terme.

L'avenir de la fraude, c'est la fraude en continu

Tout cela témoigne d'une évolution plus générale actuellement en cours : la fraude n'est plus un phénomène statique, isolé ou prévisible. Elle est adaptative. Automatisée. Assistée par l'IA. En constante évolution. Cela signifie que la lutte contre la fraude doit évoluer de la même manière.

Les organisations qui réussiront dans cette nouvelle ère ne seront pas simplement celles qui déploieront les modèles d'IA les plus puissants ou les stratégies d'automatisation les plus ambitieuses. Ce seront celles qui seront capables de mettre en place des systèmes de confiance à plusieurs niveaux, explicables et évalués en permanence.

Car à l’ère de l’IA générative, la confiance ne peut plus reposer sur l’opacité, des suppositions ou une vérification ponctuelle. Elle doit être constamment méritée, constamment mise à l’épreuve et constamment défendue.