Índice de falsos positivos

A taxa de falsos positivos — mais comumente chamada de índice de falsos positivos — é a proporção de casos legítimos que um controle sinaliza erroneamente como suspeitos. Nas operações de combate à fraude e de conformidade, esse é o número que determina o custo real do controle, pois, em quase todos os sistemas reais, a população sinalizada é composta, em sua grande maioria, por pessoas que não cometeram nenhuma infração.

É calculado como o número de falsos positivos dividido pelo total de casos verdadeiramente negativos: de todas as pessoas que eram legítimas, qual foi a proporção que marcamos como suspeitas?

Também conhecido como Taxa de falsos positivos, taxa de falsos alarmes, taxa de exclusão
Fórmula Falsos positivos ÷ (falsos positivos + verdadeiros negativos)
Complemento Especificidade — a proporção de casos legítimos corretamente aprovados
Típico na análise de sanções Frequentemente, mais de 90% dos alertas gerados
Custo direto Analisar a mão de obra, atrasos na integração de novos funcionários, clientes abandonados
Definido por O limiar de decisão — e não o modelo

Duas taxas que costumam ser confundidas

É uma distinção que vale a pena esclarecer com precisão, pois os dois termos costumam ser usados de forma intercambiável e apresentam diferenças enormes quando a fraude é rara.

  • Taxa de falsos positivos pergunta: de todos os casos válidos, qual foi a proporção que identificamos? Esse valor é calculado com base na população válida.
  • Taxa de descobertas falsas pergunta: de todos os casos que sinalizamos, qual foi a porcentagem de casos legítimos? Esse cálculo é feito com base nos alertas.

Quando alguém diz “nossa taxa de falsos positivos é de 95%”, quase sempre se refere à segunda. A diferença entre elas é a taxa de base, e é daí que vem a maior parte das interpretações equivocadas das estatísticas de fraude.

Analise os números. Com 1.000.000 de transações e uma taxa de fraude de 0,1%, um mecanismo de controle que detecte 80% das fraudes com uma taxa de falsos positivos de 1% sinaliza 800 fraudes reais e 9.990 transações legítimas. A taxa de falsos positivos é de 1% — o que parece excelente — e 92,6% dos alertas são errados. Ambos os números estão corretos e descrevem realidades operacionais muito diferentes.

É por isso que uma taxa de falsos positivos impressionantemente baixa ainda pode resultar em uma fila de revisão inviável, e por que a qualidade de um controle não pode ser avaliada apenas com base nesse número quando o que está sendo detectado é raro.

O dilema que não tem solução

Cada limite faz com que os falsos positivos e os falsos negativos se desloquem em direções opostas. Ao tornar o limite mais restritivo para detectar mais fraudes, mais clientes legítimos acabam sendo afetados; ao torná-lo mais flexível para reduzir o atrito, mais fraudes passam despercebidas. O modelo determina a forma dessa curva; o limite escolhe um ponto nessa curva. Nenhuma configuração escapa a essa relação de compensação.

Os custos da transação são assimétricos, e essa assimetria costuma ser mal avaliada:

Falso positivo Falso negativo
O que aconteceu Foi sinalizado um caso legítimo Um caso de fraude foi julgado
Quem arca com isso O cliente e a equipe de revisão A empresa ou a vítima
Visibilidade Imediato — tamanho da fila, reclamações Atrasados, muitas vezes sem indicação de autoria
Como é medido Bem… isso gera trabalho Mal — a fraude não detectada não é identificada
Viés típico Recebeu maior peso porque é visível Subponderado porque não é

A última linha é a mais importante. Os falsos positivos se revelam; os falsos negativos, na maioria das vezes, não. Por isso, as organizações se concentram em corrigir o erro que conseguem identificar, que não é necessariamente o que causa mais prejuízo.

Por que isso é importante para a verificação de identidade

A abordagem que torna isso viável: Um falso positivo é, geralmente, um caso em que o sistema não dispunha de informações suficientes para resolver. Não foi um caso em que se cometeu um erro — foi um caso que não foi possível decidir e que foi encaminhado por falta de decisão.

Isso reformula o problema. Ajustar o limiar transfere casos entre filas sem acrescentar informações; portanto, cada ganho em um erro é compensado por uma perda no outro. Adicionar um atributo discriminatório desloca a própria curva, e essa é a única mudança que melhora ambos ao mesmo tempo.

Os dados de identidade são o exemplo mais claro. A verificação de sanções Um alerta sobre um nome em comum com uma pessoa identificada não pode ser resolvido apenas com base no nome e é encerrado imediatamente após a verificação da data de nascimento. Um pedido sinalizado por “velocidade” porque vários envios compartilham um mesmo dispositivo é uma questão diferente, uma vez que os requerentes sejam verificados como pessoas reais distintas. Em ambos os casos, o alerta desaparece não porque o limite tenha mudado, mas porque a ambiguidade que o gerou foi eliminada.

Há uma questão de equidade que vale a pena destacar. Os falsos positivos não estão distribuídos uniformemente. Pessoas com poucos registros de crédito, os recém-chegados, aqueles que mudaram de endereço ou de nome e os usuários de aparelhos mais antigos apresentam um desvio maior em relação ao que o modelo considera normal. O ajuste com base em uma taxa agregada oculta isso, e a média pode melhorar enquanto a situação de um grupo específico se agrava.

O que a taxa de falsos positivos não revela

Por si só, isso não significa nada. Se for citada sem a taxa de detecção, essa informação não tem sentido — um controle que não sinaliza nada apresenta uma taxa de falsos positivos perfeita. Os dois dados devem ser interpretados em conjunto, em um ponto de operação especificado.

Isso não reflete o custo. Um pedido sinalizado que é resolvido em dez segundos e outro que leva três dias apresentam a mesma perda no número de clientes em termos de taxa, mas nenhuma perda em termos de consequências.

Isso oculta a distribuição. Uma taxa agregada representa a média de uma população na qual alguns grupos são identificados com muito mais frequência do que outros.

Isso não pode ser comparado entre sistemas com taxas básicas diferentes. A aplicação do mesmo critério a populações com diferentes índices de prevalência de fraudes resulta em composições de alertas diferentes; é por isso que a comparação entre organizações desses números geralmente não representa uma comparação válida.

Perguntas frequentes

Qual é a diferença entre taxa de falsos positivos e taxa de descobertas falsas?

A taxa de falsos positivos é a proporção de casos legítimos que foram sinalizados, calculada em relação à população legítima. A taxa de falsos positivos é a proporção de alertas que se revelaram legítimos, calculada em relação ao total de alertas. Quando a fraude é rara, essas taxas divergem drasticamente — uma taxa de falsos positivos de 1% ainda pode significar que mais de 90% dos alertas estão errados.

Qual é uma boa taxa de falsos positivos?

Não existe um valor universal, pois ele não tem sentido sem a taxa de detecção com que foi alcançado e o custo de cada erro para aquela empresa. A questão relevante não é qual taxa se deve buscar, mas quanto custam, respectivamente, um falso positivo e um falso negativo, já que esses dois números determinam onde deve ser estabelecido o limite.

Por que as taxas de falsos positivos na triagem de sanções são tão altas?

Porque a correspondência precisa ser flexível para lidar com transliteração e variações de nomes, porque os limites são deliberadamente conservadores devido à responsabilidade objetiva e porque as entradas da lista muitas vezes contêm dados insuficientes para permitir uma distinção. O resultado é um grande volume de alertas, sendo que a grande maioria se trata de colisões de nomes, e não de correspondências.

Como reduzir os falsos positivos sem deixar passar mais casos de fraude?

Adicionando informações, em vez de alterar o limite. As alterações no limite trocam um erro por outro ao longo de uma curva fixa; um novo atributo discriminatório — uma data de nascimento verificada, um número de documento confirmado — altera a curva, o que é a única maneira de melhorar ambos ao mesmo tempo.

Leitura relacionada

Descubra nossas soluções

Para explorar nossas soluções, você está a apenas um clique de distância. Experimente nossos produtos ou converse com um de nossos especialistas para se aprofundar no que oferecemos.

Relatório
Analisando o aumento das fraudes de identidade impulsionadas pela IA

A IA não se limitou a tornar a fraude mais rápida. Ela a transformou em um sistema. Analisamos milhões de interações relacionadas à identidade para mapear como os ataques de identidade estão evoluindo em diferentes regiões, tipos de ataque e níveis de sofisticação — e o que as organizações precisam repensar para acompanhar essa evolução.

Veja os dados