Índice de falsos positivos
A taxa de falsos positivos — mais comumente chamada de índice de falsos positivos — é a proporção de casos legítimos que um controle sinaliza erroneamente como suspeitos. Nas operações de combate à fraude e de conformidade, esse é o número que determina o custo real do controle, pois, em quase todos os sistemas reais, a população sinalizada é composta, em sua grande maioria, por pessoas que não cometeram nenhuma infração.
É calculado como o número de falsos positivos dividido pelo total de casos verdadeiramente negativos: de todas as pessoas que eram legítimas, qual foi a proporção que marcamos como suspeitas?
| Também conhecido como | Taxa de falsos positivos, taxa de falsos alarmes, taxa de exclusão |
| Fórmula | Falsos positivos ÷ (falsos positivos + verdadeiros negativos) |
| Complemento | Especificidade — a proporção de casos legítimos corretamente aprovados |
| Típico na análise de sanções | Frequentemente, mais de 90% dos alertas gerados |
| Custo direto | Analisar a mão de obra, atrasos na integração de novos funcionários, clientes abandonados |
| Definido por | O limiar de decisão — e não o modelo |
Duas taxas que costumam ser confundidas
É uma distinção que vale a pena esclarecer com precisão, pois os dois termos costumam ser usados de forma intercambiável e apresentam diferenças enormes quando a fraude é rara.
- Taxa de falsos positivos pergunta: de todos os casos válidos, qual foi a proporção que identificamos? Esse valor é calculado com base na população válida.
- Taxa de descobertas falsas pergunta: de todos os casos que sinalizamos, qual foi a porcentagem de casos legítimos? Esse cálculo é feito com base nos alertas.
Quando alguém diz “nossa taxa de falsos positivos é de 95%”, quase sempre se refere à segunda. A diferença entre elas é a taxa de base, e é daí que vem a maior parte das interpretações equivocadas das estatísticas de fraude.
Analise os números. Com 1.000.000 de transações e uma taxa de fraude de 0,1%, um mecanismo de controle que detecte 80% das fraudes com uma taxa de falsos positivos de 1% sinaliza 800 fraudes reais e 9.990 transações legítimas. A taxa de falsos positivos é de 1% — o que parece excelente — e 92,6% dos alertas são errados. Ambos os números estão corretos e descrevem realidades operacionais muito diferentes.
É por isso que uma taxa de falsos positivos impressionantemente baixa ainda pode resultar em uma fila de revisão inviável, e por que a qualidade de um controle não pode ser avaliada apenas com base nesse número quando o que está sendo detectado é raro.
O dilema que não tem solução
Cada limite faz com que os falsos positivos e os falsos negativos se desloquem em direções opostas. Ao tornar o limite mais restritivo para detectar mais fraudes, mais clientes legítimos acabam sendo afetados; ao torná-lo mais flexível para reduzir o atrito, mais fraudes passam despercebidas. O modelo determina a forma dessa curva; o limite escolhe um ponto nessa curva. Nenhuma configuração escapa a essa relação de compensação.
Os custos da transação são assimétricos, e essa assimetria costuma ser mal avaliada:
| Falso positivo | Falso negativo | |
|---|---|---|
| O que aconteceu | Foi sinalizado um caso legítimo | Um caso de fraude foi julgado |
| Quem arca com isso | O cliente e a equipe de revisão | A empresa ou a vítima |
| Visibilidade | Imediato — tamanho da fila, reclamações | Atrasados, muitas vezes sem indicação de autoria |
| Como é medido | Bem… isso gera trabalho | Mal — a fraude não detectada não é identificada |
| Viés típico | Recebeu maior peso porque é visível | Subponderado porque não é |
A última linha é a mais importante. Os falsos positivos se revelam; os falsos negativos, na maioria das vezes, não. Por isso, as organizações se concentram em corrigir o erro que conseguem identificar, que não é necessariamente o que causa mais prejuízo.
Por que isso é importante para a verificação de identidade
A abordagem que torna isso viável: Um falso positivo é, geralmente, um caso em que o sistema não dispunha de informações suficientes para resolver. Não foi um caso em que se cometeu um erro — foi um caso que não foi possível decidir e que foi encaminhado por falta de decisão.
Isso reformula o problema. Ajustar o limiar transfere casos entre filas sem acrescentar informações; portanto, cada ganho em um erro é compensado por uma perda no outro. Adicionar um atributo discriminatório desloca a própria curva, e essa é a única mudança que melhora ambos ao mesmo tempo.
Os dados de identidade são o exemplo mais claro. A verificação de sanções Um alerta sobre um nome em comum com uma pessoa identificada não pode ser resolvido apenas com base no nome e é encerrado imediatamente após a verificação da data de nascimento. Um pedido sinalizado por “velocidade” porque vários envios compartilham um mesmo dispositivo é uma questão diferente, uma vez que os requerentes sejam verificados como pessoas reais distintas. Em ambos os casos, o alerta desaparece não porque o limite tenha mudado, mas porque a ambiguidade que o gerou foi eliminada.
Há uma questão de equidade que vale a pena destacar. Os falsos positivos não estão distribuídos uniformemente. Pessoas com poucos registros de crédito, os recém-chegados, aqueles que mudaram de endereço ou de nome e os usuários de aparelhos mais antigos apresentam um desvio maior em relação ao que o modelo considera normal. O ajuste com base em uma taxa agregada oculta isso, e a média pode melhorar enquanto a situação de um grupo específico se agrava.
O que a taxa de falsos positivos não revela
Por si só, isso não significa nada. Se for citada sem a taxa de detecção, essa informação não tem sentido — um controle que não sinaliza nada apresenta uma taxa de falsos positivos perfeita. Os dois dados devem ser interpretados em conjunto, em um ponto de operação especificado.
Isso não reflete o custo. Um pedido sinalizado que é resolvido em dez segundos e outro que leva três dias apresentam a mesma perda no número de clientes em termos de taxa, mas nenhuma perda em termos de consequências.
Isso oculta a distribuição. Uma taxa agregada representa a média de uma população na qual alguns grupos são identificados com muito mais frequência do que outros.
Isso não pode ser comparado entre sistemas com taxas básicas diferentes. A aplicação do mesmo critério a populações com diferentes índices de prevalência de fraudes resulta em composições de alertas diferentes; é por isso que a comparação entre organizações desses números geralmente não representa uma comparação válida.
Perguntas frequentes
Qual é a diferença entre taxa de falsos positivos e taxa de descobertas falsas?
A taxa de falsos positivos é a proporção de casos legítimos que foram sinalizados, calculada em relação à população legítima. A taxa de falsos positivos é a proporção de alertas que se revelaram legítimos, calculada em relação ao total de alertas. Quando a fraude é rara, essas taxas divergem drasticamente — uma taxa de falsos positivos de 1% ainda pode significar que mais de 90% dos alertas estão errados.
Qual é uma boa taxa de falsos positivos?
Não existe um valor universal, pois ele não tem sentido sem a taxa de detecção com que foi alcançado e o custo de cada erro para aquela empresa. A questão relevante não é qual taxa se deve buscar, mas quanto custam, respectivamente, um falso positivo e um falso negativo, já que esses dois números determinam onde deve ser estabelecido o limite.
Por que as taxas de falsos positivos na triagem de sanções são tão altas?
Porque a correspondência precisa ser flexível para lidar com transliteração e variações de nomes, porque os limites são deliberadamente conservadores devido à responsabilidade objetiva e porque as entradas da lista muitas vezes contêm dados insuficientes para permitir uma distinção. O resultado é um grande volume de alertas, sendo que a grande maioria se trata de colisões de nomes, e não de correspondências.
Como reduzir os falsos positivos sem deixar passar mais casos de fraude?
Adicionando informações, em vez de alterar o limite. As alterações no limite trocam um erro por outro ao longo de uma curva fixa; um novo atributo discriminatório — uma data de nascimento verificada, um número de documento confirmado — altera a curva, o que é a única maneira de melhorar ambos ao mesmo tempo.
Leitura relacionada
- Área sob a curva — a visão independente do limiar desse mesmo compromisso
- Índice de fraude — a que se aplica o limite
- Verificação de sanções — o grupo de controle em que os falsos positivos predominam mais
- Monitoramento de transações — o outro grande gerador de volume de alertas