Desenvolvendo o BlinkID Capture: experiência do usuário ainda melhor e extração de dados

Na Microblink, temos orgulho de nos considerarmos especialistas em IA e documentos de identidade. E, ainda assim, estamos sempre nos empenhando para melhorar — tanto para nossos clientes parceiros quanto para os usuários finais que interagem com nossos produtos. Logo após o lançamento empolgante do BlinkID, conversamos com Luka Slibar, nosso gerente de produto do BlinkID, e Daniel Balchev, engenheiro sênior de aprendizado de máquina, sobre como pensamos em resolver desafios únicos de identidade digital e sobre a captura de imagens que impulsiona nosso pacote BlinkID. As conversas a seguir foram editadas e resumidas para maior clareza.

Superando os desafios da identidade digital com Luka Šlibar

Trabalho na Microblink em diversas funções desde 2014. Embora meu foco inicial fosse o desenvolvimento de negócios, acabei assumindo uma função de gerenciamento de produto para nossas iniciativas de IA, até assumir o cargo de líder de produto dos módulos de captura e extração do BlinkID.

Ao longo dos anos, a Microblink processou mais de 12 bilhões de documentos de identidade diversos e, nesse período, desenvolvemos uma perspectiva única sobre as nuances e os desafios que esses documentos apresentam. Os documentos de identidade variam de acordo com a região e a pessoa, e mudam regularmente de formato e layout. Seja para abrir uma conta ou transferir dinheiro, a maioria das experiências digitais modernas que hoje consideramos naturais depende da digitalização e autenticação bem-sucedidas desses diversos documentos. É aí que entra o BlinkID. 

Quando se trata de resolver os desafios dos nossos clientes e elevar o padrão da identidade digital, dividimos o processo em três etapas principais: captura, extração e verificação.

A captura excepcional de documentos é fundamental para o sucesso da verificação em etapas posteriores. Quaisquer que sejam as necessidades específicas da empresa, não há como realizar uma verificação precisa e confiável de documentos de identidade sem uma captura e extração de imagens de alta qualidade. Em outras palavras, a capacidade de verificar se um documento é válido ou sinalizá-lo como potencialmente fraudulento depende da qualidade dos dados extraídos, que, por sua vez, depende da qualidade da captura inicial. Se a experiência de captura for desajeitada, confusa ou propensa a erros, é provável que os usuários simplesmente desistam de usá-la. 

Tradicionalmente, a Microblink é conhecida por desenvolver e fornecer SDKs e APIs para automatizar as duas primeiras etapas do processo com velocidade e precisão líderes do setor. O processamento no próprio dispositivo do BlinkID oferece uma experiência de usuário superior com feedback em tempo real (por exemplo, “mantenha o documento imóvel” ou “recue”), segurança de dados e a capacidade de atender a casos de uso mesmo sem uma conexão estável à internet.

Apesar de todos os avanços no poder de processamento dos celulares, no entanto, esse poder continua sendo inferior ao de um servidor completo. Além disso, em muitos setores altamente regulamentados, como o bancário e de serviços financeiros — aos quais nossa tecnologia atende —, as imagens capturadas são enviadas a um servidor de qualquer maneira para processamento posterior. 

Embora tenhamos atendido às diversas necessidades de nossos clientes com opções flexíveis de integração e ampla cobertura de plataformas, também identificamos uma oportunidade de aprimorar a abordagem existente, começando pela captura de imagens. 

A experiência da Microblink no desenvolvimento de produtos altamente otimizados para dispositivos nos colocou em uma posição única para resolver esse desafio. Como equipe, sabemos como desenvolver modelos de aprendizado de máquina (ML) leves e proporcionar uma experiência de captura de imagens intuitiva, sem aumentar desnecessariamente o tamanho do SDK. Isso também tornou o projeto muito atraente para nossas equipes multifuncionais trabalharem nele. 

Nosso Capture SDK, recém-lançado, integra-se aos aplicativos móveis dos clientes para proporcionar a fantástica experiência de captura de dados do usuário pela qual nosso principal produto, o BlinkID, é conhecido, sem aumentar significativamente o tamanho total do aplicativo. Ele também permite um processamento e uma extração de imagens mais avançados no lado do servidor, o que é essencial para nossa visão de longo prazo de oferecer a melhor solução global de verificação de documentos de identidade do mercado.

Promovendo uma captura de imagens ainda mais inteligente, impulsionada por aprendizado de máquina, com Daniel Balchev

Entrei para a Microblink no final de 2022 como um dos três primeiros funcionários em Sófia, na Bulgária, e estou animado para lançar o primeiro produto no qual trabalhei com a equipe! Com nosso vasto acervo de modelos de ML já existentes e uma enorme quantidade de dados internos para treinar novos modelos, conseguimos lançar este SDK em apenas 5 meses.

É preciso o esforço de muitos para criar um produto como este, e chegar até aqui foi resultado de uma estreita colaboração com vários engenheiros de aprendizado de máquina, engenheiros de software multiplataforma, designers de produto e nossos gerentes de produto. Também conversamos com nossos clientes e colegas que lidam diretamente com eles para incorporar seus comentários e garantir que estamos criando o produto certo. O lançamento do SDK de captura de imagens traz diversos recursos, incluindo:

• Detecção automática de documentos: Nosso SDK é capaz de detectar quando o documento está visível e onde ele se encontra exatamente, o que nos permite determinar quando o usuário está segurando o documento muito perto ou muito longe da câmera, ou em um ângulo inadequado, fornecendo instruções para orientar o usuário a realizar uma digitalização de melhor qualidade. 

• Classificação do tipo de documento: Nosso novo SDK classifica os documentos em várias categorias que nos ajudam a determinar a proporção esperada e se os documentos são de uma ou duas faces. Isso é particularmente interessante porque nos permite personalizar a experiência do usuário e o fluxo de digitalização com base no documento específico. Em outras palavras, se o usuário apresentar um documento de identidade, saberemos que precisamos solicitar a frente e o verso, ao contrário do que ocorre com um passaporte, em que basta a frente. 

• Detecção de imagem desfocada: detecta se o documento está desfocado e aguarda até que o usuário consiga uma foto melhor e mais estável.
• Detecção de reflexo: Se houver um reflexo cobrindo o documento, nós o identificaremos e orientaremos o usuário a mover o documento para que ele não apareça.
• Detecção de inclinação: identifica a posição do documento na imagem ou no enquadramento da câmera e nos permite avaliar se o documento está inclinado ou não. Embora possamos lidar com documentos inclinados em etapas posteriores do processamento, a transformação dessas imagens resulta inevitavelmente em alguma distorção da imagem transformada, o que muitas vezes é indesejável ao verificar se uma imagem foi adulterada. Não há como corrigir isso após a captura; portanto, a única solução é fornecer instruções em tempo real ao usuário final sobre como posicionar corretamente o documento para eliminar a inclinação e garantir a melhor captura de imagem possível. 
• Oclusão pela mão: Este SDK reutiliza os modelos de detecção de mãos do nosso modelo de verificação para detectar se a mão do usuário está cobrindo uma parte significativa do documento. (O que é considerado “significativo” pode ser configurado nas opções pelo cliente.) Isso garante que não capturemos imagens nas quais, por exemplo, um dedo esteja cobrindo uma parte importante do documento.

• Estimativa de nitidez: Capturamos vários quadros do documento de identidade a partir do fluxo de vídeo, filtrando-os para selecionar aquele com a melhor nitidez, visando um processamento posterior mais preciso.
• Estimativa das condições de iluminação: Podemos detectar se o usuário está fazendo a digitalização em um ambiente escuro ou se há luz em excesso e orientá-lo a fazer os ajustes necessários para obter uma imagem de melhor qualidade.

O resultado é um feedback mais proativo e detalhado para o usuário, que utiliza aprendizado de máquina para verificar a qualidade da imagem e garantir a melhor digitalização possível logo na primeira tentativa, reduzindo a probabilidade de os usuários precisarem repetir o processo e resultando em uma melhor extração. 

Além da experiência de captura e da qualidade de imagem superiores que oferece, nosso SDK de captura independente não se limita a uma lista de documentos compatíveis; por isso, foi projetado para funcionar com todos os cartões de identificação, carteiras de habilitação e passaportes de tamanho padrão — hoje e no futuro. Se uma nova versão do documento for lançada, os clientes não precisam sobrecarregar seus usuários com uma atualização, mas podem simplesmente atualizar o back-end para a extração.

Agradecemos ao Luka e ao Daniel por terem conversado conosco!