Recolha de dados sobre produtos e preços através da digitalização de recibos de supermercado com OCR e machine learning

Recolha de dados sobre produtos e preços através da digitalização de recibos de supermercado com OCR e machine learning

A recolha de dados sobre produtos e preços a partir de receitas de supermercados pode ser um grande desafio. A recolha de dados precisos de um grande volume de recibos requer tempo, precisão e, claro, depende também da vontade de muitos compradores de enviar os seus recibos. Uma vez que os dados são recolhidos, geralmente é necessário uma equipa inteira de colaboradores para processar os recibos em dados utilizáveis. Infelizmente, por muito que se instrua os funcionários, faltar-lhes-á sempre a precisão e a fiabilidade de um computador. Como diz o ditado, errar é humano. Mas para além da precisão e do custo de processamento, o tempo de entrega também é igualmente importante. Em ambos estes aspectos, os computadores tendem a superar os humanos. Portanto, a questão é: como obter software para fazer todo este processamento de recibos por si? A Klippa tem uma solução inteligente para lhe oferecer.

Vá para:

O que é a digitalização de recibos de supermercado e qual é o seu objectivo?

A digitalização de recibos de supermercado é o processo de leitura de recibos com OCR, identificando todos os campos de dados relevantes e convertendo o texto num formato de dados estruturado utilizável. Com a Klippa API, a parte principal deste processo é completamente automatizada. Pode utilizar estes dados para conduzir pesquisas de produtos, ativar melhorias de produtos, analisar o comportamento dos consumidores, pesquisar estratégias de preços, criar campanhas de marketing, e muito mais.

Como funciona o OCR nas receitas dos supermercados?

Os clientes enviam uma foto para a API e os dados estruturados são lançados, mas o que acontece a meio do processo? A API é como se fosse um empregado de mesa, tira notas do seu pedido, dirige-se à cozinha onde a sua comida é confeccionada, e depois de confeccionada a comida o empregado retorna à sua mesa com o seu pedido. Aqui está uma visão simplificada dos passos que a API executa:

  1. O cliente envia uma fotografia de um recibo com um simples clique de um botão.
  2. A API recolhe a imagem e digitaliza-a. 
  3. A imagem é corrigida por uma IA usando a detecção de desfocagem e brilho de forma a ser mais perceptível.
  4. Utilizando o software de reconhecimento óptico de caracteres (OCR), o texto é lido e extraído para um documento TXT. 
  5. Através do processo machine learning, são identificados pontos e categorias de dados importantes e estes dados são depois convertidos em JSON.
  6. A API fornece os dados JSON dentro de poucos segundos.

Então, quem é o cozinheiro na cozinha a preparar a sua refeição? Neste caso, o cozinheiro é uma IA (Inteligência Artificial), formada com inúmeros exemplos de recibos, bilhetes, facturas e outro tipo de documentos. A IA determina o que constitui um campo de dados, por exemplo, se um campo de dados é uma linha de produto, preço, endereço comercial ou outra coisa qualquer. Com o tempo, a IA transformou-se num chef muito competente, uma vez que quase aperfeiçoou a sua capacidade de detectar automaticamente dados específicos. O processo de machine learning  permitiu que o motor fosse tão preciso como >95% com capacidade de processar grandes volumes. A IA não falha e produzirá automaticamente os seus dados JSON em segundos. Isto permite que o API sirva um prato perfeito.

Quais são os dados que podem ser extraídos dos recibos?

Basicamente, qualquer dado que conste num recibo é extraível e adaptável às suas necessidades. O que se segue dar-lhe-á uma visão geral de exemplos de dados, que podem ser todos combinados para formar um conjunto de dados completo para fins de investigação.

Dados sobre os produtos

Os produtos nos recibos não consistem apenas no nome do produto que está no recibo. Pode ter qualquer tipo de informação contextual, como descrições, marcas, ingredientes, ou mesmo o país de origem. Estas descrições de linha são geralmente acompanhadas por pontos de dados como quantidade ou preço.

Classificação dos produtos

Os produtos podem ser divididos em categorias, tais como alimentos e bebidas (vegetais, snacks, produtos lácteos, refrigerantes, bebidas), mas também electrónica, limpeza, cuidados pessoais, vestuário, entre outros. Mediante uma encomenda personalizada, estas classificações podem também ser feitas em termos de valores nutricionais ou  contendo ingredientes específicos.

Localização e dados do comerciante

O nome, endereço, website e outros detalhes de contacto do comerciante são extractáveis do recibo, o que lhe permite ter uma ideia geral da localização e da marca das lojas que estão no recibo.

Dados do preço

O preço do produto, o tamanho total do cesto, os montantes e as percentagens do IVA, e a moeda fazem todos parte do conjunto de dados que podem ser extraídos de um recibo. Todos os dados relacionados com os preços são substanciais para fins de investigação.

Detecção de diferentes tipos de fraude

Infelizmente, existem muitos casos de fraude na digitalização de recibos de supermercados, especialmente quando envolvem remunerações. Os fraudadores podem ser muito criativos quando se trata de manipular recibos. Felizmente, a API da Klippa é capaz de detectar tais casos de fraude. A detecção de fraudes é personalizada a pedido, eis os três exemplos do tipo de fraude que a Klippa pode detectar:

Detectar recibos duplicados

A API é capaz de determinar se um recibo já foi introduzido anteriormente. Os fraudadores podem tentar enganar o sistema solicitando várias remunerações com um único recibo (por exemplo, cruzar várias contas). E claro, também é possível introduzir o recibo acidentalmente. O sistema é capaz de detectar tal entrada por imagem ou hashing de dados, identificando a sobreposição de informação entre diferentes entradas.

Manipulações do Photoshop

Hoje em dia, não é muito difícil manipular uma fotografia com programas como o Adobe Photoshop. Isto facilita aos fraudadores a tentativa de substituir os itens da linha ou alterar o preço, data ou hora da compra. A API da Klippa é capaz de detectar estruturas pixelizadas inconsistentes e reconhecerá uma imagem alterada.

Recibos falsos

É possível para alguém com más intenções criar um recibo falso a partir do zero ou com base num recibo existente. Independentemente da qualidade da manipulação dos pixels, a API é capaz de cruzar informações sobre um recibo, tais como endereços, números da câmara de comércio, números de telefone e muito mais. Qualquer erro pode ser identificado.

O que se pode fazer com a leitura de recibos de supermercado?

Assim que os dados são lançados, há inúmeras possibilidades de aplicar os dados às suas necessidades. Seguem-se alguns exemplos de diferentes casos:

Scanner de recibos para análise de cestos de supermercados

A fim de compreender o comportamento do seu cliente, uma das suas tarefas será realizar uma análise de cestas de compras (MBA). Para reunir todos os dados do produto de que necessita para uma análise exacta, deverá criar uma campanha a fim de incentivar os clientes a fornecer-lhe informações demográficas e a fazer o upload de uma fotografia dos recibos de supermercado. Estas fotografias precisam de ser convertidas em dados exactos, tais como tipos de produtos, marcas, ou qualquer outra qualidade de produto. Digite Klippa. Cada fotografia que um cliente carrega será automaticamente digitalizada e transformada em texto segmentado. Este TXT será então processado num formato estruturado (JSON), o que lhe dá a oportunidade de realizar uma análise de afinidade eficaz. Poderá descobrir padrões no comportamento de compra, tais como quais os produtos que são mais frequentemente comprados. Um distribuidor de grande dimensão poderá então executar promoções e campanhas de marketing para aumentar as vendas.

Scanner de recibos de supermercados para análise de preços geográficos

Para determinar a estratégia de preços do seu negócio, terá de analisar os preços da concorrência na sua área. Por exemplo, pode analisar os preços da concorrência no seu bairro ou província e determinar qual o preço que melhor representaria a sua marca e consequentemente atrairia mais clientes para o seu negócio. Com a Klippa é possível reunir recibos de clientes e processá-los através da Klippa API. A API é capaz de ler e extrair automaticamente todos os campos do recibo, incluindo nome do produto, preço, IVA, e comerciante. Estes elementos combinados permitir-lhe-ão determinar a sua proximidade. Optar por uma API em oposição ao outsourcing e crowdsourcing irá recompensá-lo com um processo que é mais rápido, mais preciso e mais barato.

Digitalização de recibos para campanhas de cashback e fidelização

A digitalização de recibos de supermercados é ideal para o processamento automático de cashback ou para um sistema de pontos de fidelidade. Pode criar uma campanha para aumentar a visibilidade do cliente para um novo produto e aumentar as vendas directas. Os clientes fazem o upload do recibo onde contém o produto que faz parte da campanha de marketing, de forma a receber o cashback. Quando receber estas fotografias aos milhares ou até mesmo aos milhões, terá certamente uma grande necessidade de processar de uma forma mais rápida e eficiente para que os seus clientes recebam o seu cashback. A API irá accionar o OCR para ler os itens dos recibos e extraí-los num formato JSON que lhe permitirá detectar automaticamente os produtos da campanha e executar o pagamento. Tudo isto com a rapidez e fiabilidade que seguramente irá satisfazer os seus clientes.

Perguntas mais Frequentes

Em que áreas a Klippa pode extrair receitas dos supermercados?

Abaixo pode verificar os campos de dados extraídos. Estes podem ser personalizados para cada cliente. Também é possível adicionar ou extrair campos a pedido.

Tipo de documento

  • Qualidade de imagem
  • País de origem
  • Língua do recibo
  • Nome do comerciante
  • Detalhes do endereço do comerciante
  • Dados de contacto do comerciante
  • Sítio Web do comerciante
  • Forma de pagamento
  • Número do cartão
  • Montante de mudança
  • Data de compra
  • Montante total e moeda
  • Montantes de IVA
  • Percentagens de IVA
  • Descrições de itens de linha, quantidade, preços e categoria
  • Número de recibo
  • Número da Câmara de Comércio
  • Número de IVA
  • E muitos mais

Funciona com fotografias de baixa qualidade?

A nossa API já inclui funcionalidades de pré-processamento de imagens que irão melhorar e rodar imagens de pouca qualidade para um melhor processamento. Além disso, a Klippa oferece um SDK de digitalização que pode ser implementado em aplicações móveis. SDK inclui capacidades de processamento de imagem como correcção de perspectiva e detecção de brilho e desfocagem para clarificar o conteúdo das fotografias. Desta forma, só receberá fotografias que contenham informação válida para processamento. Evitará o princípio de “garbage in, garbage out” do lado do cliente no momento em que a foto é tirada.

Qual é a precisão do OCR e API?

Os recibos dos supermercados podem ser digitalizados e os dados também podem ser extraídos com >95% de precisão. Isto significa que a IA raramente compreenderá mal qualquer linha de um recibo. Pode-se então presumir com segurança que irá processar recibos com exactidão. Se houver algo que possa ser optimizado podemos adaptar os nossos modelos para ajustar ao seu modelo.

Será que funciona em todos os produtos?

Pode constar uma grande variedade de produtos num recibo de supermercado, escova de dentes eléctrica ou uma frigideira, etc. Independentemente do tipo de produto, a Klippa pode identificar todas os produtos num recibo, usando OCR e machine learning. Será também capaz de reconhecer categorias de produtos tais como alimentos e bebidas, cuidados pessoais, limpeza, vestuário, electrónica e muito mais.

E quanto à privacidade e GDPR?

Como com todos os outros serviços que a Klippa oferece, a leitura de recibos de supermercado é totalmente segura e compatível com GDPR. Klippa utiliza servidores com certificação ISO dentro da União Europeia para o processamento de recibos. Está localizado fora da UE? Podemos criar um servidor personalizado para a sua região que está em vigor com um acordo e com o processador de dados. Não armazenamos os  seus dados ou os dos seus clientes após processamento.

Em que países pode utilizá-los?

O software da Klippa funciona nas línguas ocidentais. As línguas que trabalhamos com mais frequência são inglês, holandês, alemão, francês, espanhol, português, sueco, norueguês, dinamarquês, finlandês e italiano. Qualquer outra língua pode ser suportada a pedido. Podemos utilizar o processo machine learning para todas as línguas.

Familiarize-se com Klippa

Na Klippa, gostaríamos de o ajudar com todas as suas necessidades de processamento de documentos. Se tiver alguma questão em relação ao processamento de recibos ou qualquer outro tipo de documento, sinta-se à vontade para nos enviar uma mensagem ou agendar uma demonstração online de 30 minutos com um dos nossos especialistas abaixo.

Agende uma demonstração gratuita

Obtenha uma visão geral da Klippa em apenas 30 minutos!

Works with AZEXO page builder