Recolectar datos de productos y precios escaneando los recibos de los supermercados con OCR y aprendizaje por máquina

Recolectar datos de productos y precios escaneando los recibos de los supermercados con OCR y aprendizaje por máquina

La recolección de datos de productos y precios de los recibos de los supermercados puede ser una tarea difícil. Recolectar datos precisos en un gran volumen de recibos requiere tiempo, precisión y, por supuesto, la voluntad de numerosos compradores en enviar sus recibos. Una vez recogidos, se necesita un ejército de empleados que procesen las copias de los recibos para convertirlos en datos utilizables. Tal vez esté considerando la subcontratación del back-office o el crowdsourcing, como el Turco Mecánico de Amazon, para completar este tedioso trabajo. Desafortunadamente, no importa lo mucho que instruyas a los humanos, siempre les faltará la precisión y fiabilidad de un ordenador. Como dice el refrán, nuestros errores son lo que nos hace humanos. Pero además de la precisión, el costo de procesamiento y el tiempo de entrega también son relevantes. En ambos temas los ordenadores tienden a vencer a los humanos también. Así que la pregunta es: ¿cómo consigues que el software haga todo el procesamiento de los recibos por ti? Klippa tiene una solución inteligente para ti.

Ve a:

¿Qué es el escaneo de recibos de supermercado y cuál es su objetivo?
¿Cómo funciona el OCR en los recibos del supermercado?
¿Qué datos puede extraer de los recibos?
Datos de productos
Clasificación del producto
Ubicación y datos del comerciante
Datos de precios
Detección de diferentes tipos de fraude
Atrapar recibos duplicados
Captura las manipulaciones del Photoshop
Recibos falsos
¿Qué puedes hacer con el escaneo de recibos del supermercado?
Escaneo de recibos para el análisis de la cesta de la compra
Escaneo de recibos de supermercado para recopilar datos geográficos de precios
Campañas de reembolso y lealtad
Preguntas frecuentes
Conoce a Klippa

¿Qué es el escaneo de recibos de supermercado y cuál es su objetivo?

El escaneo de recibos de supermercado es el proceso de lectura de recibos con OCR, identificando todos los campos de datos relevantes y convirtiendo el texto en un formato de datos estructurado utilizable. Con el API de Klippa, la mayor parte de este proceso está completamente automatizado. Sin ningún esfuerzo, tendrán enormes cantidades de datos a su alcance. Puede usar estos datos para realizar investigaciones de productos, instigar el mejoramiento de los mismos, analizar el comportamiento de los compradores, investigar estrategias de precios, establecer campañas de mercadeo y mucho más. 

¿Cómo funciona el OCR en los recibos del supermercado?

Está muy bien saber que los clientes envían una foto al API y los datos estructurados se despliegan, pero ¿qué sucede en medio? El API es como el camarero, que toma su pedido, se traslada a la cocina donde se procesa el pedido y devuelve la comida a su mesa. Bueno, aquí hay un resumen simplificado de los pasos que da el API:

  1. El cliente sube una foto de un recibo con solo un clic.
  2. El API toma la imagen y la escanea. 
  3. La imagen es corregida por una IA usando la detección de borrosidad y deslumbramiento para elucidar el texto del recibo.
  4. Usando un software de reconocimiento óptico de caracteres (OCR), el texto se lee y se extrae en un documento TXT. 
  5. A través del aprendizaje por máquina, se identifican los puntos de datos y las categorías importantes y estos datos se transforman en JSON.
  6. El API sirve los datos JSON en pocos segundos, y ahora está a su disposición.

Entonces, ¿quién es el cocinero que está en la cocina para preparar su comida? En este caso, el cocinero es una IA, entrenado con numerosos ejemplos de recibos, tickets, facturas y otras formas de documentos. La IA aprende a determinar lo que constituye un campo de datos, por ejemplo si un campo de datos es una línea de producto, precio, dirección comercial u otra cosa. Con el tiempo, esta IA se ha convertido en un chef muy hábil, ya que casi ha perfeccionado su capacidad de detectar automáticamente datos específicos. Esta forma de aprendizaje automático ha permitido que el motor sea tan preciso con una precisión de >95% y con capacidad para procesar grandes volúmenes. La IA no falla y producirá automáticamente sus datos JSON en cuestión de segundos. Esto permite a la API servir un plato perfecto.

¿Qué datos puede extraer de los recibos?

En esencia, cualquier dato que se encuentre en un recibo es extraíble y utilizable para sus necesidades específicas. A continuación le ofrecemos un breve resumen de ejemplos de datos, que pueden combinarse para formar un conjunto de datos completo con el fin de realizar una investigación completa.

Datos de productos

Los productos en el recibo no sólo consisten en el nombre del producto que está en el recibo. Puede tener cualquier tipo de información contextual como descripciones, marcas, ingredientes o incluso el país de origen. Estas descripciones de las partidas suelen ir acompañadas de puntos de datos como la calidad o la cantidad.

Clasificación del producto

Los productos pueden dividirse en clases, como alimentos y bebidas (verduras, aperitivos, productos lácteos, refrescos, zumos), pero también electrónicos, limpieza, cuidado personal, ropa, etc. Por encargo, estas clasificaciones también se pueden hacer en términos de valores nutricionales o como ingredientes específicos.

Ubicación y datos del comerciante

El nombre, la dirección, el sitio web y otros datos de contacto del comerciante se pueden extraer del recibo, lo que le da una visión general de la ubicación y la marca de las tiendas que figuran en el recibo. 

Datos de precios

El precio del producto, el tamaño total de la canasta, las cantidades y porcentajes de IVA y la moneda forman parte del conjunto de datos que se pueden extraer de un recibo. Todos los datos relativos a los precios son sustanciales para fines de investigación. 

Detección de diferentes tipos de fraude

Desafortunadamente, el fraude es una parte importante del escaneo de recibos de supermercado, especialmente cuando se implementa en programas que involucran recompensas. Los estafadores pueden ser muy creativos cuando se trata de manipular los recibos a su favor. Afortunadamente, la API de Klippa es capaz de detectar tales casos de fraude. La detección de fraudes se personaliza a petición del cliente, pero a continuación se presentan tres ejemplos del tipo de fraude que Klippa puede detectar:

Atrapar recibos duplicados

La API es capaz de determinar si un recibo ya ha sido ingresado antes. Los estafadores pueden intentar engañar al sistema solicitando múltiples recompensas con un solo recibo (por ejemplo, cruzando varias cuentas), pero también puede ocurrir accidentalmente. El sistema es capaz de detectar ese tipo de entrada por medio de la imagen y el hash de datos, identificando la información superpuesta entre las diferentes entradas. 

Captura las manipulaciones del Photoshop

Hoy en día, no es muy difícil manipular una foto con programas como Adobe Photoshop. Esto facilita a los estafadores el intento de reemplazar los artículos de línea o cambiar el precio, la fecha o la hora de la compra. El API de Klippa es capaz de detectar estructuras de píxeles inconsistentes y reconocerá una imagen ‘photoshopeada’.

Recibos falsos

Es posible que alguien con malas intenciones cree un recibo falso desde cero o basado en un recibo existente. Independientemente de la calidad de la manipulación de los píxeles, la API es capaz de cruzar información de un recibo como direcciones, números de la cámara de comercio, números de teléfono y más. Cualquier error que cometa un estafador puede ser atrapado. 

¿Qué puedes hacer con el escaneo de recibos del supermercado?

Una vez que los datos salgan a la luz, hay numerosas posibilidades de aplicar los datos a sus necesidades. Los siguientes son ejemplos de casos de uso:

Escaneo de recibos para el análisis de la cesta de la compra

Para entender el comportamiento de sus clientes, una de sus tareas será realizar un análisis de la cesta de la compra (MBA). Para reunir todos los datos de los productos que necesita para un análisis preciso, usted establece una campaña para animar a los clientes a que le proporcionen información demográfica y suban una foto de sus recibos de supermercado. Estas fotos deben transformarse en datos utilizables y precisos, como los tipos de productos, las marcas o cualquier otra calidad de producto. Ingresa a Klippa. Todas y cada una de las fotos que suba un cliente serán escaneadas automáticamente y transformadas en texto segmentado. Este TXT se procesará entonces en un formato estructurado (JSON), que le da la oportunidad de realizar un análisis de afinidad efectivo. Puedes descubrir patrones en el comportamiento de compra, como los productos que a menudo se compran juntos. Un gran distribuidor podría entonces instigar promociones y campañas de marketing para aumentar las ventas. 

Escaneo de recibos de supermercado para recopilar datos geográficos de precios

Para determinar la estrategia de precios de su negocio, tendrá que analizar los precios de la competencia en su área. Por ejemplo, puede analizar los precios de la competencia en su vecindario o provincia y determinar qué precio representaría mejor su marca y atraería a los clientes a su negocio. Usted reúne los recibos de los clientes y los procesa a través de la API de Klippa. La API puede leer y extraer automáticamente todos los campos del recibo, incluidos el nombre del producto, el precio, el IVA y el comerciante. La combinación de estos elementos le permitirá determinar el precio más bajo y el más alto ofrecido por un producto específico en su vecindad. Optar por una API en contraposición a la externalización y el crowdsourcing le recompensará con un proceso más rápido, más preciso y menos costoso.

Campañas de reembolso y lealtad

El escaneo de recibos de supermercado es ideal para el procesamiento automatizado de devoluciones de dinero o un sistema de puntos de fidelidad. Puede establecer una campaña para aumentar la exposición del cliente a un nuevo producto y aumentar las ventas directas. Los clientes cargarán un recibo que contenga el producto que forma parte de la campaña de marketing para recibir la devolución del dinero. Cuando reciba estas fotos por miles o incluso millones, necesitará una forma rápida y precisa de procesarlas para que los clientes reciban su reembolso rápidamente. La API desplegará un OCR para leer las partidas de los recibos y extraerlas en un formato JSON que le permitirá detectar automáticamente los productos de la campaña y poner en marcha la compensación del pago. Todo ello con la velocidad y fiabilidad que seguramente satisfará a sus clientes.

Preguntas frecuentes

¿Qué campos puede extraer Klippa de los recibos del supermercado?

A continuación se enumeran los campos de datos extraídos por defecto. Estos pueden ser personalizados para cada cliente. Se pueden extraer campos adicionales a petición del cliente.

  • Tipo de documento
  • Calidad de la imagen
  • País de origen
  • Idioma del recibo
  • Nombre del comerciante
  • Detalles de la dirección del comerciante
  • Datos de contacto del comerciante
  • Sitio web de los comerciantes
  • Método de pago
  • Número de tarjeta
  • Cantidad de cambio
  • Fecha de compra
  • Cantidad total y moneda
  • Los importes del IVA
  • Porcentajes de IVA
  • Descripciones de las partidas, cantidad, precios y categoría
  • Número de recibo
  • Número de la Cámara de Comercio
  • Número de IVA
  • Y muchos más campos

¿Funciona con fotos de baja calidad?

Nuestra API ya incluye capacidades de preprocesamiento de imágenes que mejorarán y rotarán las imágenes de mala calidad para un mejor procesamiento. Además, Klippa ofrece un SDK de escaneo que puede ser implementado en aplicaciones móviles. Este SDK incluye capacidades de procesamiento de imágenes como la corrección de la perspectiva y la detección de reflejos y desenfoques para aclarar el contenido de las fotos. De esta manera, sólo recibirá fotos que contengan información válida para su posterior procesamiento. Evitará que el principio de entrada y salida de la basura esté del lado del cliente en el momento en que se toma la foto. 

¿Qué tan preciso es el OCR API?

Los recibos del supermercado pueden ser escaneados y los datos extraídos con una precisión del >95%. Esto significa que la IA raramente malinterpretará alguna línea de un recibo. Puedes asumir con seguridad que procesará los recibos con precisión. Si ve ciertas mejoras, podemos entrenar a nuestros modelos para apoyar su caso de uso y aportar el mejor valor a su negocio. 

¿Funciona en todos los productos?

Puede haber una variedad de productos en un recibo de supermercado. No sólo la comida típica, sino también un cepillo de dientes eléctrico o un sartén. Independientemente del tipo de producto, Klippa puede identificar cada línea de productos en un recibo usando OCR y aprendizaje automático. También podrá reconocer categorías de productos como alimentos y bebidas, cuidado personal, limpieza, ropa, electrónica y más.

¿Qué pasa con la privacidad y la RPI?

Al igual que todos los demás servicios que ofrece Klippa, el escaneo de recibos del supermercado es totalmente seguro y cumple con la normativa de la GDPR. Por defecto utilizamos servidores con certificación ISO dentro de la Unión Europea para procesar los recibos. ¿Se encuentran fuera de la UE? Podemos instalar un servidor personalizado en su región muy rápidamente. Existe un acuerdo de procesador de datos. No almacenamos ninguno de sus datos o los de sus clientes después del procesamiento.

¿En qué países puede utilizarlos?

El motor de Klippa funciona mejor en los idiomas occidentales. Los idiomas comunes con los que trabajamos son inglés, holandés, alemán, francés, español, portugués, sueco, noruego, danés, finlandés e italiano. Cualquier otro idioma puede ser soportado a petición. Podemos utilizar el aprendizaje automático para todos los idiomas bajo el sol.

Conoce a Klippa

En Klippa, nos encantaría ayudarle con todas sus necesidades de procesamiento de documentos. Si tiene algún problema con el procesamiento de recibos o cualquier otro documento, no dude en enviarnos un mensaje o planear una demostración en línea con uno de nuestros expertos a continuación.

 Schedule a free online demonstration

A clear overview of Klippa in only 30 minutes.

Works with AZEXO page builder