A implementação da Inteligência Artificial (IA) está a crescer rapidamente. De acordo com um inquérito de McKinsey, a implementação da IA aumentou em 50% de 2020 a 2021. Além disso, a utilização de IA teve um impacto significativo nos resultados das empresas inquiridas, com um aumento de 22% nos lucros em relação ao ano anterior.
Está entre as empresas que já estão a utilizar a IA para automatizar os fluxos de trabalho? Se sim, isso é óptimo! Existem muitas tecnologias fantásticas por aí que podem automatizar muitas tarefas enfadonhas, propensas a erros e repetitivas.
No entanto, a utilização exclusiva destas tecnologias pode nem sempre resolver todas as peças do puzzle. Não significa de forma alguma que seja necessário livrar-se completamente do aspecto humano.
Vejamos como exemplo a extração de dados. Mesmo com a tecnologia mais avançada, é quase impossível extrair dados de documentos com 100% de precisão a toda a hora. Em algumas indústrias, 1% dos erros de extração de dados já podem custar ao seu negócio milhões de euros.
É por isso que, em muitos casos, combinar o melhor dos humanos e o melhor da Inteligência Artificial pode proporcionar os melhores resultados. Tal abordagem chama-se automação Human-In-The-Loop (HITL), que discutiremos em pormenor a seguir.
Portanto, fique connosco até ao fim (ou passe à frente os benefícios se já souber o que é o HITL).
Fluxos de trabalho automatizados vs. manuais
A automatização de vários fluxos de trabalho proporciona eficiência operacional às empresas que nem sempre são realizáveis com fluxos de trabalho manuais; poupa tempo, minimiza erros, e reduz os custos gerais. Muitas tarefas manuais são frequentemente repetitivas, demoradas e propensas a erros, o que cria despesas desnecessárias.
Veja-se, por exemplo, uma empresa que tem de lidar com um grande volume de documentos. Um documento deve ser verificado; o pessoal de back-office deve digitalizar o documento para o digitalizar para manutenção de registos; depois o funcionário responsável pela introdução de dados deve extrair e introduzir os dados no sistema desejado; outra pessoa deve validar que os dados foram introduzidos correctamente, etc.
Muitas coisas podem correr mal dentro deste fluxo de trabalho manual, e simplesmente não é escalável. É por isso que as organizações procuram frequentemente soluções para automatizar estes tipos de fluxos de trabalho de documentos.
Por exemplo, as soluções como o Processamento Inteligente de Documentos (IDP) podem facilmente eliminar tarefas manuais através da automatização da extração de dados, conversão de categorização e validação.
Embora a automatização dos fluxos de trabalho manuais apenas com IDP pareça uma grande ideia, existem limitações que nem a IA e as máquinas são ainda capazes de resolver.
Por exemplo, as máquinas por si só não conseguem lidar bem com os fluxos de trabalho complicados e introdução de dados de baixa qualidade.
Imagine um cenário onde as máquinas extraem automaticamente dados de uma fatura e introduzem 100.000 euros num sistema em vez de 10.000 euros. Pode levar a um prejuízo financeiro significativo se não tiver quaisquer salvaguardas para o evitar.
Muitas vezes, este facto só por si torna frágeis as soluções totalmente automatizadas.
Felizmente, o envolvimento humano pode ultrapassar este desafio e ajudá-lo a alcançar a maior precisão e resultado possíveis. Assim, muitas organizações adoptaram a automatização “human-in-the-loop”.
Mas o que queremos dizer exatamente com a automação “human-in-the-loop”? Continue a ler, e encontrará a resposta nas secções seguintes.
O que é human-in-the-loop?
Muitas vezes Human-in-the-loop (HITL) é referido como um mecanismo que alavanca a interação humana para treinar, afinar, ou testar certos sistemas como modelos de IA ou máquinas para obter os resultados mais exactos possíveis.
Tomar como exemplo o fluxo de trabalho nos supermercados. Embora muitos supermercados tenham máquinas de auto-digitalização, há com frequência um funcionário (human-in-the-loop) que estaria na proximidade destas máquinas.
O funcionário é lá colocado para garantir que os clientes receberão ajuda quando necessário e validar que os produtos foram devidamente digitalizados para evitar fraudes ou tentativas de roubo.
A utilização de máquinas de auto-digitalização ajuda a reduzir as filas de espera e o número de supermercados de pessoal que teriam de empregar. No entanto, as máquinas não são suficientemente impecáveis para serem deixadas totalmente desassistidas.
Por conseguinte, a abordagem human-in-the-loop nestes tipos de situações funciona melhor.
A seguir, vamos dar uma vista de olhos à automação human-in-the-loop com soluções de IA.
Human-in-the-loop & IA
Apesar de as tecnologias modernas serem avançadas, não são perfeitas. Talvez nunca possam ser “aperfeiçoadas” como objetivos, necessidades e exigências que mudam com o tempo, razão pela qual a automação human-in-the-loop é tão essencial para alcançar os melhores resultados possíveis.
Apesar de as tecnologias modernas serem avançadas, não são perfeitas. Talvez nunca possam vir a ser “aperfeiçoadas” como objetivos, necessidades e exigências que mudam com o tempo, razão pela qual a automação human-in-the-loop é tão essencial para alcançar os melhores resultados possíveis.
Digamos que queria treinar algoritmos de IA para reconhecer formas (quadrado, círculo, triângulo), precisaria de um humano para rotular correctamente as imagens destas formas.
Quando a IA cometeria um erro com uma previsão ou identificação, o human-in-the-loop estaria lá para fazer as correções. A isto chama-se um ciclo de feedback que ajuda a melhorar a precisão dos modelos de IA.
Em geral, os modelos de IA não podem fazer previsões constantemente com uma confiança de 100%.
O mesmo desafio se aplica à extração de dados. Muitos programas de Reconhecimento Ótico de Caracteres (OCR) podem extrair dados com uma precisão de 97% (99% em casos raros) na melhor das hipóteses, mas a precisão média da extração de dados é ainda de cerca de 80% para a maioria das soluções.
Na maioria dos casos, isso deixa 20% dos dados imprecisos, o que pode tornar-se uma questão devastadora para a sua organização, embora possa automatizar a maior parte do trabalho de introdução manual de dados.
Felizmente, com a inteligência humana é possível preencher facilmente esta lacuna.
Human-in-the-loop permite a rápida identificação de problemas e melhorias através de um loop de feedback, que pode ser referido como anotação HITL. Sem ela, os erros podem ser difíceis de detectar.
Vejamos este processo com mais detalhe mais abaixo.
Anotação human-in-the-loop
Human-in-the-loop ou marcação de dados é frequentemente parte do processo de desenvolvimento de modelos de IA.
Os modelos de IA requerem grandes volumes de dados em bruto (por exemplo, documentos, imagens, ficheiros de texto, e outros objetos) para identificar objetos e fazer previsões com precisão.
Anotar, construir conjuntos de dados e recolher dados requer uma grande soma de tempo, dinheiro e esforço.
Então, como funciona? Um anotador de dados, um human-in-the-loop, rotula conjuntos de dados que permitem aos modelos de IA concentrarem-se repetidamente em campos de dados específicos até conseguirem reconhecer e fazer as melhores previsões de forma óptima.
Por exemplo, se a sua organização quiser que o modelo de IA reconheça e extraia os itens das receitas, pode acabar por alimentar o modelo com milhares de recibos rotulados para obter resultados decentes.
Para ter um conjunto de dados etiquetados para treinar os modelos de IA, seria necessário recolher dados em bruto e formar uma equipa de peritos para a anotação.
Então porque prefere a automatização HITL, enquanto existem soluções que o podem levar a uma precisão de 97%?
Pode encontrar as respostas a esta pergunta na secção seguinte.
Os benefícios da automatização HITL
Porque é que ainda precisamos de contar com o envolvimento humano? Simplesmente porque ainda há casos em que as soluções totalmente automatizadas apresentam falhas como as soluções manuais. Todos sabemos que zero erros é impossível. Isto aplica-se tanto aos fluxos de trabalho manuais como aos totalmente automatizados.
Em comparação com a IA, o cérebro humano funciona muito bem em situações em que os dados ou a informação são limitados. Por exemplo, se observarmos a cauda de um tigre, isso é informação suficiente para identificarmos se se trata ou não de um tigre.
Contudo, este não é o caso das máquinas, uma vez que necessitam de um desenvolvimento extensivo para o conseguir. Por conseguinte, a automatização human-in-the-loop é utilizada para preencher a lacuna.
Há vários benefícios no aproveitamento do HITL para treinar modelos de IA ou melhorar os fluxos de trabalho, que incluem:
- A utilização do HITL aumenta a precisão da previsão, extração, classificação e validação, bem como a qualidade dos resultados
- As máquinas podem ser treinadas para compreender os dados complexos que ainda não encontraram
- Algoritmos podem ser gradualmente melhorados através do contributo humano
- Não é limitado pela qualidade dos dados sobre os quais os modelos de IA são treinados
- Poupa tempo valioso para os criadores
- Pode lidar melhor e mais eficientemente com conjuntos de dados incompletos
No entanto, existem também algumas limitações a ter em conta, as quais abordamos a seguir.
Limitações da abordagem HITL
Embora a automação human-in-the-loop combine o melhor da inteligência humana e da inteligência artificial, apresenta algumas limitações. Estas limitações incluem:
- Human-in-the-loop identificação – As organizações precisam de identificar quem vai interagir com que interface e secção dentro da automatização loop.
- Grandes volumes de dados – HITL nem sempre lida bem com grandes volumes de dados, uma vez que são necessários mais humanos dentro do laço de automatização
- Escalabilidade limitada – Quando um humano está envolvido num processo, a escalabilidade pode tornar-se num problema
Estas limitações são ainda menores quando comparadas com as dos fluxos de trabalho manuais ou totalmente automatizados. Desde que esteja ciente destas preocupações e as aborde correctamente, a eficácia do HITL não é anulada.
Humano no início ou no fim de um loop?
Não tem a certeza de quando aproveitar o human-in-the-loop dentro dos seus fluxos de trabalho? Sem problemas. Temos tudo controlado. A nossa experiência diz-nos que faz todo o sentido ter um humano no início ou no fim de um loop. Vamos dar uma vista de olhos às seguintes opções:
- HITL no início de um loop
- HITL no fim de um loop
HITL no início de um loop
Nos casos em que não existem soluções out-of-the-box disponíveis, deverá considerar a utilização da abordagem HITL e a integração de um humano no início do loop. Porquê?
Digamos que atualmente não tem modelos ou algoritmos de IA para automatizar certos processos, mas tem muitos dados em bruto.
Com esses dados em bruto, é possível criar dados etiquetados com um human-in-the-loop, que se certifica de que os dados são limpos (dados inexactos são removidos ou corrigidos) e etiquetados correctamente.
Uma vez os dados etiquetados, pode utilizá-los para treinar os seus próprios modelos de IA para reconhecer faturas ou mesmo extrair dados das mesmas.
Por exemplo, se tivesse toneladas de faturas diferentes, poderia rotular esses dados para formar modelos de IA para reconhecer faturas.
Tal abordagem permite-lhe começar a partir de 0% de automatização e avançar para +80% de automatização. Então, em que situações deve considerar colocar um humano no início de um loop?
- Quer construir os seus conjuntos de dados
- Quer criar os seus próprios modelos de IA
- Não tem nenhuma ou apenas um pouco de automatização no local, mas quer avançar para +80% de automatização
- Tem anotadores de dados internos e peritos em IA
HITL no fim de um loop
O uso de “human-in-the-loop” no fim de um loop é mais comum em muitos casos de negócios. Esta abordagem utiliza a automatização para realizar tarefas repetitivas e a inteligência humana para garantir que tudo funcione correctamente.
Vemos frequentemente que 80% do fluxo de trabalho é automatizado, e 20% é deixado para os humanos completarem. Então, quando escolheria esta abordagem em vez da anterior?
- Pretende atingir uma precisão tão próxima quanto possível de 100% (ou seja, extração de dados, previsão, verificação, anonimização, etc.)
- Deseja diminuir a necessidade de intervenção humana de 20% para custos gerais mais baixos
- Quer minimizar erros dispendiosos (ou seja, dados incorrectos, entradas duplicadas, etc.)
- Pretende melhorar o tempo de resposta mantendo ao mesmo tempo uma elevada precisão
- Existem soluções nos mercados que podem automatizar a maior parte das tarefas para si com uma elevada precisão
Para lhe mostrar ainda mais a diferença entre um humano no início e no fim do ciclo, escolhemos dois exemplos da vida real.
Exemplos de Human-in-the-loop
Muitas marcas reconhecidas utilizam a automatização HITL para melhorar os seus sistemas. Abaixo, damos alguns exemplos de human-in-the-loop em acção.
No caso do Facebook, o HITL é utilizado criativamente para melhorar o seu algoritmo DeepFace, que pode atingir uma precisão de 97,35%. Como o Facebook o faz, permitindo aos seus utilizadores fazer o reconhecimento facial em fotografias, confirmando ou rejeitando. Os utilizadores finais são os seres humanos em loop (início de um loop) e contribuem para melhorar o algoritmo (através da anotação).
Outra grande marca, Coca-Cola, criou um programa de fidelidade, MyCokeRewards, que utilizou uma estratégia de human-in-the-loop para a tornar bem sucedida. A Coca-cola construiu um aplicativo que integrava tecnologia de Reconhecimento Óptico de Caracteres (OCR).
Com esta tecnologia, os utilizadores poderiam simplesmente tirar fotografias dos seus códigos impressos nas tampas das garrafas e outras superfícies em vez de introduzir manualmente os códigos.
A aplicação proporciona então um nível de confiança para cada personagem. Se o código falhar, a aplicação destaca os caracteres com baixos níveis de confiança para que os utilizadores possam fazer correções. A entrada de dados dos clientes treinou o modelo, o que melhorou a precisão da extração de dados (fim do loop).
Infelizmente, o envolvimento dos utilizadores finais no processo nem sempre é possível.
Se for esse o seu caso, pode procurar peritos externos em anotação de dados ou sistemas human-in-the-loop. Contudo, tenha em mente que, em alguns casos de utilização, pode ser obrigatório ter um sistema HITL auto-gerido para cumprir os regulamentos de privacidade de dados.
Vejamos as diferenças entre as duas alternativas.
HITL externo vs. auto-gerido
Está convencido de que a automatização “human-in-the-loop” é benéfica para si. E agora? Antes de começar a experimentar diferentes APIs de fornecedores SaaS, é crucial entender que existem duas formas de abordar a abordagem HITL:
- HITL gerido externamente
- HITL auto-gerido
HITL gerido externamente
O que o HITL gerido externamente refere-se ao human-in-the-loop fornecido por uma parte externa (ou seja, fornecedor SaaS, fornecedor de serviços de anotação de dados). Ter gerido externamente o HITL tem os seus prós e os seus contras.
Prós:
- Pode lidar com grandes volumes de pico de dados
- Rápido e frequentemente com disponibilidade 24/7
- Mais barato porque os peritos sabem o que estão a fazer
- Não há necessidade de dedicar tempo à formação de pessoal
Contras:
- Os dados vão para a entidade externa
- As medidas de segurança podem depender da parte externa
- Preocupações com o cumprimento da regulamentação
HITL auto-gerido
HITL auto-gerido, como o nome sugere, refere-se a empresas que atribuem um humano ao loop por elas próprias. Vamos cobrir os prós e os contras da abordagem auto-gerida do “human-in-the-loop”.
Prós:
- Os dados ficam dentro da empresa
- Benéfico a longo prazo, à medida que o pessoal se torna mais conhecedor
- Uma excelente forma de acumular dados
Contras:
- Requer uma equipa de peritos
- Pode tornar-se dispendioso com a formação e a implementação
Cabe-lhe a si pensar sobre o factor decisivo. Quer manter os seus custos baixos, ou é mais importante manter os dados dentro da sua infra-estrutura?
No final, resume-se ao que é mais crítico para si e ao seu caso de utilização.
Casos de utilização da automatização HITL
Existem vários casos de utilização para a automatização eficaz do HITL. Encontramos geralmente os seguintes casos de utilização:
- Processamento de recibos para campanhas de fidelização
- Processamento de faturas para contas a pagar
- Anonimização de informação sensível para conformidade
- Verificação de cartões de identificação para processos KYC
Se não encontrar o seu caso de utilização, não se preocupe! Claro que há muitos mais casos de utilização para a automatização HITL. Para este blog, decidimos dividir o primeiro caso em mais detalhe.
Processamento de recibos para programas de fidelização
Nas campanhas de fidelidade, os clientes apresentam os seus recibos como prova de compra. A agência de marketing ou loja de retalho verifica os dados dos recibos para ver se todas as condições são cumpridas. Por exemplo, se os artigos comprados estão relacionados com a campanha e se foram comprados durante a campanha.
Se todas as condições forem cumpridas, o cliente receberá uma recompensa.
Com campanhas bem sucedidas, poderá acabar por processar milhares de recibos por dia. Portanto, a automatização de tarefas repetitivas pode eliminar as ineficiências e poupar tempo.
No entanto, a automatização de todo o processo tem as suas falhas porque as máquinas e a IA não são perfeitas. Por exemplo, a precisão da extração de dados não é elevada quando os recibos digitalizados são recebidos em má qualidade, levando a erros significativos.
A combinação da automatização e da inteligência humana ajuda a minimizar dados inexactos, erros, e até fraudes documentais, o que leva aos resultados financeiros desejados das suas campanhas.
Então, como é que a automatização HITL entra em jogo? Isto é explicado a seguir.
Deslocação do fluxo de trabalho tradicional de processamento de recibos
Tradicionalmente, o fluxo de trabalho do processamento de recibos para campanhas de fidelização consistiria nas seguintes etapas:
- Receber prova de compra
- Fazer corresponder o documento a um cliente na base de dados (para personalização)
- Ler cada recibo
- Confirmar num recibo que os artigos da campanha foram comprados durante o período da campanha
- Introduzir os dados na base de dados
- Determinar o número de pontos de fidelidade atribuídos ao cliente
- Enviar as recompensas
Este fluxo de trabalho é dispendioso e demorado, principalmente quando o seu pessoal e empregados são designados para realizar estas tarefas administrativas.
Então, como é que fica a automação human-in-the-loop?
Primeiro, o recibo pode ser carregado via FTP, e-mail, aplicação web, ou digitalizado com um telemóvel.
Uma vez digitalizado o recibo, soluções como o Processamento Inteligente de Documentos classificam o documento com IA. O documento é classificado quer seja um recibo ou outro tipo de documento.
Após a classificação, os campos de dados relevantes são extraídos do documento.
Nesta etapa segue-se a validação automática, que verifica se os artigos da campanha foram adquiridos durante o período da campanha. Isto também é conhecido como compensação de recibos.
Se o modelo de OCR e de IA atribuir uma pontuação de confiança baixa, o ficheiro será transmitido ao human-in-the-loop para validar se os dados são exactos.
Quanto ao nível de pontuação de confiança, pode determiná-lo você mesmo. Por exemplo, se o documento receber uma pontuação de confiança <70, poderá encaminhá-lo para o human-in-the-loop para validação adicional.
A partir daí, os dados são convertidos para o formato desejado (folha Excel, PDF, ou JSON) e passados para uma base de dados.
A automatização “human-in-the-loop” consegue:
- Aumentar a precisão da extração de dados
- Acelerar o tempo de processamento de recibos
- Reduzir os custos gerais
- Melhorar o envolvimento dos empregados
- Minimizar erros humanos dispendiosos
Agora que abordámos um dos casos de uso mais comuns, esperamos que tenha uma melhor compreensão dos benefícios da automatização HITL.
Se estiver convencido de que a automação human-in-the-loop é para si, leia a secção seguinte com algumas dicas sobre o que deve considerar.
Como começar?
Antes de pesquisar diferentes soluções e vendedores, pode ser sensato dedicar um minuto do seu tempo. Faça a si mesmo as seguintes perguntas:
- A sua organização precisa de atingir uma precisão de extração de dados próxima dos 100%?
- Precisa de HITL gerido externamente ou internamente?
- Tem peritos internos em IA?
- Quão importante é o facto de os dados permanecerem 100% dentro da sua infra-estrutura interna?
- O que é essencial para o seu caso de utilização?
- Deseja construir os seus próprios conjuntos de dados?
Para lhe dar um pouco de ajuda extra, comparámos a poupança de custos com fluxos de trabalho totalmente automatizados e HITL automatizados. Veja a nossa calculadora de poupança de custos gratuita!
Quaisquer que sejam as suas respostas; estamos confiantes de que a Klippa pode resolver os seus problemas relacionados com a documentação com as nossas soluções de Processamento Inteligente de Documentos.
A melhor parte da IA é que replica as capacidades humanas para digitalizar e compreender as principais percepções com alta velocidade e precisão.
Qualquer que seja o seu caso comercial, uma solução de OCR com IA pode ajudá-lo a fazer os dados funcionar para si.
Automatização dos fluxos de documentos com a Klippa
A Klippa é especializada na automatização de fluxos de trabalho relacionados com documentos. Quer pretenda automatizar apenas uma pequena parte do seu fluxo de trabalho com a abordagem HITL ou todo o fluxo de trabalho, nós podemos ajudá-lo.
A Klippa DocHorizon automatiza a extração de dados, classificação, conversão de documentos, anonimização, e verificação com tecnologia OCR incorporada com IA. Independentemente dos desafios que a automatização de documentos enfrente, a Klippa pode fazer de si um campeão de processamento de documentos.
Se já tem uma aplicação web, pode optar por integrar a nossa tecnologia na sua solução através da API. Para aplicações móveis, fornecemos uma solução de digitalização móvel, que pode facilmente integrar com um SDK bem documentado.
Todas as nossas soluções podem ser ligadas à nossa interface HITL para alavancar a automatização “human-in-the-loop” para resultados mais precisos.
Interface Human-in-the-loop
A construção e concepção de qualquer interface de utilizador pode ocupar os seus recursos – tanto tempo como dinheiro. Se não tiver peritos internos, tais como designers UI & UX, teria de subcontratar o trabalho a um terceiro. O seu tempo de comercialização depende então deste terceiro.
É por isso que oferecemos aos nossos clientes uma interface “human-in-the-loop” integrada nas nossas ou nas suas soluções – para que não tenha de ser você a construir uma!
Pode tirar partido disso com um fluxo de trabalho HITL auto-gerido ou até utilizar o nosso back office para fazer a última parte da anotação para si.
A interface permite ao utilizador verificar, validar, e rotular (anotar) os dados sem esforço em segundos. Pode ser solicitado assim que a pontuação de confiança for inferior ao seu limiar configurado.
Ou mesmo em situações em que saiba que receberá imagens de baixa qualidade ou documentos complexos de um determinado fornecedor.
A automatização HITL poupa tempo e aumenta a precisão da extração de dados, o que leva a uma melhoria significativa dos resultados. Se utilizado no início de um loop, pode anotar os dados e criar os seus conjuntos de dados.
Curioso como aplicá-lo no seu caso de utilização?
Reserve um lugar para uma demonstração usando o formulário abaixo para começar (ou contacte a nossa equipa de peritos se tiver mais alguma questão)!