Como avaliar as respostas do atendimento ao cliente por IA

Merlin Bise
Merlin Bise
Diretor de Tecnologia, Inbenta
20 de novembro de 2026
Mulher vestindo um suéter vermelho, sorrindo para o celular enquanto segura uma caneca de café em uma cozinha bem iluminada

Auditar as respostas do atendimento ao cliente por IA significa ser capaz de indicar de onde veio uma resposta, quem a aprovou e se ela estava correta no momento em que o cliente a recebeu.

A maioria das equipes lida com isso analisando as conversas após o fato. Mas isso só lhes permite saber o que aconteceu em uma pequena porcentagem das conversas.

Uma abordagem mais adequada é verificar o conhecimento subjacente às respostas antes de elas serem publicadas e, em seguida, garantir que qualquer resposta fornecida a um cliente possa ser rastreada até uma fonte aprovada.

Essa é a abordagem que adotamos na Inbenta ao desenvolver o Inbenta Encore, nossa plataforma de IA voltada para o conhecimento e voltada para a experiência do cliente.

Uma auditoria de respostas geradas por IA precisa abranger quatro aspectos

Uma avaliação adequada de uma resposta de atendimento ao cliente por IA resume-se a quatro perguntas:

  • Proveniência: De qual fonte aprovada a resposta foi obtida?
  • Autorização: Quem aprovou esse conhecimento e quando?
  • Precisão: A resposta refletiu com exatidão a fonte e a política em vigor no momento em que foi apresentada?
  • Consistência: Será que outro cliente, ao entrar em contato com a empresa por meio de um canal diferente, teria recebido as mesmas informações?

Por que a amostragem de transcrições não é suficiente para verificar as respostas da IA

A amostragem de transcrições foi concebida com base em agentes humanos. A suposição subjacente é que, se um agente der uma resposta correta hoje, provavelmente dará a mesma resposta amanhã.

A IA generativa muda essa equação. A mesma pergunta pode resultar em formulações diferentes e, em alguns casos, em fatos diferentes, dependendo de quando for feita.

Imagine um centro de atendimento que lida com 50.000 conversas por mês por meio de um assistente de IA. Se a equipe de controle de qualidade analisar 2% dessas conversas, isso equivale a 1.000 transcrições. As 49.000 restantes não são analisadas.

Em outubro de 2026, a Autoridade de Conduta Financeira do Reino Unido definiu quais são as boas práticas para o uso da IA nos serviços financeiros. As empresas que adotaram essas práticas mantinham registros das solicitações dos consumidores, dos resultados gerados, das versões dos modelos, dos filtros aplicados e das decisões de escalonamento, além de monitorarem os resultados em tempo real para que pudessem identificar e resolver problemas rapidamente.

A análise de uma pequena amostra das transcrições após o fato não proporciona à organização nenhuma dessas duas coisas.

A auditoria de respostas de IA mais eficaz começa antes da entrada em operação

Antes de um assistente de IA entrar em operação, a primeira coisa a ser verificada é o conjunto de conhecimentos que ele utilizará para responder aos clientes.

Uma auditoria de pré-produção deve abranger cinco áreas:

1. Cobertura da fonte

Identifique quais documentos e fontes de conhecimento foram incluídos, quais foram deixados de fora e em quais pontos os clientes podem fazer perguntas que ainda não têm uma resposta aprovada.

2. Conflitos de fontes

Procure por inconsistências entre os documentos.

3. Alinhamento entre resposta e fonte

Verifique se cada resposta aprovada reflete com precisão a fonte em que se baseia, sem introduzir informações adicionais ou alegações sem fundamento.

4. Validação independente

Utilize um segundo modelo independente para comparar cada resposta com sua fonte antes da publicação.

5. Aprovação humana

Um especialista no assunto analisa e aprova o conteúdo antes que os clientes possam acessá-lo. Essa aprovação indica quem autorizou a informação e quando.

Não é viável que uma equipe analise dezenas de milhares de conversas em tempo real todos os dias. No entanto, ela pode analisar o conhecimento subjacente a essas conversas e concentrar sua atenção nas respostas sinalizadas durante a validação.

As respostas geradas por IA em tempo real devem poder ser rastreadas até sua fonte

Para qualquer resposta fornecida a um cliente, um auditor deve ser capaz de identificar cinco aspectos:

  1. A pergunta original feita pelo cliente.
  2. A resposta aprovada que o sistema associou àquela pergunta.
  3. O documento de origem controlado no qual essa resposta se baseia.
  4. Quem aprovou o conteúdo e quando.
  5. O canal pelo qual a resposta foi enviada e o horário em que foi entregue.

Se algum desses detalhes estiver faltando, a trilha de auditoria estará incompleta.

A precisão das medições significa comparar os resultados com fontes aprovadas

Ao auditar a precisão das respostas da IA, a questão central é simples: a resposta fornecida ao cliente estava de acordo com a fonte aprovada e com a política em vigor naquele momento?

A precisão deve ser relatada como uma taxa medida, acompanhada de uma explicação sobre como foi calculada.

Se o sistema não conseguir associar com segurança uma pergunta ao conhecimento aprovado, ele deve encaminhar a conversa a um especialista no assunto ou a um atendente ao vivo, em vez de tentar dar uma resposta pouco confiável.

Abordamos esse assunto com mais detalhes em nosso artigo sobre o que sua IA de atendimento ao cliente deve fazer quando não souber a resposta.

Reavaliar as respostas da IA sempre que o conhecimento subjacente for alterado

A auditoria não deve ser interrompida assim que um assistente de IA entrar em operação.

Três situações devem desencadear uma revisão específica:

  • Um documento de origem é alterado.
  • É adicionada uma nova fonte.
  • As discussões se intensificam em torno de um determinado assunto.

As análises direcionadas devem ser complementadas por uma análise programada de todo o conjunto de respostas. Para a maioria dos contact centers regulamentados, uma análise trimestral é um ponto de partida sensato, pois se alinha aos ciclos de revisão de políticas que muitas equipes de conformidade já seguem.

O que os órgãos reguladores e os auditores internos vão querer ver

Para responder com segurança, uma organização deve ser capaz de apresentar cinco elementos-chave de evidência:

  1. O conjunto de respostas aprovadas
  2. Histórico de aprovações
  3. Registros de conversas individuais
  4. Um relatório de precisão
  5. Um registro de escalonamentos e lacunas de conhecimento

Abordamos o panorama geral em nosso guia sobre a implantação de IA em um contact center regulamentado.

Perguntas frequentes

É necessário que alguém revise todas as respostas geradas pela IA para que uma auditoria seja válida?

Não. Em um sistema que prioriza o conhecimento, a aprovação humana ocorre quando o conhecimento é criado ou atualizado, antes que os clientes o vejam. Um especialista no assunto analisa e autoriza o que a IA tem permissão para dizer. Essa aprovação passa a fazer parte do registro de auditoria. Analisar cada conversa em tempo real individualmente não é viável em grande escala, especialmente quando um assistente de IA lida com milhares de interações com clientes todos os dias.

Qual é a diferença entre uma trilha de auditoria de IA e uma auditoria de IA?

Uma trilha de auditoria de IA é o registro do que ocorreu. Ela deve registrar a pergunta do cliente, a resposta selecionada, a fonte de referência, a aprovação correspondente, bem como quando e onde foi fornecida. Uma auditoria de IA utiliza essas informações para verificar quatro aspectos: proveniência, autorização, exatidão e consistência. A trilha fornece as evidências. A auditoria verifica se essas evidências resistem a um exame minucioso.

Como o Inbenta Encore torna as respostas geradas por IA auditáveis?

Antes que uma resposta seja publicada, um segundo modelo independente a valida em relação à sua fonte. Em seguida, um especialista no assunto aprova o conteúdo no momento da geração, antes que o cliente o veja. Essa aprovação passa a fazer parte do registro de auditoria. O Encore mantém as respostas vinculadas às suas fontes e registradas no log de auditoria, permitindo que as equipes de risco e conformidade rastreiem uma resposta publicada até o conteúdo regulamentado por trás dela.

Qual é o nível de precisão do Inbenta Encore, e o que acontece quando ele não consegue responder?

A Inbenta Encore relata uma precisão de respostas de 98 a 99% para os assistentes de IA em produção. Quando o Encore não tem certeza de ter encontrado a resposta correta, ele encaminha a consulta a um especialista no assunto ou a um atendente humano, em vez de fornecer uma resposta potencialmente pouco confiável.

O que o Inbenta Encore faz quando um documento de origem é alterado após a publicação?

O Encore identifica as respostas afetadas por uma alteração na fonte e as sinaliza para revisão. O Encore Elevate também aprende com interações reais com os clientes e ajuda a identificar lacunas no conhecimento, incluindo perguntas não abordadas pelo conhecimento existente, documentos de referência ausentes e siglas não definidas. Em seguida, ele elabora as atualizações necessárias, que podem ser publicadas com a aprovação do operador com um único clique. Cada aprovação passa a fazer parte do registro de auditoria contínua.

Veja isso no seu próprio conteúdo

Traga uma política, uma central de ajuda ou um conjunto de transcrições e veja como o Encore transforma tudo isso em respostas vinculadas à fonte, aprovadas pela sua equipe.

Agende uma demo