10 métricas importantes para avaliar o desempenho do seu chatbot com IA

Você está pensando em adicionar um chatbot com inteligência artificial ao seu site para melhorar o atendimento ao cliente, ampliar a disponibilidade do suporte online ou conhecer melhor seus clientes, mas não sabe como medir sua eficácia?

Há mais de 15 anos, a Inbenta apoia empresas em todo o mundo na criação de assistentes virtuais. Vimos as tendências e os usos evoluírem e, embora as expectativas dos usuários em termos de interações e conversas tenham mudado significativamente, as métricas de desempenho permaneceram bastante constantes. Elas continuam sendo sua principal fonte de análise para avaliar o impacto de um chatbot de IA nos resultados da sua empresa. Portanto, reunimos as 10 principais métricas a serem monitoradas ao medir o desempenho do seu chatbot.

O feedback e o aprendizado vêm com as interações

Quer você passe por uma fase de Prova de Conceito ou adquira diretamente uma licença de longo prazo com a tecnologia de sua escolha, nosso primeiro conselho é tentar manter a fase de testes o mais curta possível e disponibilizar o chatbot aos usuários finais o mais rápido possível. E isso por uma razão simples: é muito difícil se colocar no lugar dos usuários e adivinhar o que e como eles pensam.

De fato, seus clientes não conversam com um bot da mesma forma que conversam com um ser humano. Da mesma forma, seus funcionários não dirão a um membro da equipe de RH as coisas que diriam a um bot. Portanto, você precisa aceitar que esse novo canal de comunicação (se ele não existia antes) trará suas surpresas. É claro que é tentador e natural tentar responder ao máximo de perguntas possível antes que o bot entre em operação, mas não é realista prever as necessidades de um canal que nunca existiu antes!

Portanto, coloque seu bot em funcionamento o mais rápido possível, com um mínimo de conteúdo. Somente interações reais lhe proporcionarão conhecimentos valiosos sobre esse canal e sobre como melhorá-lo continuamente.

Identifique a métrica principal para o seu chatbot de IA

Depois de definir o objetivo e o escopo do seu chatbot, logo ficará claro qual deve ser a principal medida de seu desempenho.

Aumento da conversão, diminuição dos contatos recebidos com baixo valor agregado, diminuição do tempo médio de processamento... Recomendamos definir uma meta para um ou dois indicadores intimamente ligados ao objetivo estratégico original do projeto (embora muitas outras estatísticas estejam disponíveis).

Métricas específicas de atendimento ao cliente:

• Redução da taxa de chamadas de primeiro nível
• Duração das chamadas geradas pelo chatbot (por meio de retorno de chamada pela web)
• Taxa de redução de e-mails
• Taxa de escalonamento

Métricas específicas de marketing:

• Taxa de conversão (para usuários que interagiram com o bot)
• Duração média das sessões (para usuários que interagiram com o bot)
• Número de páginas visualizadas pelos visitantes que interagiram com o bot
• Taxa de abandono do carrinho

Métricas específicas de RH:

• Volume mensal de perguntas
• Taxa de escalonamento
• Temas frequentes

Métricas de experiência do usuário do chatbot

Outros indicadores podem ser relevantes para a análise cruzada, mas podem ser numerosos, portanto, é fácil se perder ou não correlacionar o aprendizado que eles proporcionam.

Resumimos aqui as 10 principais métricas a serem seguidas para obter um melhor conhecimento dos seus usuários, bem como o impacto do seu chatbot de IA.

Tarifa de autoatendimento

Porcentagem de sessões de usuários que não terminaram com uma ação de contato após usar o bot.

Taxa de desempenho

Número de respostas corretas dividido pelo número de sessões ativas (uma resposta correta é uma resposta sugerida pelo bot e clicada pelo usuário no caso de múltipla escolha – ou aberta instantaneamente no caso de correspondência semântica forte).

Taxa de uso por login

Volume de sessões de usuários ativos no chatbot. Para equilibrar com o número médio de sessões no seu site.

Taxa de rejeição

Volume de sessões em que o chatbot foi aberto, mas não utilizado

Índice de satisfação

Nota média atribuída ao avaliar as respostas do chatbot (para equilibrar com a taxa de avaliação).

Taxa de avaliação

porcentagem de sessões de usuários que avaliaram as respostas do chatbot pelo menos uma vez.

Tempo médio de chat

Permite avaliar o interesse dos usuários pelo seu chatbot.

Taxa de conclusão de metas

caso seu bot contenha ações direcionadas, como CTAs, um formulário ou alguma venda cruzada, essa é a taxa de usuários que alcançaram essa ação específica por meio do chatbot.

Taxa de não resposta

O número de vezes que o chatbot não conseguiu enviar algum conteúdo após uma pergunta do usuário (devido à falta de conteúdo ou mal-entendido).

Número médio de interações

Usado para avaliar a Pontuação de Esforço do Cliente no chatbot e deve estar correlacionado com a taxa de satisfação. Se esta última for muito baixa, o bot pode estar envolvendo os usuários em muitas ramificações e etapas para atender às suas necessidades. Nesse caso, uma solução pode ser corrigir as árvores de decisão ou a arquitetura da base de conhecimento.

Esses KPIs de chatbot são suficientes?

Esses diferentes KPIs são suficientes para avaliar o ROI e o valor agregado do seu chatbot de acordo com seus objetivos iniciais. Por mais óbvio que pareça, um monitoramento regular ajudará você a melhorar a eficácia da solução. No entanto, esses KPIs não devem ser as únicas métricas levadas em consideração ao avaliar o impacto geral da solução. Até muito recentemente, as empresas não precisavam de Inteligência Artificial para desenvolver excelentes relacionamentos com os clientes ou jornadas ideais para eles.

Assim, além dos KPIs diretamente ligados ao chatbot, nosso último conselho seria correlacionar essas métricas com seus indicadores pré-chatbot (volume de contatos telefônicos, volume de e-mails recebidos através do formulário de contato, volume de bate-papos com agentes, etc.). Também não se pode excluir que alguns conteúdos gerados pelo chatbot possam gerar mais chamadas telefônicas do que antes, se forem evasivos ou insatisfatórios.

Somente estudos cruzados serão realmente capazes de revelar planos de ação que vão além do perímetro do chatbot, contextualizando-o em seu ambiente econômico global.

Para saber mais sobre o Inbenta Chat, clique aqui.