Moteur de chatbot : vous faut-il en changer ?

Le moteur de Traitement Automatique du Langage à la base des solutions chatbots est la clé de déchiffrement des interactions entre l'homme et la machine. Il faut le considérer comme la composante décisive des ces outils de self-care digital en langage naturel.

Moteur de chatbot : qu’est ce qu’une “bonne” technologie TAL ?

Une technologie TAL efficace est capable d’établir la correspondance sémantique entre une question et une réponse issue d’une base de connaissances. Elle sait s’affranchir des mots-clefs utilisés pour formuler la question, et ainsi mettre en corrélation le langage client et les contenus d’aide rédigés en jargon métier.

Matching NLP

Attention : dans le cas où la réponse n’existe pas dans la base de connaissances (ici “Comment déclarer un sinistre sur un équipement technologique ?”), impossible de juger la pertinence de la technologie. Il convient donc de bien tester uniquement la capacité du moteur TAL à faire le lien entre une question et une réponse déjà présente dans la base.

Comment évaluer une “bonne” technologie TAL ?

Dans les faits, il est difficile d’ouvrir le capot des différentes technologies disponibles sur le marché, dont les concepteurs protègent précieusement le secret.

Il est néanmoins possible de s’appuyer sur une méthode empirique, en menant des tests de charge depuis les interface exploitant le moteur TAL.

La méthode du test de charge consiste à soumettre un grand nombre de questions qui appellent une réponse bien présente dans la base de connaissances. On vérifie ainsi la capacité du moteur TAL à faire la correspondance sémantique (ou “matching” sémantique) entre la question et la réponse correspondante.

Voici sur ce principe, un test réalisé entre la technologie Inbenta et les technologies IBM Watson, Luis et Dialogflow (PDF téléchargeable en anglais).

Test de charge NLP - Inbenta vs. concurrents

 

Comment mener correctement un test de charge ?

Au delà de bien préparer son jeu de questions pour que le test soit concluant, il est primordial de prendre conscience du phénomène de Long Tail.

Ce concept, souvent utilisé en SEO, s’applique également aux outil d’assistance en ligne. C’est flagrant lorsqu’on prend le temps d’analyser les historiques de conversations de son projet. Les données conversationnelles sont extrêmement précieuses car elles rendent compte de la façon dont les utilisateurs s’expriment. On réalise alors la richesse de la langue française!

Extrait d’historique de requêtes chez un assureur

Pour une thématique donnée de votre base de réponse, « Comment déclarer un sinistre sur un équipement technologique ?” , il existe des milliers de formulations possibles :

  • “suite à la foudre ma tv a rendu l’âme”
  • “mon écran ne marche plus”
  • “on m’a volé mon smartphone dans le métro!”
  • “ma chaine hifi a grillé”
  • “…”

La formulation la plus populaire (la tête de la Long Tail) pourrait être dans notre exemple “déclaration sinistre appareil informatique”. Des dizaines d’utilisateurs utilisent probablement chaque cette même formulation.

 

On pourrait estimer de prime abord que cette requête est la plus importante.

 

C’est pourtant faux.

 

Bien qu’étant la plus populaire (10 itérations dans le mois par exemple), elle reste certainement peu représentative. Nous observons chaque mois chez un client assureur plus de 3 000 requêtes en moyenne. Une telle requête “populaire” ne pèserait donc que 0,3% des requêtes.

Parmi ces 3 000 requêtes, la grande majorité des questions auront une formulation unique, utilisée une seule fois (1 itération dans le mois, soit 0,03% en terme de poids):

  • “déclaration sinistre“ (0,3%)
  • “smartphone sinistre” (0,2%)
  • “téléphone portable cassé” (0,1%)
  • “suite à la foudre ma tv a rendu l’âme”  (0,03%)
  • “ma tv ne marche plus” (0,03%)
  • “on m’a volé mon smartphone dans le métro!” (0,03%)
  • “ma chaine hi fi a grillé” (0,03%)
  • “…”

Ces formulations uniques et pesant dans notre exemple 0,03% du poids des requêtes forment la queue de la long Tail. Elles sont caractérisées très souvent par des compositions complexes, avec plusieurs mots-clef (langage naturel oblige!).

La queue de la Long Tail correspond à souvent plus de 80% des requêtes!

Ce sont ces requêtes, invisibles, comme la partie cachée d’un iceberg, qui sont les plus importantes.

Les moteurs de recherche à mot clef ou les “mauvaises” technologies de Traitement Automatique du Langage sont inefficaces sur ce type de requête. Vous pourrez rapidement en testant des requêtes longues vous en rendre en compte.

Ces mêmes technologies sont cependant efficaces sur la tête de long tail “j’ai perdu mon mot de passe”, “ou est mon colis ?”, etc. mais cela est du coup trompeur car la tête de ne concerne que 20% des requêtes! 80% des requêtes seront donc en échec.

Ne vous laissez pas berner par une “mauvaise” technologie TAL!

 

Pensez donc pour vos tests de charge à utiliser des vrais historiques de recherche ou n’hésitez pas à formuler des questions à 4-5 mots clefs en variant les mots utilisés car la langue française est souvent plus riche qu’on ne le pense!

 

Vous souhaitez mettre en place un chatbot dans votre parcours client ? Téléchargez notre guide qui vous donnera les clés pour mener ce projet à bien :

projet chatbot

 

 

Luc_Truntzler
Luc Truntzler