L'évaluation dans le domaine de l'informatique est le principe qui consiste à évaluer les performances d'un système en comparant les résultats obtenus avec les résultats attendus.
L’évaluation est une composante majeure de l’aboutissement d’un travail de recherche ou industriel et soulève encore, bien que longuement étudiée, de nombreuses problématiques. Son importance est telle qu’elle fait l’objet d’événements spécialement dédiés à la présentation des résultats, des « campagnes d’évaluation » (exemple de campagnes : TREC et CLEF).
L’évaluation d’un système de recherche d’information consiste à analyser la capacité d’un système à sélectionner des documents pertinents en réponse à une requête –c’est-à-dire, la capacité à renvoyer des documents (liens, FAQ, images…) qui répondent au besoin informationnel de l’utilisateur. Cette « pertinence » n’est pas sans poser de problèmes puisque, en tant que notion, elle est justement difficilement mesurable. Pour autant, des métriques ont été mises au jour pour la mesurer.
Comment Inbenta évalue son système de FAQ ?
Inbenta a mis en place un système d’évaluation qui permet d’informer ses clients à l’instant t des performances du système. Nous nous intéressons d’une part aux performances du système et, d’autre part, à l’expérience utilisateur. En effet, un module d’évaluation est disponible après avoir cliqué sur une FAQ et laisse la possibilité à l’internaute de rédiger son avis sur la réponse proposée.
Quant aux performances, Inbenta se base sur le taux de bonnes réponses. Nous partons du postulat que, si un utilisateur a cliqué sur la (ou les) FAQ proposée(s), alors la (ou les) FAQ renvoyée(s) par le moteur répondai(en)t bien à son besoin informationnel, et inversement.
Nous nous intéressons également au nombre d’emails ou encore au nombre d’appels que l’utilisation de la FAQ a permis d’éviter. Il s’agit du taux de réduction.
En quoi ces KPI de performance sont-ils utiles à Inbenta ?
Ces KPI, en premier lieu, attestent des bénéfices de la solution auprès de nos clients et par conséquent de son utilité. En second lieu, ils permettent d’en optimiser les résultats via l’analyse des questions sans réponse et/ou sans clic ainsi que des commentaires négatifs. Nous pouvons rapidement déceler d’éventuels problèmes et leur apporter des solutions en modifiant la base instantanément. Cela passe par des actions telles que :
- Enrichissement de la base de connaissances selon les besoins réels des utilisateurs ;
- Modifications des contenus de la FAQ (précision de la réponse, ajout de vidéos, de liens, de documents explicatifs…)
- Détection et remontée de bugs au client ;
- Amélioration de l’algorithme de matching via du fine-tuning ;
- Recommandations ergonomiques portant sur l’interface suite à une évaluation.
Cette analyse des statistiques par les équipes linguistiques d’Inbenta assure à ses clients un suivi régulier de leur projet. La réactivité dont font preuve nos équipes, couplée à des échanges dynamiques avec les clients, nous permet de leur offrir des solutions personnalisées et adaptées aux besoins de leurs internautes !
Inbenta, en quelques chiffres
La moitié des projets atteignent actuellement un taux de bonnes réponses (ie. FAQ cliquées) supérieur ou égal 70% !
Tous nos projets dépassent les 60% concernant le taux de satisfaction. Un tiers des projets atteignent un taux de satisfaction supérieur à 80% !