Contrôler les réponses fournies par l'IA dans le cadre du service client, c'est pouvoir indiquer d'où provient une réponse, qui l'a validée et si elle était exacte au moment où le client l'a reçue.
La plupart des équipes s'y prennent en analysant les conversations a posteriori. Mais cela ne leur permet de savoir ce qui s'est passé que dans un faible pourcentage des conversations.
Une meilleure approche consiste à vérifier les informations sur lesquelles reposent les réponses avant leur mise en ligne, puis à s'assurer que toute réponse fournie à un client puisse être rattachée à une source approuvée.
C'est l'approche que nous adoptons chez Inbenta pour développer Inbenta Encore, notre plateforme d'IA axée sur la connaissance et dédiée à l'expérience client.
Un audit des réponses générées par l'IA doit porter sur quatre aspects
Pour évaluer correctement une réponse fournie par un service client basé sur l'IA, il suffit de se poser quatre questions :
- Provenance : De quelle source fiable provient cette réponse ?
- Autorisation : qui a validé ces informations, et quand ?
- Exactitude : La réponse reflétait-elle fidèlement la source et la politique en vigueur au moment où elle a été donnée ?
- Cohérence : un autre client, s'il avait contacté l'entreprise par un autre canal, aurait-il reçu les mêmes informations ?
Pourquoi l'échantillonnage des transcriptions ne suffit pas pour vérifier les réponses générées par l'IA
L'échantillonnage des transcriptions a été conçu en fonction des agents humains. L'hypothèse sous-jacente est que si un agent donne une réponse correcte aujourd'hui, il donnera probablement la même réponse demain.
L'IA générative bouleverse cette équation. Une même question peut donner lieu à des formulations différentes et, dans certains cas, à des faits différents selon le moment où elle est posée.
Imaginons un centre d'appels traitant 50 000 conversations par mois via un assistant IA. Si l'équipe chargée de l'assurance qualité examine 2 % de ces conversations, cela représente 1 000 transcriptions. Les 49 000 restantes ne sont pas examinées.
En octobre 2026, l'Autorité de conduite financière britannique (FCA) a défini les bonnes pratiques en matière d'intelligence artificielle dans le secteur des services financiers. Les entreprises qui les appliquaient correctement conservaient des traces des invites adressées aux consommateurs, des résultats obtenus, des versions des modèles, des filtres utilisés et des décisions de remontée, et surveillaient les résultats en temps réel afin de pouvoir détecter et résoudre rapidement les problèmes.
Le fait de ne prélever qu'un petit échantillon de transcriptions a posteriori ne permet pas à une organisation d'obtenir l'un ou l'autre de ces résultats.
Un audit des réponses générées par l'IA n'est vraiment efficace que s'il commence avant la mise en service
Avant la mise en service d'un assistant IA, la première chose à vérifier est l'ensemble des connaissances sur lesquelles il s'appuiera pour répondre aux clients.
Un audit de pré-production doit porter sur cinq domaines :
1. Couverture des sources
Identifiez les documents et les sources d'information qui ont été inclus, ceux qui ont été omis, ainsi que les points sur lesquels les clients pourraient poser des questions pour lesquelles il n'existe pas encore de réponse validée.
2. Conflits de sources
Recherchez les incohérences entre les documents.
3. Alignement réponse-source
Vérifiez que chaque réponse validée reflète fidèlement la source sur laquelle elle s'appuie, sans y ajouter d'informations supplémentaires ni d'affirmations non étayées.
4. Validation indépendante
Utilisez un deuxième modèle indépendant pour comparer chaque réponse à sa source avant publication.
5. Validation par un être humain
Un expert en la matière examine et valide les informations avant que les clients puissent y accéder. Cette validation permet de déterminer qui a autorisé la publication de ces informations et à quelle date.
Une équipe ne peut pas, dans la pratique, passer en revue des dizaines de milliers de conversations en temps réel chaque jour. Elle peut toutefois analyser les connaissances sous-jacentes à ces conversations et concentrer son attention sur les réponses signalées lors de la validation.
Les réponses générées en temps réel par l'IA doivent pouvoir être rattachées à leur source
Pour toute réponse fournie à un client, un auditeur doit être en mesure d'identifier cinq éléments :
- La question initiale posée par le client.
- La réponse validée que le système a associée à cette question.
- Le document source référencé sur lequel repose cette réponse.
- Qui a validé ces informations et à quelle date ?
- Le canal par lequel la réponse a été transmise et l'heure à laquelle elle a été communiquée.
Si l'une de ces informations fait défaut, la piste d'audit est incomplète.
Pour évaluer la précision, il faut la comparer à des sources reconnues.
Lorsqu'on évalue la précision des réponses fournies par l'IA, la question centrale est simple : la réponse fournie au client correspondait-elle à la source approuvée et à la politique en vigueur à ce moment-là ?
La précision doit être indiquée sous forme de taux mesuré, accompagnée d'une explication sur la manière dont elle a été calculée.
Si le système n'est pas en mesure d'associer avec certitude une question à une réponse approuvée, il doit transférer la conversation à un expert en la matière ou à un conseiller en direct, plutôt que de tenter de fournir une réponse peu fiable.
Nous avons abordé ce sujet plus en détail dans notre article consacré à ce que votre IA de service client devrait faire lorsqu'elle ne connaît pas la réponse.
Réévaluer les réponses générées par l'IA chaque fois que les connaissances sous-jacentes changent
L'audit ne doit pas s'arrêter une fois qu'un assistant IA est mis en service.
Trois événements devraient donner lieu à un examen ciblé :
- Un document source est modifié.
- Une nouvelle source est ajoutée.
- Les tensions s'intensifient autour d'un sujet particulier.
Les examens ciblés doivent s'accompagner d'un examen programmé de l'ensemble des réponses. Pour la plupart des centres d'appels réglementés, un examen trimestriel constitue un bon point de départ, car il s'aligne sur les cycles de révision des politiques que de nombreuses équipes chargées de la conformité suivent déjà.
Ce que les autorités de régulation et les auditeurs internes voudront voir
Pour répondre en toute confiance, une organisation doit être en mesure de fournir cinq éléments de preuve essentiels :
- L'ensemble des réponses validées
- Historique des autorisations
- Historique des conversations individuelles
- Un rapport sur la précision
- Journal des escalades et des lacunes dans les connaissances
Nous abordons cette question dans son ensemble dans notre guide consacré au déploiement de l'IA dans un centre d'appels soumis à une réglementation.
Foire aux questions
Faut-il que quelqu'un vérifie chaque réponse générée par l'IA pour que l'audit soit valable ?
Non. Dans un système axé sur les connaissances, la validation humaine intervient au moment de la création ou de la mise à jour des connaissances, avant que les clients n’y aient accès. Un expert en la matière examine et valide ce que l’IA est autorisée à dire. Cette validation est intégrée au dossier d’audit. Il n’est pas réaliste, à grande échelle, d’examiner individuellement chaque conversation en direct, en particulier lorsqu’un assistant IA gère des milliers d’interactions avec les clients chaque jour.
Quelle est la différence entre une piste d'audit de l'IA et un audit de l'IA ?
Une piste d'audit de l'IA est un enregistrement de ce qui s'est passé. Elle doit consigner la question du client, la réponse sélectionnée, la source sur laquelle elle s'appuie, l'autorisation qui l'a validée, ainsi que la date, l'heure et le lieu où elle a été fournie. Un audit de l'IA utilise ces informations pour vérifier quatre éléments : la provenance, l'autorisation, l'exactitude et la cohérence. La piste d'audit fournit les preuves. L'audit vérifie si ces preuves résistent à un examen minutieux.
Comment Inbenta Encore permet-il de garantir la traçabilité des réponses générées par l'IA ?
Avant qu’une réponse ne soit mise en ligne, un deuxième modèle indépendant la valide en la comparant à sa source. Un expert en la matière approuve ensuite cette information au moment de sa création, avant qu’un client ne puisse la consulter. Cette approbation est intégrée au journal d’audit. Encore assure le lien entre les réponses et leurs sources et consigne ces informations dans un journal d’audit, ce qui permet aux équipes chargées de la gestion des risques et de la conformité de remonter, à partir d’une réponse en ligne, jusqu’au contenu réglementé qui la sous-tend.
Quelle est la précision d'Inbenta Encore, et que se passe-t-il lorsqu'il ne peut pas répondre ?
Inbenta Encore annonce un taux de précision des réponses de 98 à 99 % pour ses assistants IA en production. Lorsque Encore n'est pas certain d'avoir trouvé la bonne réponse, il transmet la demande à un expert en la matière ou à un conseiller humain, plutôt que de fournir une réponse potentiellement peu fiable.
Comment Inbenta Encore réagit-il lorsqu'un document source est modifié après le lancement ?
Encore identifie les réponses concernées par une modification de la source et les signale pour révision. Encore Elevate tire également des enseignements des interactions réelles avec les clients et aide à identifier les lacunes dans la base de connaissances, notamment les questions non couvertes par les informations existantes, les documents sources manquants et les acronymes non définis. Il rédige ensuite les mises à jour nécessaires, qui peuvent être publiées après validation par un opérateur en un seul clic. Chaque validation est intégrée au dossier d'audit en cours.
Découvrez-le sur votre propre contenu
Fournissez une politique, un centre d'aide ou un ensemble de transcriptions, et découvrez comment Encore les transforme en réponses référencées dont votre équipe approuve le contenu.
Planifier une démo
