Le RAG suffit-il ? Pourquoi la recherche de documents continue-t-elle de produire des résultats erronés dans le service client ?

La génération augmentée par la recherche (RAG) réduit les « hallucinations » dans le service client. Elle ne les élimine pas pour autant. La RAG identifie les passages de votre contenu qui correspondent le mieux à la question d’un client et les transmet à un modèle linguistique, qui rédige une nouvelle réponse pendant que le client attend. C’est lors de cette étape de rédaction que des faits non étayés peuvent s’immiscer. Inbenta Encore, la plateforme d’IA axée sur la connaissance pour l’expérience client, déplace le travail de construction de chaque réponse vers la phase d’ingestion. La réponse en temps réel se transforme en une simple recherche, et le modèle façonne la formulation, et non les faits.

En quoi le RAG est-il pertinent, et quels aspects conserve-t-il ?

Le RAG représente une véritable avancée par rapport à un modèle qui répond de mémoire. Il ancre la réponse dans vos documents ; ainsi, le modèle consulte votre politique de remboursement au lieu de deviner ce que ces politiques stipulent généralement. C'est un atout indéniable.

Ce que le RAG conserve, c'est la génération. Le modèle continue de composer chaque réponse au moment de l'exécution à partir des extraits renvoyés, et c'est toujours lui qui décide comment les combiner. La récupération détermine ce que le modèle lit. Elle ne détermine pas le contenu de la réponse.

Pourquoi la recherche renvoie-t-elle toujours des résultats erronés ?

La recherche classe les extraits en fonction de leur pertinence par rapport à une question. Elle ne vérifie pas s'ils sont d'actualité, cohérents ou complets, et le contenu d'entreprise répond rarement à ces trois critères à la fois. Trois schémas sont à l'origine de la plupart des « hallucinations » du RAG dans le service client.

Le premier problème concerne les sources contradictoires. Prenons un exemple concret : la page consacrée à la politique de remboursement indique 30 jours, tandis qu’un ancien fichier PDF mentionne 14 jours. Les deux réponses correspondent à la question, elles apparaissent donc toutes les deux. Le modèle en sélectionne une, ou les combine pour former une réponse qui ne figure dans aucun des deux documents.

Le deuxième problème concerne les sources obsolètes. Des frais supprimés lors d'un changement de politique au trimestre dernier peuvent encore figurer dans un ancien article d'aide qui reste bien référencé, car il utilise toujours les termes employés par les clients. Le moteur de recherche ne peut pas déterminer quelle version est en vigueur.

Le troisième problème concerne les sources incomplètes. La règle qui permet de trancher une question figure souvent dans une note de dossier, un compte-rendu d’agent ou une exception signalée par un superviseur, et non sur la page publique. Lorsque ce passage manque, le modèle comble cette lacune avec une réponse plausible. C’est là l’« hallucination » que le client vit réellement : une réponse fluide qui ne repose sur aucun élément approuvé par l’entreprise.

Les garde-corps et l'ingénierie préventive permettent-ils de combler cet écart ?

Les « guardrails » et l’ingénierie des prompts réduisent le taux d’hallucinations, et leur mise en œuvre en vaut la peine. Les règles de prompt indiquent au modèle de rester dans les limites du texte extrait. Les « guardrails » vérifient la sortie une fois celle-ci générée et bloquent ce qui semble erroné. Aucune de ces deux approches ne s’attaque au problème sous-jacent : c’est toujours le modèle qui génère la réponse.

Les garde-fous ont également leurs limites. Un contrôle ne détecte que les erreurs pour lesquelles il a été conçu. Une réponse convaincante, grammaticalement correcte et proche d’une politique réelle peut passer à travers un filtre conçu pour repérer les erreurs évidentes. Les erreurs qui nuisent aux équipes soumises à une réglementation sont généralement celles qui semblent correctes à la lecture, et ce sont précisément celles qu’un outil de vérification est le moins à même de signaler. C’est le cas des « hallucinations » évitées par l’architecture elle-même, et non par un garde-fou ajouté a posteriori.

Les arguments généraux en faveur d'une modification de l'architecture plutôt que de la consigne sont exposés dans l'article « Comment éviter les hallucinations de l'IA dans le service client : modifiez l'architecture, pas la consigne ».

Quels changements cela implique-t-il lorsque le travail passe à la phase d'ingestion ?

Inbenta Encore effectue le travail nécessaire pour générer une réponse dès l'intégration du contenu, et non pas lorsque le client pose sa question. Il structure le contenu, identifie les différentes façons dont un client réel pourrait formuler sa question et associe chaque question à une solution. Un deuxième modèle, indépendant, valide chaque réponse avant sa mise en ligne. Un expert en la matière valide ensuite l'information avant qu'elle ne soit accessible au client, et cette validation constitue la trace d'audit.

Au moment de l'exécution, Encore associe la demande du client à une réponse approuvée et y joint sa source. Un modèle linguistique peut adapter la formulation afin que la réponse s'intègre naturellement dans la conversation. Il ne rédige pas les faits. Lorsqu'aucune réponse approuvée ne correspond, Encore ne force pas une correspondance approximative. C'est là toute la différence entre un modèle qui compose une réponse et un système qui en recherche une puis la reformule.

Cette approche est efficace à grande échelle. Chez un constructeur automobile mondial, une seule opération d’ingestion a permis d’extraire plus de 25 000 intentions en trois langues à partir d’une source exclusivement en anglais. Une opération d’ingestion sur un ensemble de contenus type dure entre 30 et 60 minutes. Les assistants IA en production répondent avec une précision comprise entre 98 et 99 %.

Une piste d'audit est-elle plus importante qu'une meilleure recherche ?

Pour les équipes soumises à une réglementation, c'est généralement le cas. Les services chargés de la gestion des risques et de la conformité commencent rarement par se demander si une réponse est généralement correcte. Ils cherchent plutôt à savoir d'où elle provient et qui a validé la source. Un pipeline de recherche peut indiquer quels passages ont été extraits pour une réponse donnée. En revanche, il ne permet généralement pas de vérifier qu'une personne habilitée a validé le contenu sous-jacent à ces passages avant que le client ne pose sa question.

Inbenta Encore associe chaque réponse à sa source et l'enregistre, ce qui permet à une équipe de remonter jusqu'au contenu réglementé qui la sous-tend et à l'autorisation accordée lors de sa création. Une meilleure traçabilité augmente les chances de succès. Une piste d'audit apporte la réponse. Dans un centre de contact soumis à une réglementation, c'est souvent cette traçabilité qui convainc le comité des risques de donner son feu vert.

Quelles questions une équipe doit-elle se poser avant de faire confiance à un assistant basé sur le modèle RAG ?

Quatre questions permettent d'évaluer en grande partie un assistant basé sur le modèle RAG. À quelle étape la réponse est-elle générée : par un modèle lors de l'exécution, ou par la consultation d'une information déjà validée ? Où la validation a-t-elle lieu, et qui la procède ? Que fait l'assistant lorsqu'aucune source ne correspond : transmet-il la demande à un niveau supérieur, pose-t-il une question de clarification ou émet-il une hypothèse ? Combien de temps faut-il pour qu'une modification de politique soit répercutée sur chaque canal ? Des réponses claires aux première et troisième questions en disent plus long que n'importe quel schéma de récupération.