Votre assistant virtuel fonctionne. Les clients l'apprécient. C'est alors que le service de conformité pose la question décisive pour sa mise en service : « Si, dans six mois, un organisme de réglementation examine une interaction avec un client, serez-vous en mesure de lui indiquer d'où provenait la réponse ? »
La traçabilité de l'IA dans un environnement « Glass Box » désigne la propriété d'un système selon laquelle chaque réponse fournie au client peut être rattachée à une source spécifique et réglementée, et peut être justifiée en cas d'audit.
Les autorités de régulation des secteurs des services financiers, des jeux d'argent et de hasard en ligne, du voyage et de l'hôtellerie, ainsi que du SaaS B2B ne se contentent pas d'une explication du type « c'est ce qu'indique le modèle ». Elles exigent des processus décisionnels reproductibles. La plupart des plateformes d'IA ne sont pas en mesure de les fournir.
Voici pourquoi la traçabilité architecturale est plus importante que l'explicabilité a posteriori, quelle direction prennent les normes, et quelles exigences il convient d'imposer à toute plateforme gérant des interactions réglementées avec les clients.
Points clés à retenir
- L'IA « transparente » signifie que chaque décision peut être retracée jusqu'à sa source et que chaque réponse peut être expliquée à un organisme de réglementation, et pas seulement à un data scientist.
- Les notions de « sécurité » et de « vérifiabilité » correspondent à des normes différentes. Les secteurs réglementés ont besoin des deux, mais la vérifiabilité est le critère le plus exigeant.
- La traçabilité doit être intégrée à l'architecture, c'est-à-dire au cœur même du processus par lequel l'IA génère ses réponses. L'explicabilité a posteriori n'est qu'une approximation, et non une preuve.
- Les plateformes axées sur la connaissance qui traitent le contenu en amont pour le transformer en intentions contrôlées offrent une traçabilité par défaut, et non comme une fonctionnalité ajoutée a posteriori.
- Prenez rendez-vous pour une démonstration afin de découvrir comment la traçabilité de Glass Box s'applique aux interactions avec les clients soumis à une réglementation.
Quelle est la différence entre l'IA « glass box » et l'IA « black box » ?
La plupart des acheteurs en entreprise sont confrontés à l'opposition entre « boîte transparente » et « boîte noire » dans le domaine des modèles : d'un côté, des modèles simples et interprétables ; de l'autre, des réseaux neuronaux complexes. Cette opposition est toutefois incomplète lorsqu'il s'agit de l'IA déployée dans des environnements réglementés.
La question opérationnelle n'est pas de savoir si le modèle est suffisamment simple pour être interprété. Il s'agit plutôt de déterminer si le processus décisionnel du système peut être retracé lorsqu'un régulateur demande pourquoi un client a reçu telle ou telle information.
Un système de type « boîte transparente » répond par des preuves. Un système de type « boîte noire » répond par des déductions. La différence est d'ordre structurel, et non analytique.
L'IA de type « boîte noire » peut être rendue plus interprétable. Elle ne peut toutefois pas être rendue vérifiable au sens réglementaire du terme.
Le fait d'expliquer approximativement pourquoi un modèle a produit un résultat ne revient pas à expliquer pourquoi un client a reçu une réponse. Les autorités de régulation ont commencé à établir clairement cette distinction.
Ce que l'IA « en toute transparence » signifie réellement pour les entreprises soumises à une réglementation
En science des données, l'IA « en transparence » désigne un modèle que les humains peuvent interpréter directement : arbres de décision, régression linéaire, ensembles de règles.
Cette définition convient à la modélisation des risques et à la notation de crédit, où le modèle lui-même constitue le résultat attendu. Elle ne s'applique pas à l'IA destinée aux clients.
Dans le domaine de l'expérience client (CX), le modèle n'est qu'un élément d'un système plus vaste, et le résultat final correspond à la réponse reçue par le client. L'IA « en transparence » destinée à l'expérience client en entreprise présente cinq caractéristiques opérationnelles.
Observable
Chaque interaction avec un client permet d'enregistrer les demandes formulées, les informations recherchées, les réponses fournies et le canal utilisé. Les équipes chargées de la conformité peuvent accéder à ces journaux sans intervention du service technique.
Traçable
Chaque réponse renvoie au contenu spécifique réglementé qui l'a générée. Le parcours entre la requête du client et la réponse peut être retracé au niveau de chaque interaction.
Gérable
Les responsables du contenu déterminent ce qui est intégré à la base de connaissances, ce qui fait l'objet d'un contrôle de version et ce qui est retiré. Les mises à jour sont accompagnées de journaux de modifications vérifiables.
Vérifiable
Les dossiers d'audit sont constitués à la demande de l'autorité de régulation sans nécessiter de travaux d'ingénierie spécifiques. La structure des données prend en charge l'audit de manière native.
Vérifiable
Des évaluateurs indépendants peuvent vérifier que la réponse de l'IA correspond bien à la source à partir de laquelle elle a été extraite. Aucune étape d'interprétation statistique n'est nécessaire.
Ces cinq propriétés ne résultent pas de l'ajout d'une couche d'explicabilité à un modèle génératif. Elles découlent de la manière dont le système a été conçu.
Soit les réponses sont extraites de sources réglementées au moment de l'exécution, soit elles sont générées de manière probabiliste puis estimées a posteriori. Il n'existe pas de solution intermédiaire qui satisfasse les autorités de régulation.
Pourquoi « sûr » ne signifie pas « vérifiable »
La plupart des fournisseurs d'IA mettent en avant la sécurité : garde-fous, filtres de contenu, modèles de refus, résistance au « jailbreak ». La sécurité est nécessaire, mais elle ne suffit pas pour les déploiements soumis à une réglementation.
« Sûr » signifie que l'IA ne causera aucun préjudice. Des garde-fous empêchent le modèle de dire ce qu'il ne devrait pas. Le client est protégé dès le moment de l'interaction.
« Vérifiable » signifie que vous pouvez prouver à une autorité de régulation ce qu'a dit l'IA, dans quelle langue, à quel client, en puisant dans quelle source, à quelle date et pour quelle raison.
L'entreprise est protégée au moment de l'examen, qui peut avoir lieu des mois, voire des années après l'interaction. La sécurité réside dans l'interaction ; la traçabilité réside dans l'enregistrement.
Les autorités de régulation des services financiers, les autorités chargées du RGPD, les commissions chargées des jeux d'argent et de hasard en ligne, ainsi que les clients des solutions SaaS B2B réglementées évaluent l'IA sous ces deux aspects.
La plupart des plateformes investissent massivement dans le premier aspect et ne font que semblant de s'intéresser au second. C'est précisément cet écart qui fait que les programmes d'IA piétinent avant d'atteindre le stade de la production.
Le test pratique : lorsqu'un organisme de réglementation demande les enregistrements de toutes les interactions entre l'IA et les clients portant sur un sujet précis au cours d'une période de 90 jours, la plateforme est-elle en mesure de les fournir avec une attribution complète ?
Si la solution nécessite une conception sur mesure, la plateforme est sécurisée mais ne peut pas faire l'objet d'un audit.
La différence architecturale : explicabilité a posteriori contre traçabilité intégrée
Il existe deux approches en matière d'explicabilité de l'IA, et elles ne sont pas équivalentes.
Boîte noire avec superposition XAI
L'IA génère une réponse de manière probabiliste, puis une couche distincte dédiée à l'explicabilité (SHAP, LIME, visualisation de l'attention) tente d'expliquer pourquoi.
Cette superposition donne une idée du raisonnement du modèle. Elle est utile aux équipes de science des données pour le débogage des comportements. Elle ne constitue pas une preuve juridique.
Les explications a posteriori sont de nature statistique, et non déterministe, et ne s'inscrivent pas dans le chemin de réponse.
Boîte de verre par architecture
Lors de l'ingestion, l'IA traite le contenu source pour le convertir en intentions contrôlées. Au moment de l'exécution, le système associe la requête à une intention et renvoie la réponse pré-validée.
Aucun élément n'est généré de manière aléatoire lors de l'interaction. Le chemin de décision correspond à l'architecture elle-même, telle qu'elle a été enregistrée au moment où la réponse a été fournie.
Un déploiement combinant une boîte noire et l'XAI indique aux autorités de régulation : « Notre modèle a probablement pondéré ces caractéristiques de cette manière. »
Un système de boîte de dialogue leur indique : « Cette réponse a été extraite de cette source, révisée pour la dernière fois à cette date, par ce propriétaire. »
« Programmed Intelligence », qui s'appuie sur l'architecture à double LLM d'Encore, met en œuvre la deuxième approche. Les LLM se chargent de la compréhension conversationnelle. Un système de recherche propriétaire extrait la réponse de la couche d'ingénierie des connaissances, qui est soumise à des règles.
La réponse que le client reçoit est celle que le service de conformité est en mesure de fournir à la demande.
L'IA « Glass Box » en pratique : à quoi ressemble la traçabilité selon les secteurs
La traçabilité architecturale se traduit par des exigences opérationnelles différentes selon le contexte réglementaire. Trois secteurs d'activité illustrent cette tendance.
Services financiers
La cohérence dans la communication est un impératif absolu. Une banque qui dit une chose à un client par chat et une autre par téléphone se retrouve confrontée à un problème avec le CFPB avant même d'avoir un problème d'expérience client.
La traçabilité totale garantit que chaque canal s'alimente à partir de la même source réglementée. Les exigences en matière de gestion des risques liés aux modèles (SR 11-7 de la Réserve fédérale, OCC 2011-12) imposent une gouvernance documentée des modèles.
L'architecture en « boîte de verre » s'impose car le modèle n'est pas la source des réponses faisant autorité. Les pistes d'audit justifiables lors des contrôles menés par le CFPB, l'OCC et la FDIC découlent de cette architecture.
Tourisme et hôtellerie : des activités réglementées
L'article 30 du RGPD exige la tenue de registres des activités de traitement, y compris des décisions automatisées concernant les clients de l'UE. L'IA de type « boîte noire » rend cette tâche difficile, car ces registres constituent des reconstitutions statistiques.
L'architecture « glass box » génère des enregistrements natifs : quelle requête a été traitée, dans quelle langue, pour quel profil client. Les options de déploiement sur site et dans un VPC répondent aux exigences en matière de localisation des données pour les opérations au sein de l'UE.
SaaS B2B destiné à une clientèle soumise à une réglementation
L'IA d'un fournisseur SaaS s'aligne sur la politique de conformité de ses clients. Si le client est une banque, l'IA du fournisseur doit répondre aux exigences d'audit de cette dernière.
Les critères SOC 2 Trust Services exigent la fourniture de preuves attestant de l'existence de contrôles sur les interactions gérées par l'IA. L'architecture « glass box » permet au fournisseur de SaaS de générer des pistes d'audit spécifiques à chaque client, traçables jusqu'au contenu de connaissances propre à chacun d'entre eux.
Le principe de base : l'auditabilité ne consiste pas à affirmer aux autorités de régulation que l'IA est sûre. Il s'agit plutôt de fournir les preuves demandées par les autorités de régulation, dans le format qu'elles exigent et dans les délais qu'elles fixent.
Quelles sont les exigences à poser à une plateforme d'IA vérifiable ?
Un cadre d'évaluation pratique pour toute plateforme d'IA se déclarant conforme à la réglementation :
Attribution de la source au niveau de l'interaction
Chaque réponse destinée au client doit renvoyer vers le contenu spécifique et contrôlé qui l'a générée. Pas de journaux agrégés. Des interactions individuelles, consultables.
Structure native du journal d'audit, et non des rapports personnalisés
Lorsque le service de conformité demande les enregistrements des interactions, la plateforme les génère à partir des données existantes. « Nous pouvons vous les créer » signifie que la plateforme n'est pas prête pour un audit.
Historique des versions et des modifications
Les mises à jour du contenu de la base de connaissances génèrent des journaux de modifications vérifiables : ce qui a changé, quand, par qui, et quelles interactions faisaient référence à la version précédente.
Sans gestion des versions, les pistes d'audit relatives aux interactions antérieures à la modification sont incomplètes.
Parité linguistique et parité des canaux
La même réponse, issue de la même source, a été analysée de la même manière pour les services vocaux, le chat, la recherche et l'assistance par agent.
Une plateforme qui analyse le texte mais pas la voix n'est pas adaptée à l'audit omnicanal.
Indépendance vis-à-vis de la couche modèle
La traçabilité ne doit pas dépendre d'un fournisseur de LLM en particulier. Si la plateforme change de modèle, le format de la piste d'audit doit rester inchangé.
Accès aux données d'audit en fonction des rôles
Les équipes chargées de la conformité ont besoin d'un accès direct, sans intervention du service technique. Si l'extraction des données d'audit nécessite l'ouverture d'un ticket, le calendrier de l'audit ne correspondra pas à celui de l'autorité de régulation.
Si un fournisseur n'est pas en mesure de démontrer ces six éléments dans un environnement opérationnel, la plateforme n'est pas conforme aux exigences réglementaires, quels que soient les arguments marketing avancés en matière de transparence.
Comment Encore garantit la traçabilité des boîtes en verre
Encore a été conçu selon les principes de l'architecture des « boîtes de verre », et non dans le cadre d'une rénovation.
L'intelligence programmée, qui s'appuie sur l'architecture à double LLM d'Encore, sépare la compréhension conversationnelle de la génération de réponses. Les LLM interprètent ce que les clients veulent dire. La couche d'ingénierie des connaissances, soumise à des règles, est à l'origine de chaque réponse.
Ces deux éléments sont coordonnés par l'orchestration de l'IA : celle-ci assure la coordination, l'acheminement et la gestion de multiples systèmes, modèles, outils et sources de données d'IA afin qu'ils fonctionnent ensemble pour offrir une expérience unique et fiable.
Cette séparation garantit d'emblée la traçabilité. Chaque interaction enregistre l'intention qui a été récupérée, la source qui l'a créée, la version linguistique qui a été renvoyée et le canal par lequel elle a été diffusée.
Les équipes chargées de la conformité interrogent directement les données. Les dossiers d'audit sont constitués sans intervention technique.
La couche d'ingénierie des connaissances constitue la source de référence pour les services vocaux, le chat, la recherche et l'assistance par agent. Une réponse vocale s'appuie sur le même contenu contrôlé qu'une réponse par chat.
La cohérence des informations est intégrée au système. La gestion des versions et l'historique des modifications sont des fonctionnalités natives.
La solution Encore d'Inbenta a reçu le TSIA Star Award, qui atteste de la conformité de la plateforme aux normes de référence en matière d'expérience client (CX) pour les entreprises. Trois déploiements illustrent la transparence totale de la solution dans des environnements réglementés.
BBVA, l'une des principales institutions financières d'Espagne, a collaboré avec Inbenta pour orienter son service client vers l'auto-résolution, réduisant ainsi le nombre d'appels vers son réseau d'agences commerciales de 71 % à 11 % de l'ensemble des interactions en l'espace de douze mois.
GOL Airlines traite plus de 10 millions de demandes de clients chaque année grâce à une traçabilité de bout en bout, toutes langues confondues.
Travel Club, le plus grand programme de fidélité d'Espagne, a remplacé son ancien système IVR rigide par notre solution d'IA, ce qui lui a permis de réduire le coût par appel de 39 % et d'atteindre un taux d'auto-service de 50 %.
Si votre programme d'IA doit obtenir l'aval d'un responsable de la sécurité des systèmes d'information (RSSI), d'un directeur des risques ou d'une autorité de régulation avant d'être mis en production, l'architecture « glass box » est le point de départ idéal. Réservez une démonstration pour découvrir à quoi ressemble une IA conforme aux exigences réglementaires dans votre environnement.
Foire aux questions
Qu'est-ce que l'IA « Glass Box » ?
Glass Box AI est un système dans lequel chaque décision peut être retracée jusqu'à sa source et dont le cheminement décisionnel peut être reconstitué à la demande.
Dans le cadre de l'expérience client en entreprise, les réponses sont extraites d'un contenu contrôlé plutôt que générées de manière probabiliste, ce qui permet de vérifier et de justifier chaque interaction avec le client.
Pourquoi la traçabilité de l'IA est-elle importante pour les secteurs réglementés ?
Les autorités de régulation des secteurs des services financiers, des jeux d'argent et de hasard en ligne, du voyage et des logiciels SaaS B2B exigent des preuves sur la manière dont sont prises les décisions basées sur l'IA qui ont une incidence sur les clients.
Une IA vérifiable génère des enregistrements reconstituables de chaque interaction. Une IA non vérifiable ne peut pas répondre aux exigences de vérification, quelle que soit la fiabilité de ses résultats.
En quoi la vérifiabilité diffère-t-elle de la sécurité de l'IA ?
La sécurité empêche l'IA de causer du tort au moment de l'interaction. La traçabilité permet de conserver une trace des actions de l'IA afin que l'entreprise puisse justifier son comportement en cas d'enquête ultérieure.
La sécurité réside dans l'interaction ; la traçabilité réside dans les registres. Les secteurs réglementés ont besoin des deux.
Quels sont les critères à prendre en compte pour choisir une plateforme d'IA vérifiable ?
Attribution des sources au niveau des interactions, structure native du journal d'audit, gestion des versions pour le contenu documentaire, cohérence entre les langues et les canaux, indépendance vis-à-vis de la couche modèle et accès basé sur les rôles pour les équipes chargées de la conformité.
En quoi une architecture axée sur les connaissances favorise-t-elle la conformité en matière d'IA ?
L'architecture axée sur la connaissance traite le contenu lors de l'ingestion pour en extraire des intentions contrôlées. Les réponses sont puisées dans ces intentions au moment de l'exécution, plutôt que d'être générées de manière probabiliste.
Chaque interaction enregistre l'intention utilisée et la source qui l'a générée, ce qui permet de créer des pistes d'audit natives conformes aux exigences réglementaires en matière de conservation des données.
Est-il possible de rendre une IA de type « boîte noire » vérifiable après son déploiement ?
L'ajout de couches d'explicabilité à une IA de type « boîte noire » permet d'obtenir des approximations du raisonnement du modèle, et non des enregistrements des décisions prises.
Ces approximations aident les équipes de science des données à corriger les dysfonctionnements, mais ne répondent pas aux exigences des autorités de régulation en matière de traçabilité des processus décisionnels. Une véritable traçabilité est une question d'architecture, et non une mesure a posteriori.
Si la traçabilité de type « glass box » est une condition préalable à votre prochain déploiement d'IA, l'architecture doit être en place dès le premier jour. Prenez rendez-vous pour une démonstration afin de découvrir comment Encore met en œuvre cette approche « glass box » dans le cadre de votre propre cas d'utilisation.
Articles connexes
