La auditoría de las respuestas del servicio de atención al cliente basado en IA consiste en poder demostrar de dónde procede una respuesta, quién la aprobó y si era correcta en el momento en que el cliente la recibió.
La mayoría de los equipos abordan esta cuestión revisando las conversaciones a posteriori. Sin embargo, esto solo les permite saber qué ocurrió en un pequeño porcentaje de las conversaciones.
Un enfoque más adecuado consiste en verificar la información en la que se basan las respuestas antes de que se publiquen y, a continuación, asegurarse de que cualquier respuesta facilitada a un cliente pueda remontarse a una fuente autorizada.
Ese es el enfoque que adoptamos en Inbenta a la hora de desarrollar Inbenta Encore, nuestra plataforma de IA centrada en el conocimiento para la experiencia del cliente.
Una auditoría de las respuestas generadas por IA debe abarcar cuatro aspectos
Una auditoría adecuada de una respuesta de atención al cliente generada por IA se resume en cuatro preguntas:
- Procedencia: ¿De qué fuente autorizada procede la respuesta?
- Autorización: ¿Quién aprobó esa información y cuándo?
- Exactitud: ¿Reflejaba la respuesta con precisión la fuente y la política vigente en el momento en que se dio?
- Coherencia: ¿Habría recibido la misma información otro cliente que se hubiera puesto en contacto con la empresa a través de un canal diferente?
Por qué el muestreo de transcripciones no basta para verificar las respuestas de la IA
El muestreo de transcripciones se diseñó pensando en los agentes humanos. La hipótesis subyacente es que, si un agente da una respuesta correcta hoy, probablemente dará la misma respuesta mañana.
La IA generativa cambia esa ecuación. La misma pregunta puede dar lugar a formulaciones diferentes y, en algunos casos, a datos distintos, dependiendo del momento en que se formule.
Imaginemos un centro de atención al cliente que gestiona 50 000 conversaciones al mes a través de un asistente de IA. Si el equipo de control de calidad revisa el 2 % de esas conversaciones, eso supone 1 000 transcripciones. Las 49 000 restantes quedan sin revisar.
En octubre de 2026, la Autoridad de Conducta Financiera del Reino Unido estableció cuáles son las buenas prácticas en materia de inteligencia artificial en los servicios financieros. Las empresas que las aplicaban correctamente llevaban un registro de las indicaciones de los consumidores, los resultados, las versiones de los modelos, los filtros aplicados y las decisiones de escalado, y supervisaban los resultados en tiempo real para poder detectar y resolver los problemas con rapidez.
Analizar una pequeña muestra de las transcripciones a posteriori no aporta a una organización ninguna de esas dos cosas.
La auditoría más eficaz de las soluciones de IA comienza antes de la puesta en marcha
Antes de que un asistente de IA entre en funcionamiento, lo primero que hay que revisar es la base de conocimientos que utilizará para responder a los clientes.
Una auditoría previa a la producción debe abarcar cinco ámbitos:
1. Cobertura de las fuentes
Identifica qué documentos y fuentes de información se han incluido, cuáles se han omitido y en qué casos los clientes podrían plantear preguntas que aún no cuentan con una respuesta aprobada.
2. Conflictos de fuentes
Busca inconsistencias entre los documentos.
3. Alineación entre la respuesta y la fuente
Comprueba que cada respuesta aprobada refleje fielmente la fuente en la que se basa, sin introducir información adicional ni afirmaciones sin fundamento.
4. Validación independiente
Utiliza un segundo modelo independiente para comparar cada respuesta con su fuente antes de su publicación.
5. Aprobación humana
Un experto en la materia revisa y aprueba el contenido antes de que los clientes puedan acceder a él. Esa aprobación deja constancia de quién autorizó la información y cuándo.
No es realista pensar que un equipo pueda revisar decenas de miles de conversaciones en tiempo real cada día. Sin embargo, sí puede revisar la información subyacente a esas conversaciones y centrar su atención en las respuestas señaladas durante la validación.
Las respuestas generadas en tiempo real por la IA deben poder rastrearse hasta su origen
Para cualquier respuesta facilitada a un cliente, un auditor debería poder identificar cinco aspectos:
- La pregunta original que formuló el cliente.
- La respuesta aceptada que el sistema ha asociado a esa pregunta.
- El documento de origen regulado en el que se basa esa respuesta.
- ¿Quién aprobó los conocimientos y cuándo?
- El canal a través del cual se transmitió la respuesta y el momento en que se facilitó.
Si falta alguno de estos datos, el registro de auditoría queda incompleto.
La precisión de las mediciones implica contrastarlas con fuentes autorizadas.
A la hora de evaluar la precisión de las respuestas generadas por la IA, la pregunta fundamental es muy sencilla: ¿coincidía la respuesta facilitada al cliente con la fuente autorizada y con la política vigente en ese momento?
La precisión debe indicarse como una tasa medida, junto con una explicación de cómo se ha calculado.
Si el sistema no puede asociar con certeza una pregunta a la información aprobada, debería derivar la conversación a un experto en la materia o a un agente en directo, en lugar de intentar dar una respuesta poco fiable.
Hemos tratado este tema con más detalle en nuestro artículo sobre qué debe hacer tu IA de atención al cliente cuando no sabe la respuesta.
La IA vuelve a evaluar las respuestas cada vez que cambia el conocimiento subyacente
La auditoría no debería detenerse una vez que el asistente de IA entre en funcionamiento.
Hay tres situaciones que deberían dar lugar a una revisión específica:
- Se produce un cambio en un documento de origen.
- Se añade una nueva fuente.
- Las discusiones se intensifican en torno a un tema concreto.
Las revisiones específicas deben ir acompañadas de una revisión programada del conjunto completo de respuestas. Para la mayoría de los centros de atención al cliente regulados, una revisión trimestral es un punto de partida razonable, ya que se ajusta a los ciclos de revisión de políticas que muchos equipos de cumplimiento normativo ya siguen.
Lo que querrán ver los organismos reguladores y los auditores internos
Para responder con seguridad, una organización debería poder aportar cinco pruebas fundamentales:
- El conjunto de respuestas aceptadas
- Historial de aprobaciones
- Historiales de conversaciones individuales
- Un informe de precisión
- Registro de incidencias y lagunas de conocimiento
En nuestra guía sobre la implantación de la IA en un centro de atención al cliente regulado abordamos el tema desde una perspectiva más amplia.
Preguntas frecuentes
¿Es necesario que alguien revise todas las respuestas generadas por la IA para que una auditoría sea válida?
No. En un sistema basado en el conocimiento, la aprobación humana tiene lugar cuando se crea o actualiza el conocimiento, antes de que los clientes lo vean. Un experto en la materia revisa y autoriza lo que la IA puede decir. Esa aprobación pasa a formar parte del registro de auditoría. Revisar cada conversación en directo de forma individual no es viable a gran escala, sobre todo cuando un asistente de IA gestiona miles de interacciones con los clientes cada día.
¿Cuál es la diferencia entre un registro de auditoría de IA y una auditoría de IA?
Un registro de auditoría de IA es el registro de lo que ha ocurrido. Debe recoger la pregunta del cliente, la respuesta seleccionada, la fuente en la que se basa, la autorización correspondiente, así como cuándo y dónde se facilitó. Una auditoría de IA utiliza esa información para verificar cuatro aspectos: procedencia, autorización, exactitud y coherencia. El registro proporciona las pruebas. La auditoría comprueba si dichas pruebas resisten un examen minucioso.
¿Cómo consigue Inbenta Encore que las respuestas generadas por IA sean auditables?
Antes de que una respuesta se publique, un segundo modelo independiente la valida comparándola con su fuente. A continuación, un experto en la materia aprueba la información en el momento de su creación, antes de que el cliente pueda verla. Esa aprobación pasa a formar parte del registro de auditoría. Encore mantiene las respuestas vinculadas a sus fuentes y registradas en el registro de auditoría, lo que permite a los equipos de gestión de riesgos y cumplimiento normativo rastrear una respuesta publicada hasta el contenido regulado que hay detrás de ella.
¿Qué grado de precisión tiene Inbenta Encore y qué ocurre cuando no puede responder?
Inbenta Encore afirma que sus asistentes de IA en producción ofrecen una precisión en las respuestas del 98-99 %. Cuando Encore no está seguro de haber encontrado la respuesta correcta, remite la consulta a un experto en la materia o a un agente humano, en lugar de ofrecer una respuesta que podría ser poco fiable.
¿Qué hace Inbenta Encore cuando un documento de origen cambia tras su publicación?
Encore identifica las respuestas afectadas por un cambio en la fuente y las marca para su revisión. Encore Elevate también aprende de las interacciones reales con los clientes y ayuda a identificar lagunas en el conocimiento, incluidas las preguntas que no cubre la información existente, los documentos de referencia que faltan y las siglas sin definir. A continuación, redacta las actualizaciones necesarias, que pueden publicarse con la aprobación de un operador con un solo clic. Cada aprobación pasa a formar parte del registro de auditoría continuo.
Míralo en tu propio contenido
Aporta una política, un centro de ayuda o un conjunto de transcripciones, y comprueba cómo Encore las convierte en respuestas vinculadas a la fuente que tu equipo aprueba.
Programa una demo
