Cómo evitar las «alucinaciones» de la IA en la atención al cliente: hay que corregir la arquitectura, no la instrucción

Para evitar las «alucinaciones» de la IA en la atención al cliente, hay que eliminar el momento en el que se producen: cuando el modelo redacta una respuesta mientras el cliente espera. La recuperación de información, las reglas de prompts y las medidas de seguridad reducen la incidencia, pero cada una de ellas sigue permitiendo que un modelo de lenguaje elabore los datos en tiempo de ejecución. La solución duradera es de carácter arquitectónico. Hay que crear y gestionar las respuestas en el momento en que se incorpora el contenido, de modo que la interacción en tiempo real se convierta en una consulta, y dejar que el modelo dé forma a la redacción, no a los datos. Inbenta Encore, la plataforma de IA centrada en el conocimiento para la experiencia del cliente, está diseñada de esta manera.

¿Por qué la IA del servicio de atención al cliente tiene alucinaciones?

Una alucinación es una respuesta fluida y segura que tu empresa no ha aprobado. En el servicio de atención al cliente suele parecer inofensiva: un plazo de devolución cinco días más generoso de lo habitual, una tasa que ya no existe, una excepción a la política que nadie ha establecido.

Esto ocurre porque la mayoría de los asistentes de IA generan cada respuesta sobre la marcha. Un cliente formula una pregunta, el sistema extrae cualquier texto que parezca relevante y un modelo lingüístico redacta una respuesta a partir de él en tiempo real. La generación consiste en predecir la siguiente palabra plausible. Cuando el texto extraído está incompleto, desactualizado o es contradictorio, el modelo llena el vacío con algo plausible, y «plausible» no es lo mismo que «verdadero».

El coste recae sobre la empresa, no sobre la modelo. En febrero de 2024, un tribunal canadiense declaró responsable a Air Canada después de que un asistente de su página web inventara una política de reembolso por fallecimiento y un cliente se basara en ella (Moffatt contra Air Canada, Tribunal de Resolución Civil de Columbia Británica). La aerolínea argumentó que el asistente era responsable de sus propias palabras. El tribunal no estuvo de acuerdo. Para un banco o una aseguradora con un centro de atención al cliente de 100 agentes, el mismo fallo es un caso de incumplimiento normativo, no una noticia.

¿El método RAG, la ingeniería de prompts y las medidas de seguridad evitan las alucinaciones?

Reducen la incidencia. Pero no eliminan la causa.

La generación potenciada por recuperación (RAG) proporciona al modelo un texto de origen de mayor calidad a partir del cual escribir. La ingeniería de prompts le indica que se ciña a ese texto. Los mecanismos de control comprueban el resultado una vez generado y bloquean lo que parece incorrecto. Cada capa contribuye al proceso y todas mantienen el mismo paso: un modelo que elabora una nueva respuesta, en tiempo real, para un cliente que está esperando.

Eso te obliga a gestionar una probabilidad. Un sistema que genera 500 000 respuestas al mes con una tasa de error del 1 % sigue produciendo 5 000 respuestas erróneas, y un mecanismo de seguridad solo puede detectar los errores para los que ha sido diseñado. El tipo de fallo que más perjudica a los equipos regulados es aquella respuesta que parece correcta, supera el filtro y, sin embargo, es errónea.

¿Qué significa «prevenir las alucinaciones mediante la arquitectura»?

Significa que la respuesta existe antes que la pregunta.

En una arquitectura centrada en el conocimiento, el trabajo más arduo recae en la ingesta. Cuando Encore ingiere tu contenido (archivos PDF de políticas, páginas del centro de ayuda, bibliotecas de SharePoint, documentación de productos, transcripciones de agentes), lo estructura en «intentos» regulados: las preguntas que plantean los clientes, cada una de ellas emparejada con la respuesta aprobada y un enlace a su fuente. En un fabricante mundial de automóviles, una sola ingesta generó más de 25 000 «intentos» en tres idiomas a partir de una fuente que solo estaba disponible en inglés.

Durante la ejecución, se llevan a cabo dos pasos para cada pregunta de un cliente, y ninguno de ellos escribe la respuesta. En primer lugar, el sistema asocia la pregunta a una intención predefinida. En segundo lugar, un modelo lingüístico comprueba que la pregunta y la respuesta asociada coincidan y ajusta la redacción para que suene de forma natural en la conversación. El modelo actúa como un editor, no como un autor. Los datos proceden de tu base de datos.

Dado que no se compone nada desde cero, las respuestas se ejecutan entre dos y tres veces más rápido que una llamada estándar a un modelo de lenguaje grande (LLM). La mayor ventaja es lo que se elimina: el paso en el que el modelo inventa una política. Se trata de una prevención de las alucinaciones integrada en la arquitectura, no de una medida de seguridad añadida a posteriori.

¿La recuperación determinista hace que la IA parezca rígida?

No tiene por qué ser así. La objeción proviene de los antiguos sistemas basados en la intención, en los que cada respuesta era un guion fijo y los clientes tenían que formular las preguntas tal y como esperaba el desarrollador.

Separar los hechos de la formulación elimina esa disyuntiva. La intención definida determina lo que dice la respuesta. El modelo lingüístico se encarga de cómo se dice, adaptándose a la forma de expresarse del cliente, al hilo de la conversación hasta ese momento y al canal, ya sea chat, voz o la pantalla de un agente. Un cliente que pregunta «¿puedo cancelar aunque mi vuelo fuera ayer?» y otro que pregunta «¿cuál es el plazo de cancelación?» obtienen la misma respuesta aprobada, redactada a medida para cada uno de ellos.

¿Qué debería hacer la IA cuando no dispone de una respuesta aprobada?

Díselo y remítele al cliente a algún sitio que le sirva de ayuda.

Muchas alucinaciones no son realmente errores de conocimiento. Son errores de confianza: un sistema diseñado para responder pase lo que pase generará algo cuando no tenga nada. Encore no fuerza una coincidencia débil. Cuando ninguna intención programada se ajusta a la pregunta, se la pasa a un agente humano o formula una pregunta aclaratoria, en lugar de improvisar.

Esa laguna se convierte en información útil. Encore Elevate analiza las interacciones reales en busca de preguntas que no hayan recibido una respuesta adecuada y, a continuación, sugiere actualizaciones de los conocimientos —como una nueva intención, una fuente que falte o un acrónimo sin definir— que tu equipo puede aceptar con un solo clic. Las preguntas sin respuesta se convierten en mejoras del contenido, en lugar de respuestas inventadas.

¿No resuelve la revisión humana el problema de las alucinaciones?

No a la escala de un centro de atención al cliente.

La revisión manual antes de que una respuesta se publique parece la opción más segura. Sin embargo, deja de ser viable cuando una sola importación puede generar decenas de miles de intenciones. Un cliente de la versión beta de Encore obtuvo aproximadamente 40 000 intenciones a partir de una única importación. Una cola de revisión de ese tamaño es lo que hace que los proyectos de IA regulada se estanquen, y un proyecto estancado no protege a nadie.

Encore ejecuta automáticamente un exhaustivo proceso de control de calidad antes de que se publique cualquier contenido. El proceso incluye análisis de contenido, mejora continua y sugerencias basadas en el conocimiento, de modo que el contenido deficiente o contradictorio se detecta antes de que el cliente lo vea. Cada respuesta incluye un enlace a la fuente y queda registrada en un registro de auditoría, lo que permite a los equipos de riesgo y cumplimiento rastrear cualquier respuesta hasta el contenido regulado al que hace referencia. La revisión humana sigue estando disponible para los equipos que la deseen en temas específicos. Se trata de una opción, no de un requisito obligatorio.

¿Cómo sabes si tu IA tiene menos alucinaciones?

Mide la precisión comparándola con un conjunto de pruebas definido, en entorno de producción y a lo largo del tiempo. La afirmación de un proveedor sobre la precisión, si no va acompañada de un conjunto de pruebas, una muestra y un intervalo de tiempo, no es más que una estrategia de marketing.

Sea cual sea la plataforma que utilices, hay tres indicadores que te aportan más información que una simple cifra global. Haz un seguimiento del porcentaje de respuestas que provienen de una fuente validada. Controla con qué frecuencia el sistema se niega a responder y deriva la consulta en lugar de dar una respuesta aproximada. Comprueba con qué rapidez se aplica un cambio en la política a cada canal. Si una tarifa cambia el lunes y tu asistente indica la antigua el viernes, el problema radica en la arquitectura, no en el ajuste.

Por qué esto es más importante en los centros de atención al cliente regulados

En el sector de los servicios financieros, el sector turístico y otros sectores regulados, una respuesta errónea no es un problema de experiencia del cliente. Es un problema de divulgación de información.

La presión para poner en marcha la IA a toda costa es real. El 91 % de los responsables de servicios afirman sentir presión para implementar la IA (Gartner, febrero de 2026), y Gartner prevé que más del 40 % de los proyectos de IA autónoma se cancelen a finales de 2027. Los equipos que llegan a la fase de producción son aquellos que pueden demostrar ante un comité de riesgos de dónde procede cada respuesta. La gestión de probabilidades no sobrevive a esa reunión. La trazabilidad, sí.