Desviación de los modelos de IA: el coste oculto de las implementaciones empresariales basadas en un único modelo de lenguaje grande (LLM)

Es posible que el modelo que implementaste el año pasado no sea el que está en funcionamiento hoy. Los proveedores actualizan, sustituyen y retiran los modelos según su propio calendario, y las respuestas de tus clientes se adaptan a esos cambios.

La deriva del modelo de IA es la pérdida de rendimiento que se produce cuando un proveedor actualiza, sustituye o deja de utilizar el modelo subyacente, lo que provoca variaciones en la calidad de las respuestas y obliga a realizar tareas de reimplementación.

Las empresas que han basado su sistema en un único modelo de lenguaje grande (LLM) se ven obligadas a asimilar todos y cada uno de esos cambios, independientemente de si los habían previsto o no. El modelo es la base, por lo que, cuando este cambia, todo el despliegue cambia con él.

Puntos clave

• La deriva de un modelo de IA es la pérdida de rendimiento que se produce cuando los proveedores actualizan, sustituyen o dejan de utilizar el modelo subyacente, lo que provoca variaciones en la calidad de las respuestas y genera costes de reimplementación.
• Las implementaciones con un único modelo LLM son, por su propia naturaleza, vulnerables. La organización se ve afectada por todos los cambios en el modelo según el calendario del proveedor, y no según el suyo propio.
• Una arquitectura independiente del modelo considera que la capa de modelos es sustituible, evaluando continuamente los modelos disponibles y realizando la transición entre ellos sin alterar la experiencia del cliente.
• Cuando las respuestas se basan en conocimientos regulados y vinculados a fuentes, en lugar de generarse a partir de un único modelo en tiempo de ejecución, la calidad se mantiene constante independientemente del modelo que se esté ejecutando. Esto garantiza que la precisión sea justificable en entornos de CX regulados.
• Descubre cómo Encore garantiza la continuidad de la experiencia del cliente (CX) incluso tras un cambio de modelo.

¿Qué es la deriva de un modelo de IA?

La deriva de un modelo de IA es la pérdida de rendimiento provocada por cambios en el propio modelo subyacente, cuando un proveedor lo actualiza, lo deja obsoleto o lo sustituye. Se distingue de los cambios en los datos de entrada.

El mecanismo es sencillo. Cuando se retira o se modifica una versión del modelo con la que se ha ajustado tu implementación, los resultados cambian.

A veces el cambio es sutil, como una variación en el tono o en el formato. Otras veces es sustancial, como una respuesta diferente a una pregunta que antes se resolvía sin problemas.

No has cambiado nada. El suelo se ha movido bajo tus pies. En una implementación con un único modelo LLM, no hay ningún filtro entre ese cambio y tu cliente.

Por qué las implementaciones con un único modelo de lenguaje grande (LLM) son vulnerables por su propia naturaleza

Una implementación basada en un modelo hereda la cadencia de lanzamientos, las decisiones sobre productos en desuso, los cambios en los precios y los cambios de comportamiento de dicho proveedor. Te riges por su calendario, no por el tuyo.

El entorno de modelos no es estable. Los proveedores lanzan nuevas versiones, retiran las antiguas y ajustan su comportamiento continuamente, y cada cambio se refleja en las implementaciones posteriores.

Esta es la trampa de los hiperescaladores. A las grandes organizaciones se les propone utilizar nuestro modelo dentro de nuestra nube, y acaban quedándose atrapadas en un enfoque centrado en el acceso al modelo, sin una capa de conocimiento regulada ni una orquestación de IA específica para la experiencia del cliente (CX) subyacente.

La arquitectura independiente del modelo es la solución estructural a esa vulnerabilidad, no una solución provisional.

Los costes ocultos de la deriva del modelo

Los costes derivados de la desviación del modelo rara vez figuran en la factura. Se reflejan en los gastos de mano de obra, calidad y riesgo.

• Reimplementar y reajustar la mano de obra cada vez que cambia un modelo.
• Las variaciones en la calidad de las respuestas que minan la confianza de los clientes y el índice de satisfacción del cliente (CSAT).
• El esfuerzo que supone realizar pruebas de regresión para detectar cambios en el comportamiento antes de que los detecten los clientes.
• Riesgo de incumplimiento cuando una ruta de respuesta previamente validada cambia sin previo aviso.
• Un coste total de propiedad (TCO) que varía de forma impredecible y no resiste el escrutinio de la dirección.

La coherencia es el aspecto positivo que se encuentra al otro lado de la balanza. Mantener constante la calidad de las respuestas a pesar de los cambios en el modelo es lo que garantiza la mejora del 30 % en la satisfacción del cliente (CSAT) que se consigue gracias a una experiencia estable.

La deriva del modelo no es lo mismo que la deriva de los datos ni la deriva semántica

Se confunden tres tipos de desviación. Se trata de problemas distintos que requieren soluciones distintas.

La deriva de datos se produce cuando los datos de entrada cambian con el tiempo, de modo que un modelo entrenado con los patrones del año pasado interpreta los de este año de forma diferente.

La deriva semántica se produce cuando el significado de los términos empresariales varía de un sistema a otro; se trata más de un problema de coherencia de los datos que de inteligencia artificial.

La deriva del modelo se produce cuando el propio modelo subyacente cambia en el marco de una implementación estable. Las entradas se mantuvieron constantes; el modelo, no.

Los tres son importantes. Este artículo trata sobre el tercero, ya que es sobre el que una implementación con un único modelo LLM tiene menos control.

Por qué la arquitectura independiente del modelo neutraliza la deriva

El diseño independiente del modelo considera que la capa del modelo es sustituible. La plataforma evalúa continuamente los modelos disponibles en función de cada caso de uso y puede cambiar de uno a otro en tiempo real.

El resultado es un rendimiento duradero que protege al cliente de la volatilidad del mercado de modelos. Un cambio de modelo se convierte en un asunto interno, no en algo que afecte al cliente.

La conmutación adaptativa forma parte de ello. La plataforma alterna entre la recuperación determinista, en la que se requiere precisión, y los enfoques generativos, en los que la fluidez aporta valor añadido. Se trata de una característica, no de una concesión.

Se trata de la «Inteligencia Programada», impulsada por la arquitectura de doble LLM de Encore, y es la respuesta al riesgo de dependencia de un único proveedor y a la obsolescencia de los LLM.

El conocimiento ante todo: por qué la respuesta no debería depender del modelo

El diseño independiente del modelo se encarga de determinar qué modelo se ejecuta. El diseño basado en el conocimiento se ocupa de determinar de dónde proviene la respuesta, y es la solución más profunda.

Cuando las respuestas se basan en intenciones reguladas y vinculadas a la fuente, en lugar de ser generadas por un modelo en el momento de la interacción, la calidad de las respuestas se mantiene constante independientemente del modelo que se utilice en segundo plano.

Esta es la inversión centrada en el conocimiento. Lo primero es el conocimiento regulado y estructurado, creado mediante la ingeniería del conocimiento, y el modelo está al servicio de este.

Un cambio de modelo no modifica la respuesta validada, ya que el modelo nunca fue la fuente de la respuesta. Esto permite alcanzar una precisión del 98 % desde el primer día, gracias a que la prevención de alucinaciones está integrada en la arquitectura, en lugar de añadirse a posteriori.

Compárese esto con un diseño que da prioridad a los modelos, en el que el modelo es la fuente de la respuesta y, por lo tanto, la fuente de la deriva.

La deriva de los modelos en la experiencia del cliente regulada: un problema de auditabilidad, no solo de rendimiento

En los sectores regulados, un cambio de modelo sin previo aviso no es solo un problema de calidad, sino también un problema de auditabilidad.

Una vía de respuesta previamente validada y justificada puede modificarse sin una razón documentada, y ahora la respuesta que revisa la autoridad reguladora no es la que se aprobó.

La distinción es importante. «Seguro» significa que el sistema no causará ningún daño. «Auditable» significa que se puede demostrar qué ha ocurrido y por qué, incluso aunque los modelos cambien durante la interacción. Esa es la diferencia entre una «caja de cristal» y una «caja negra».

Una arquitectura independiente del modelo y centrada en el conocimiento garantiza que el proceso de toma de decisiones quede documentado y sea explicable, independientemente del modelo que se utilice, tal y como exigen obligaciones como la transparencia prevista en el artículo 13 de la Ley de IA de la UE.

Variación de los modelos por sector: dónde recae con mayor intensidad el coste

Servicios financieros. Una respuesta validada relativa a la divulgación o la gestión de la deuda que sufra cambios tras una actualización silenciosa del modelo supone un riesgo en materia de cumplimiento normativo y de inspección.

Las intenciones auditables y vinculadas a la fuente garantizan que las respuestas sean justificables en los contextos de la CFPB, la OCC y la FDIC, independientemente del modelo, de conformidad con las directrices de la CFPB sobre decisiones basadas en la inteligencia artificial.

BBVA transformó su servicio de atención al cliente con la IA de Inbenta, reduciendo las escalaciones de incidencias en un 84 %.

Sector de los viajes y la hostelería. Las operaciones multilingües de gran volumen, con más de 90 idiomas, aumentan el coste de cualquier variación en la calidad cuando cambia un modelo. La coherencia en el chat, la atención telefónica y el buscador protege la satisfacción del cliente a gran escala.

GOL Airlines gestiona más de 10 millones de consultas al año en un mercado naturalmente multilingüe, y Travel Club garantiza que las respuestas sean uniformes en todos los canales.

Apuestas y juegos de azar en línea, y SaaS B2B con clientes sujetos a regulación. La resolución de nivel 1 y la explicabilidad multitenant deben resistir los cambios en los modelos sin que se produzcan regresiones.

Cuando las respuestas están controladas y vinculadas a su fuente, un cambio de modelo no vuelve a plantear una cuestión de cumplimiento, y la auditabilidad de la que disfrutan tus clientes permanece intacta.

Cómo evaluar la resiliencia de una plataforma ante la deriva de los modelos

Utiliza estas preguntas para evaluar la resistencia de cualquier plataforma ante la deriva de los modelos.

• ¿La plataforma es independiente del modelo o está vinculada a un único proveedor?
• ¿Las respuestas se basan en conocimientos regulados y vinculados a fuentes, o las genera el modelo en tiempo de ejecución?
• ¿Qué ocurre con la precisión y los registros de auditoría cuando cambia el modelo subyacente?
• ¿Puede la plataforma evaluar y cambiar de modelo sin necesidad de un ciclo de reimplementación?
• ¿Sigue siendo posible rastrear y justificar la ruta de decisión tras un cambio de modelo?
• ¿Cómo se garantiza la coherencia en todos los canales e idiomas?

Si la respuesta sincera a las dos primeras preguntas es «un único proveedor» y «generado por un modelo», el resto rara vez se sostiene. ¿Quieres poner a prueba tu configuración actual? Analízala basándote en tus propios casos de uso.

Cómo Encore garantiza la continuidad de la experiencia del cliente (CX) tras un cambio de modelo

Inbenta Encore está diseñado de tal forma que el modelo pueda cambiar sin que ello afecte a la experiencia del cliente.

• Diseñado para ser independiente del modelo. Encore evalúa continuamente los modelos disponibles y puede cambiar de uno a otro en tiempo real, por lo que la volatilidad del mercado de modelos sigue siendo una cuestión interna.
• El conocimiento es lo primero. Las respuestas se obtienen a partir de intenciones reguladas y vinculadas a fuentes, estructuradas mediante ingeniería del conocimiento, por lo que un cambio de modelo no altera la respuesta validada.
• Inteligencia programada, basada en la arquitectura dual LLM de Encore. La plataforma alterna entre la recuperación determinista y la fluidez generativa en función del contexto, sin que el operador tenga que gestionar la elección.
• Se conecta al sustrato de tu modelo y a tu pila. Encore es compatible con Bedrock, Vertex AI y Azure-OpenAI como capa de modelos, y se conecta a la infraestructura heredada de los centros de contacto, incluidos los entornos obsoletos de Genesys e IBM, sin necesidad de una sustitución completa. La IA de voz para centros de contacto se ejecuta sobre el mismo conocimiento regulado.
• Una gestión totalmente transparente, por diseño. Cada respuesta permite rastrear la intención original, incluso tras los cambios en el modelo, de modo que tanto tú como tu responsable de cumplimiento normativo podáis analizar por qué se dio una respuesta concreta.
• Resultados duraderos, probados en entornos de producción. Un 98 % más de precisión desde el primer día, un 35 % más de resolución en el primer contacto, un 30 % de mejora en la satisfacción del cliente, un 75 % más de rapidez en la implementación y una búsqueda 2,5 veces más rápida, en más de 90 idiomas y más de 850 integraciones empresariales.

Inbenta Encore es una plataforma unificada de IA con capacidad de interacción, y gracias a ella Inbenta ha obtenido el premio TSIA Star Award en la categoría de «Innovador del año en éxito digital del cliente».

El mercado de los modelos seguirá evolucionando. Tu experiencia de cliente no tiene por qué seguirle el ritmo. Descubre cómo Encore se mantiene estable a pesar de los cambios de modelo.

Preguntas frecuentes

¿Qué es la deriva de un modelo de IA?

La deriva del modelo de IA es la degradación del rendimiento provocada por un cambio en el propio modelo subyacente, cuando un proveedor lo actualiza, lo deja obsoleto o lo sustituye. La versión con la que se ajustó tu implementación cambia, y los resultados varían en consecuencia. Se distingue de la deriva de datos y, en una implementación con un único LLM, no existe ningún filtro entre ese cambio y tu cliente.

¿Cuál es la diferencia entre la deriva del modelo y la deriva de los datos?

La deriva de datos se produce cuando los datos de entrada cambian con el tiempo, de modo que un mismo modelo interpreta las nuevas entradas de forma diferente. La deriva del modelo se produce cuando el modelo subyacente cambia dentro de una implementación estable, mientras que los datos de entrada permanecen inalterados. Ambas situaciones merman la calidad, pero tienen causas y soluciones diferentes.

¿Por qué las implementaciones con un único LLM suponen un mayor riesgo para las empresas?

Esto se debe a que la organización hereda la cadencia de lanzamientos, las funciones obsoletas, los cambios en los precios y las modificaciones de comportamiento de un proveedor, según el calendario de este. Cada cambio en el modelo repercute directamente en la experiencia del cliente, sin ningún margen de amortiguación. Una arquitectura independiente del modelo elimina ese único punto de vulnerabilidad.

¿Cómo evita una plataforma independiente del modelo la deriva del modelo?

Considera que la capa del modelo es sustituible, evaluando continuamente los modelos disponibles y realizando la transición entre ellos sin necesidad de un ciclo de reimplementación. Dado que la respuesta se obtiene a partir de conocimientos regulados, en lugar de ser generada por un único modelo, el cambio de modelo se convierte en un evento interno que no altera lo que recibe el cliente.

¿Afecta la deriva de los modelos al cumplimiento normativo en los sectores regulados?

Sí. Un cambio de modelo no anunciado puede alterar una ruta de respuesta previamente validada sin una justificación documentada, lo que supone un problema de auditabilidad, no solo de rendimiento. Las intenciones vinculadas a la fuente garantizan que cada respuesta sea trazable y justificable en los contextos de la CFPB, la OCC y la FDIC, independientemente del modelo que se ejecute en segundo plano.

¿De qué manera la arquitectura centrada en el conocimiento reduce el riesgo de desviación del modelo?

Ancla las respuestas a intenciones reguladas y vinculadas a fuentes, en lugar de generarlas a partir del modelo en tiempo de ejecución. El modelo está al servicio del conocimiento, no es la fuente de la respuesta, por lo que modificar el modelo no altera la respuesta validada. Esto garantiza una calidad constante y permite auditar la ruta de decisión incluso cuando se producen cambios en el modelo.