São Paulo, 5 de noviembre de 2026 – El equipo de investigación en inteligencia artificial de Nubank descubrió que probar agentes de IA con clientes sintéticos en simulaciones a gran escala, antes de contactar a clientes reales, puede acelerar el desarrollo y ayudar a los equipos a elegir mejores versiones. En el estudio, cada nueva versión del agente con simulación tomó un promedio de 4.4 días, frente a los 21.2 días en un flujo de trabajo sin ella. En una prueba A/B en producción, el agente desarrollado con apoyo de la simulación registró una tasa de autoservicio 4.9 puntos porcentuales más alta y un Net Promoter Score transaccional (tNPS) 36.7 puntos más alto que el agente de comparación. El tNPS mide la recomendación del cliente después de una interacción.
La metodología descrita en un nuevo artículo de investigación utiliza un entorno de prueba controlado en el que clientes sintéticos con distintos perfiles y necesidades mantienen conversaciones en varios turnos con agentes de IA. Así, los cambios pueden evaluarse antes de llegar a clientes reales.
El estudio se centra en dos agentes de atención al cliente que cubren distintas etapas del ciclo de vida de la tarjeta de crédito: Card Delivery, que gestiona el estado de entrega y la emisión de reemplazos, y Card Management, que permite actualizar la dirección y solicitar una nueva tarjeta. La simulación se utilizó para orientar los cambios en Card Management, mientras que Card Delivery fue el agente de comparación en la prueba A/B en ambiente de producción.
“Cada cambio en un agente de IA es una apuesta por la experiencia del cliente. La simulación nos permite probar primero con clientes sintéticos, para que solo los cambios con resultados claramente superiores sean implementados con personas reales”, afirmó Rohan Ramanath, gerente general de IA de Nubank.
Aprendizaje veloz, mayor impacto positivo para los clientes
La simulación ayudó al equipo a decidir qué cambios en el agente Card Management valía la pena llevar a clientes reales. En la evaluación offline, una versión del agente redujo las derivaciones innecesarias a la atención humana del 22.4% al 16%, una disminución de 6.4 puntos porcentuales frente a la versión anterior.
Posteriormente, se realizó una prueba A/B en producción con clientes reales. En comparación con Card Delivery, Card Management mostró una tasa de autoservicio 4.9 puntos porcentuales superior y un tNPS 36.7 puntos más alto. Como Card Management cubre un conjunto de tareas más amplio que Card Delivery, estos resultados reflejan tanto el nuevo agente como el proceso utilizado para desarrollarlo con ayuda de la simulación. Tras la prueba, el agente de Card Management quedó disponible para la base de clientes de Nubank en Brasil.
La tasa de autoservicio representa la proporción de sesiones completadas a través del agente sin que el cliente solicite atención humana. Por sí sola, no demuestra que todos los problemas de los clientes se hayan resuelto correctamente. Por eso, el análisis también considera métricas de satisfacción y evaluaciones específicas de calidad.
Una forma más rápida y amplia de evaluar agentes de IA
Sin una capa de simulación, probar nuevas versiones de un agente puede depender en gran medida de escenarios redactados manualmente, muestras limitadas y experimentos con clientes reales. Por el contrario, las simulaciones a gran escala permiten comparar más combinaciones de instrucciones, de modelos y arquitecturas de agentes en un entorno controlado, antes de decidir qué cambios pueden avanzar.
La misma metodología ayudó a Nubank a evaluar modelos de pesos abiertos para la atención al cliente. El equipo evaluó 29 configuraciones de modelos en más de 16,000 conversaciones simuladas y seleccionó Qwen con razonamiento habilitado, para perfeccionarlo. La simulación detectó una debilidad que el equipo abordó mediante la optimización de instrucciones antes de probarlo con clientes reales.
En una prueba A/B independiente con clientes reales versus el modelo utilizado hasta entonces por Card Management, la configuración refinada de Qwen aumentó la tasa de autoservicio en 8.8 puntos porcentuales y redujo la latencia de respuesta en el percentil 95 (p95) en un 25%, sin cambios estadísticamente significativos en el tNPS.
Qué permite explorar la investigación
La contribución más amplia del artículo es mostrar que evaluar agentes de IA exige algo más que comprobar si producen la respuesta correcta. También plantea que la función de un simulador es ordenar correctamente las alternativas, no reproducir a la perfección el comportamiento humano, y que los propios simuladores deben validarse antes de que los equipos confíen en ellos. Estas ideas abren nuevas líneas de investigación: pruebas estandarizadas para medir la confiabilidad de los simuladores; ciclos de mejora en los que los agentes se revisen, evalúen y perfeccionen con menos trabajo manual; y evaluaciones de agentes más proactivos que guíen a los clientes mientras realizan tareas.
La metodología actual llega hasta los sistemas que utiliza el agente. Por eso, ampliar la simulación para incluir el comportamiento y los tiempos de respuesta de los sistemas de backend es el siguiente paso natural. Como cada cambio está vinculado a una hipótesis y a un criterio de éxito definidos de antemano, el flujo de trabajo también deja un registro claro de por qué se aprobó cada cambio, algo valioso en sectores regulados.
Para Nubank, esta metodología conecta la investigación aplicada en IA con un desafío concreto de negocio: cómo desarrollar experiencias más útiles y confiables a medida que la IA conversacional forma parte de más interacciones.