Arte Merritt y las métricas de la IA Generativa: “Los tokens, el costo y la latencia son las preocupaciones más grandes de las empresas”

Arte Merritt es una figura destacada en el mundo de la Inteligencia Artificial Generativa (IAG) y el análisis de datos. Hace pocos meses y tras la explosión de la IAG, fundó Reconify, una plataforma para analizar las interacciones de los usuarios con modelos de lenguaje como ChatGPT, una innovación que viene a llenar un hueco en el actual universo del data analytics y el análisis de audiencias.

Con varios años en el terreno de la IA Conversacional, Merritt ha desempeñado un papel fundamental en la evolución y difusión de las tecnologías del sector. Antes de emprender su actual proyecto, lideró las alianzas de IA conversacional en Amazon Web Services (AWS) y fue CEO y cofundador de Dashbot, una plataforma de analytics para chatbots y asistentes de voz que alcanzó 20.000 clientes, procesó 90 mil millones de mensajes y recibió múltiples ofertas de adquisición. También su conferencia anual Superbot se convirtió en un referente dentro del espacio de los chatbots y asistentes de voz. Con más de 25 años de experiencia en el ámbito de analytics, ha colaborado con empresas de la talla de Yahoo Mobile, Turner Broadcasting y diversas startups.

En esta entrevista brindada a Convercom, explicó cómo desarrolló Reconify, su reciente plataforma de analytics para IA Generativa, cómo analizar la efectividad de los prompts y cuáles son las métricas y KPIs cruciales para medir el rendimiento de los LLM y la experiencia del usuario.

-¿Qué te inspiró para crear Reconify y cómo refleja tus experiencias previas en el ámbito de analytics y la inteligencia artificial?

–Reconify es la tercera plataforma de analytics que fundé. La primera fue una plataforma de analítica móvil que vendí a Nokia. La segunda fue una plataforma de analítica de IA conversacional que creció hasta tener 20.000 clientes, procesó 90 mil millones de mensajes y recibió seis ofertas de adquisición. Lo que me emocionó de Reconify y la creación de una plataforma de analítica de IA generativa es que tanto las entradas como las salidas son no estructuradas, y los casos de uso son mucho más amplios que en la IA conversacional.

Con la IA conversacional y la comprensión del lenguaje natural (NLU, Natural language understanding), las entradas son libres y no estructuradas: la gente puede decir o escribir lo que quiera, pero las respuestas son fijas y estructuradas. Con la IA generativa, tanto las entradas como las salidas son no estructuradas, lo que presenta más desafíos para desarrollar una aplicación que responda de manera efectiva, precisa y conforme.

Al mismo tiempo, los casos de uso más comunes para la IA conversacional tienden a estar en el servicio al cliente, como los chatbots automatizados o los asistentes de voz. Sin embargo, con la IA generativa, hay muchas más aplicaciones en diferentes industrias, además del servicio al cliente. Se están construyendo soluciones de IA generativa en entretenimiento y juegos con creación de texto, imagen y video; en la industria legal con la creación y revisión de documentos; en la atención médica y las ciencias de la vida con el descubrimiento de medicamentos, diagnósticos y atención al paciente, y mucho más.

-¿Podés explicar qué distingue a Reconify de otras plataformas de analítica centradas en la IA generativa?

–Reconify es una plataforma de analítica y optimización de IA generativa, con herramientas para actuar. Además de las métricas estándar sobre comportamientos de uso y sesiones, así como tokens, costos y latencia, ofrecemos conocimientos más profundos sobre las solicitudes y respuestas. Nuestro agrupamiento semántico de solicitudes y respuestas ayuda a identificar áreas para mejorar la efectividad de las respuestas.

También contamos con herramientas para actuar, como nuestras Guardrail Alerts para brindar tranquilidad, así como nuestras herramientas de Benchmarking Experimentation para ayudar a elegir el mejor modelo de lenguaje grande (LLM) para su caso de uso. El servicio es fácil de integrar con unas pocas líneas de código y es compatible con cualquier proveedor de LLM. La plataforma está lista para empresas, con cuentas multiusuario basadas en roles.

-¿Cuáles son algunos de los mayores desafíos que has enfrentado al analizar y optimizar la IA generativa a través de Reconify?

-Con la IA generativa, las entradas de las solicitudes (prompt inputs) y las salidas de las respuestas son todas no estructuradas. Esto puede hacer que sea difícil entender qué está sucediendo y dónde pueden necesitarse mejoras. El agrupamiento semántico de Reconify de prompts y respuestas ayuda a resolver esto y facilita a los clientes entender qué está sucediendo y hacer mejoras. Por ejemplo, el agrupamiento de prompts ayuda a resaltar temas clave e intenciones del usuario. El agrupamiento de respuestas proporciona un poco de estructura a las salidas, casi como una intención de salida. Usando estos grupos, los clientes pueden comparar respuestas dentro de un grupo de prompts, así como entre grupos de prompts, para identificar áreas de mejora, ya sea a través de ingeniería de solicitudes adicional, un enfoque de Generación Aumentada por Recuperación (RAG) o más ajuste del modelo.

-¿Cómo imaginas que Reconify moldeará el futuro de la IA conversacional y generativa?

-Primero, veo que la IA generativa en sí misma tendrá un impacto significativo en la IA conversacional. Creo que la IA generativa reemplazará a la NLU (Natural language understanding), ya que es mucho mejor para entender la intención de un usuario. Hoy en día, la gente está adoptando más un enfoque híbrido usando tanto la NLU como la IA generativa. Por ejemplo, usando primero la NLU y teniendo la IA generativa como una forma de manejo de respaldo. Creo que esto cambiará rápidamente en el próximo año, con nuevas soluciones siendo principalmente IA generativa. Reconify ayuda con esta transición ya que funciona para soluciones de IA generativa y NLU en IA conversacional. Donde Reconify puede ayudar a moldear el futuro tanto de la IA conversacional como de la IA generativa, es proporcionando los conocimientos para ayudar a los clientes a mejorar la efectividad de la respuesta de sus aplicaciones, para darles tranquilidad sabiendo que su aplicación está respondiendo de manera precisa y efectiva, de una manera que satisface a sus clientes. Reconify puede ayudar a elevar el estándar en la entrega de soluciones de IA generativa efectivas.

-Con el rápido avance de la IA, ¿qué consideraciones éticas toma en cuenta Reconify?

-La ética en la IA es un tema importante en la IA generativa. Es importante generar confianza y ser consciente de los posibles sesgos. Tenemos herramientas que pueden ayudar a un cliente con la conciencia y el cumplimiento, para que puedan asegurarse de que sus aplicaciones tomen en cuenta la ética en la IA. Por ejemplo, nuestras Alertas de Guardarraíl pueden aplicarse tanto a prompts como a respuestas para alertar a un cliente sobre un evento particular o evitar que un prompt ingrese al modelo o una respuesta salga. Esta es una forma en que los clientes pueden ayudar a garantizar una IA más ética.

-¿Podrías compartir una historia de éxito en la que Reconify haya mejorado significativamente el proyecto o negocio de un cliente?

-Tenemos un cliente con una aplicación de chatbot que utiliza IA generativa en lugar de NLU, donde ayudamos a proporcionar información sobre las intenciones comunes para comprender mejor el uso y mejorar las respuestas, así como también ayudamos al cliente a reducir los costos de LLM. Antes de usar Reconify, no había una forma fácil de obtener las preguntas más comunes que los usuarios finales hacían en el chatbot. Se tomaban las entradas sin procesar y se utilizaban hojas de cálculo para intentar averiguar qué preguntaban los usuarios.

Con el agrupamiento semántico de Reconify, todas las solicitudes se agrupan en función de su significado semántico en un informe de panel intuitivo. Estos grupos muestran las preguntas comunes que se están haciendo. A partir de ahí, el cliente podía profundizar y ver todas las preguntas individuales que componían el grupo, así como ver cómo respondía el chatbot al grupo de mensajes. Estos grupos fueron útiles para identificar casos de uso adicionales para apoyar en el chatbot, para responder de manera más apropiada. La implementación de RAG se actualizó para responder mejor las preguntas que se estaban haciendo. Al mismo tiempo, con la herramienta de Experimentación, el cliente pudo experimentar con diferentes modelos utilizando datos reales para comparar los modelos en costos y latencia. A partir de esta experimentación, quedó claro que otros modelos eran más baratos y rápidos que el original que se estaba utilizando. El cliente cambió de proveedor de modelos, lo que redujo sus costos en casi un 30%.

-¿Hay características o proyectos próximos relacionados con Reconify que te emocionen particularmente?

-Sí, estamos trabajando en un mecanismo de retroalimentación que proporcionará una evaluación más cuantitativa de la efectividad de la respuesta. La idea general es que los usuarios finales puedan proporcionar comentarios, es decir, pulgares arriba/abajo o calificaciones de 1-5 / 1-10, y que esos datos se utilicen en los informes para ayudar a identificar las respuestas que necesitan mejoras. También estamos trabajando en herramientas adicionales de detección de anomalías. Por ejemplo, resaltar interacciones que están fuera de lo normal para que un cliente pueda identificar más fácilmente posibles problemas en los que trabajar.

-¿Cómo interactúa Reconify con otras empresas y plataformas, y cómo sería un socio ideal?

–Reconify es principalmente una plataforma SaaS (Software as a Service) autoservicio que está diseñada para ser bastante fácil de poner en marcha. Las personas pueden registrarse en línea, integrarse en cuestión de minutos y comenzar a rastrear en tiempo real. Los clientes de AWS también pueden registrarse a través del Amazon Marketplace. Tenemos un modelo de pago por uso para facilitar aún más la adopción. La plataforma puede integrarse con cualquier proveedor de modelos LLM. Contamos con módulos Node NPM y Python PiP para facilitar la integración con los principales proveedores de LLM, y una API REST para otros. En términos de asociaciones, trabajamos con proveedores de la nube, integradores de sistemas y firmas de consultoría que están ayudando a sus clientes a construir aplicaciones de IA generativa.

-Durante el desarrollo de Reconify, ¿cómo determinaste qué métricas y KPI serían cruciales para medir el rendimiento de los LLM y la experiencia del usuario?

-Las características en la versión inicial de la plataforma se basaron en mi experiencia previa en analítica, aprendizajes de conversaciones con empresas que experimentan con IA generativa, así como mi propia experimentación con IA generativa, dándome cuenta de los conocimientos faltantes necesarios para ayudar a mejorar la calidad de la aplicación. La primera versión incluyó métricas estándar sobre uso y comportamientos, así como tokens, costos y latencia, además del agrupamiento semántico de solicitudes y respuestas, interacciones y transcripciones. Gran parte de esto se basó en la experiencia personal al usar LLM para construir soluciones, así como en la experiencia previa en analítica. Los tokens, el costo y la latencia son preocupaciones significativas a nivel empresarial. Dado que la estrategia es proporcionar herramientas para actuar sobre los datos, rápidamente añadí las Alertas de Guardarraíl como la primera herramienta. A partir de ahí, se agregaron características adicionales basadas en comentarios de clientes y llamadas de demostración, como las herramientas de Experimentación de Comparación.

-Basándote en tu trayectoria, ¿qué consejo darías a los aspirantes a emprendedores que buscan ingresar al campo de la IA y la analítica?

-Cuando se trata de cualquier emprendimiento de startup, independientemente del dominio, si la idea es algo por lo que realmente sientes pasión, ve por ello y dale una oportunidad. Aunque puede haber altibajos, puede ser una experiencia gratificante en la que aprendes mucho, adquieres nuevas habilidades y estableces nuevas relaciones. Para la IA generativa, en particular, hay un campo de juego bastante nivelado en el sentido de que todos tienen acceso a los mismos modelos, en su mayor parte. Cómo diferenciarse y la estrategia de entrada al mercado son muy importantes en este espacio.