Data analytics y bots: a medir la conversación

Antes de comenzar la columna, quiero hacer un spoiler alert: al poner las manos en el terreno del Data Analytics, la pregunta inicial siempre debe ser “¿Qué quiero saber?”. Es un error, que todos hemos cometido, zambullirnos de lleno en un dashboard repleto de métricas para después “ver qué pasa” con la información. Esto es así en todas las disciplinas que usan datos y no será la excepción para el universo bot.

Hecha esta aclaración, cabe afirmar que en la actualidad el análisis de datos o Data Analytics es una disciplina que se expande con mucha fuerza en ámbitos empresariales, comerciales, públicos y privados. ¿Por qué? Porque vivimos (y convivimos) rodeados de productos digitales, algo que estimula la necesidad de conocer a fondo cómo interactuamos con ellos.

Es así que la lectura de métricas, datos estadísticos y variables cuantitativas que reflejan estas interacciones con las audiencias fueron por mucho tiempo asociadas a skills “duros”, pero hoy se han convertido en un recurso sine qua non para evaluar el desempeño correcto e innovador en múltiples terrenos.

Originalmente muchas de las herramientas de analítica (Google Analytics es una de las más longevas y populares) fueron diseñadas para entender la manera en que los usuarios interactuaban con los primeros sitios web. En aquella época comenzaron a popularizarse términos como “usuarios”, “sesiones”, “pageviews”, “conversión”, “bounce rate”, entre muchos otros.

Pero en la actualidad no sólo interactuamos con páginas de Internet. Nuestro ecosistema digital abarca múltiples plataformas e interfaces: computadoras, celulares, dispositivos de gaming, smartwatches, IoT en el hogar o en el trabajo, etc. A esta lista hay que agregar las múltiples formas que ha adquirido la asistencia virtual, un terreno fértil para estudiar desde el universo del Data Analytics.

Interacciones y sesiones

En el terreno del Data Analytics la pregunta por cuáles son las métricas más útiles es inexacta. Como dijimos al comienzo de la nota, lo correcto es preguntarse primero qué se quiere averiguar para luego ir a buscar  información a los datos.  No obstante, pueden mencionarse algunas métricas que, por usos y costumbres en una variedad de productos digitales, se han estandarizado. Algo similar se está viviendo en el terreno de la asistencia virtual.

Por ejemplo, Dialogflow, la tradicional herramienta de Google para el diseño de conversaciones y bots, hace tiempo que ofrece una serie de métricas convencionales para analizar el funcionamiento de un diálogo. Contempla la medición de “Interacciones”, “Sesiones” y “Porcentaje de Salidas”.

Las “interacciones” se refieren a la medición cuantitativa que detecta los llamados de Intents. En tanto, las “sesiones” están definidas por una identificación de sesión asignada a las interacciones. Dialogflow muestra un resumen de las sesiones activas en un horario determinado. Además, está la métrica “Exit%” o “Porcentaje de Salidas” que define el porcentaje de sesiones terminadas con un Intent en un período de tiempo.

Estas métricas de interacciones y sesiones pueden estudiarse desde varios frentes: un punto de vista general (que incluye un resumen de todas las sesiones e interacciones);  una vista según el status code (si las interacciones fueron aprobadas o rechazadas); otras vistas para evaluar las integraciones o webhooks; interacciones según lenguajes o sentimiento, entre otras.

La conversación como foco

Otra herramienta que tiene un interesante desarrollo del dashboard de analytics es Watson Assistant de IBM. Al igual que muchas propuestas de mercado, la confección de un bot se basa en el diseño de Intents y Entidades. Pero además, el dashboard de análisis de la herramienta brinda una serie de métricas estándar muy útiles.

Por ejemplo, al ingresar a la vista general de analytics, ya contamos con un resumen de métricas de conteo, las cuales podemos adaptar según los períodos que nos interese consultar.  Ahí aparece en primer plano la métrica “Total conversations”, una medición de la cantidad de interacciones entre los usuarios y nuestro bot, en definitiva un dato general que nos sirve para tener una primer diagnóstico.

Inmediatamente, la plataforma brinda la medición “Avg. msg. per conversation”, o sea el promedio de mensajes por conversación, un dato clave que puede disparar conjeturas como “¿mi bot está respondiendo con precisión las consultas de los usuarios?”, un elemento clave sobre todo teniendo en cuenta los recursos que puede insumir el envío de mensajes ambiguos o una conversación ineficiente.

Luego, Watson Assistant informa la métrica “Max. conversations”, que define el día con mayor cantidad de conversaciones (dentro del período seleccionado) y “Weak understanding”, una medición de los mensajes no comprendidos por el bot.

En definitiva, cada bot (como cada producto digital) debe considerar una intervención en el análisis de datos en línea con sus propios objetivos o modelos de negocios.

Así como luego de muchos años de trabajo en el terreno del e-commerce, el “bounce rate” o la “tasa de conversión” son consideradas mediciones elementales, creo que estamos en un momento en el que el Data Analytics aplicado a bots está forjando sus propias herramientas de medición, a través de la interacción entre usuarios, plataformas y proveedores de servicios de conversación.