Curadoria e expansão de chatbots

Depois de muito trabalho, semanas pensando em cada fluxo de conversa, na persona e canais do seu bot, finamente ele é liberado para os seus clientes! Finalmente um pouco de descanso! Nosso trabalho está concluído! Certo?

Certo?

Meus amigos, nem tudo são flores no reino do chatbot.

Há algum tempo, escrevi esse artigo sobre a importância da curadoria no sucesso de chatbots. Também escrevi sobre como o Botgrade, a plataforma que criamos na Certsys Labs, te ajuda com analytics e BI do seu agente.

Agora vamos explorar a curadoria e expansão na prática! Como o Botgrade agiliza, melhora e metrifica o trabalho da equipe que lida com o chatbot no dia a dia.

Módulos do Botgrade

Relembrando os módulos do Botgrade, nós temos 6 módulos: 3 de analytics e 3 de curadoria em si.

  • Um dashboard customizável
  • Sistema de validação de treinamento
  • Módulo de curadoria integrada
  • Mapeador de fluxos de conversa
  • Visualização das conversas
  • Gerenciador de testes unitários automatizados

Hoje trataremos dos módulos de validação de treinamento, de curadoria integrada e de testes unitários automatizados.

Validação do treinamento

Este é um sistema que realiza testes de acurácia no seu agente conversacional. Talvez isso soe técnico demais, mas não se assuste — na verdade ele é bem fácil de usar.

Neste módulo, transformamos técnicas amplamente utilizadas para medir modelos de inteligência artificial em algo extremamente simples e visual. Desse modo, não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados.

Como o motor de validação funciona? 

Este motor analisa o funcionamento da rede neural por trás do entendimento das intenções entendidas pelo seu bot. Ele cria várias “cópias” temporárias do seu robô, cada uma ligeiramente diferente das outras — com exemplos diferentes para cada intenção.

Ele então testa cada uma dessas cópias e, assim, identifica quais intenções não estão sendo entendidas, quais estão sendo confundidas com outras e quais precisam de mais exemplos de treinamento.

Não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados

Além desses insights, o motor também atribui uma nota geral para a qualidade do entendimento do seu chatbot, e mantém registrada uma série histórica para comparação. Essa nota é gerada a partir da compilação de três métricas técnicas geradas por ele.

Mas eu quero entender os dados técnicos! Sem problemas, você também pode acessar dados mais técnicos clicando em “Ver detalhes” ao lado da pontuação do seu bot.

Agora já aviso: o resto desse parágrafo é extremamente técnico, então se você não se importa realmente com esse tipo de coisa, pode pular se preferir. Lá, quatro dados estão disponíveis: a acurácia média, a precisãorevocação e a matriz de confusão das intenções.

Você pode ler mais sobre cada um desses dados e o que eles significam nesta série de artigos.

Curadoria integrada

Nós sabemos que não é possível, e nem desejado, retirar totalmente o trabalho humano da curadoria e treinamento dos agentes conversacionais. É o olhar humano, com todas as suas sutilezas, que garante uma experiência refinada ao chatbot.

Por isso, criamos o módulo de curadoria integrada. Nossa ideia é oferecer um lugar centralizado para realizar toda a curadoria do bot. O módulo é divido em três partes: a barra de filtros, a janela de visualização e a central de ações.

Na barra de filtros, você escolhe o período com o qual quer trabalhar, uma ou várias intenções e uma faixa de confiança específica, de 0 a 100%. Pode ainda habilitar a exibição das respostas dadas pelo bot, bem como exibir as mensagens que não foram entendidas por ele, além de pesquisar por palavras ou frases na barra de busca.

A janela de visualização permite redimensionamento, paginação e, clicando no ícone de chat ao lado de cada mensagem, a conversa inteira é exibida numa barra lateral, exatamente como no módulo de visualização de conversas que será apresentado mais adiante.

Todas as interações são selecionáveis, e, após realizar uma seleção, a central de ações é ativada.

Na central de ações é possível treinar o seu chatbot diretamente do Botgrade! É possível adicionar frases a uma determinada intenção, criar uma nova intenção e populá-la com exemplos e até mesmo marcar frases como irrelevantes no contexto do seu agente. No momento, o Botgrade possui integração com a curadoria para chatbots IBM Watson.

Testes unitários

Como garantir que mudanças feitas no bot não quebrem ou interfiram no funcionamento da versão anterior?

Pode-se testar extensivamente todas as possibilidades de fluxos, mas isso é um processo manual, tedioso e, dependendo da escala, impossível. Por isso criamos um conceito novo: o de testes unitários em chatbots.

O que é um teste unitário? 

Teste unitário é um conceito que vem do desenvolvimento de software. Ele consiste em testar todas as partes do seu software unitariamente, isto é, dividir cada componente em suas menores partes e testar se cada uma dela executa sua função corretamente.

Testes unitários são a parte mais importante dos testes de software. É impossível gerar todas as combinações de inputs que podem ocorrer num sistema real, então é apenas com esse tipo de teste que é possível ter alguma certeza de que o software está bem estruturado e desenvolvido. O mesmo conceito pode ser aplicado em chatbots.

Criando um ou mais testes para cada nó de diálogo, é possível garantir que a estrutura dos diálogos criada funciona. Esse tipo de certeza é extremamente importante quando se está desenvolvendo um chatbot novo ou adicionando novas funcionalidades em um existente. Assim, é possível ter a tranquilidade de que o funcionava antes das mudanças continua funcionando com certeza.

Os testes podem ser criados utilizando diferentes condições de entrada (inputs), e diferentes resultados esperados, como intenções, nós de diálogo, entidades ou variáveis de contexto.

Os testes são separados em conjuntos, suítes, diferentes, para cada parte do seu bot. Cada vez que uma suite é executada, seus resultados são exibidos no painel, mostrando com clareza quais testes falharam e o que precisa ser corrigido.

Agora já sabemos como funcionam todos os módulos do Botgrade!

Analytics e BI para chatbots

 

Como melhorar o processo de curadoria do seu chatbot?  Vou mostrar como funciona o Botgrade, a ferramenta de curadoria que nós criamos na Certsys Labs, e como ele ajuda a definir um fluxo de curadoria sempre coerente e extremamente eficiente.

Em uma série de três artigos, vou explicar como funciona o Botgrade e como você pode adaptá-lo ao seu dia a dia.

Nesse primeiro artigo, vou mostrar os módulos de analytics BI presentes na nossa plataforma; no segundo artigo vai ser a vez dos módulos de curadoria; no terceiro e último, descreverei alguns fluxos de trabalho de curadoria e melhoria de agentes virtuais que estruturamos em nossa experiência com diferentes clientes na Certsys.

Além disso, vou exemplificar como o Botgrade agiliza, facilita e melhora o trabalho de toda a equipe envolvida com o chatbot, desde a curadoria do dia a dia até sua governança e expansão.

Overview

Vou começar falando sobre a estrutura do Botgrade. Essa parte é um pouco técnica, então sinta-se a vontade para pular direto para a seção de analytics e BI.

O Botgrade é composto por 6 módulos:

  • Um dashboard customizável
  • Sistema de validação de treinamento
  • Módulo de curadoria integrada
  • Mapeador de fluxos de conversa
  • Visualização das conversas
  • Gerenciador de testes unitários automatizados

Hoje trataremos dos módulos relacionados à analytics e BI do seu chatbot: o dashboard, o mapeador de fluxos e a visualização de conversas.

Ele funciona no modelo SaaS, ou seja, é um serviço na nuvem onde toda a infraestrutura e configuração fica abstraída dos usuários. Isso torna sua conexão com seu chatbot extremamente fácil e rápida, sem nenhuma linha de código, novo deploy ou qualquer downtime. Atentos à LGDP, também oferecemos a opção de alguns serviços ou databases on-premise ou em nuvem privada.

Dashboard customizável

Talvez o dashboard seja o ponto de partida da curadoria de muitos times. A dashboard padrão mostra umas série estatísticas sobre o seu bot que são coletados automaticamente e geram as KPIs mais utilizadas no mercado para acompanhar o dia-a-dia de um chatbot.

São medidas como o número de co