Curadoria e expansão de chatbots

artigo-curadoria-bots

Depois de muito trabalho, semanas pensando em cada fluxo de conversa, na persona e canais do seu bot, finamente ele é liberado para os seus clientes! Finalmente um pouco de descanso! Nosso trabalho está concluído! Certo?

Certo?

Meus amigos, nem tudo são flores no reino do chatbot.

Há algum tempo, escrevi esse artigo sobre a importância da curadoria no sucesso de chatbots. Também escrevi sobre como o Botgrade, a plataforma que criamos na Certsys Labs, te ajuda com analytics e BI do seu agente.

Agora vamos explorar a curadoria e expansão na prática! Como o Botgrade agiliza, melhora e metrifica o trabalho da equipe que lida com o chatbot no dia a dia.

Módulos do Botgrade

Relembrando os módulos do Botgrade, nós temos 6 módulos: 3 de analytics e 3 de curadoria em si.

  • Um dashboard customizável
  • Sistema de validação de treinamento
  • Módulo de curadoria integrada
  • Mapeador de fluxos de conversa
  • Visualização das conversas
  • Gerenciador de testes unitários automatizados

Hoje trataremos dos módulos de validação de treinamento, de curadoria integrada e de testes unitários automatizados.

Validação do treinamento

Este é um sistema que realiza testes de acurácia no seu agente conversacional. Talvez isso soe técnico demais, mas não se assuste — na verdade ele é bem fácil de usar.

Neste módulo, transformamos técnicas amplamente utilizadas para medir modelos de inteligência artificial em algo extremamente simples e visual. Desse modo, não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados.

Como o motor de validação funciona? 

Este motor analisa o funcionamento da rede neural por trás do entendimento das intenções entendidas pelo seu bot. Ele cria várias “cópias” temporárias do seu robô, cada uma ligeiramente diferente das outras — com exemplos diferentes para cada intenção.

Ele então testa cada uma dessas cópias e, assim, identifica quais intenções não estão sendo entendidas, quais estão sendo confundidas com outras e quais precisam de mais exemplos de treinamento.

Não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados

Além desses insights, o motor também atribui uma nota geral para a qualidade do entendimento do seu chatbot, e mantém registrada uma série histórica para comparação. Essa nota é gerada a partir da compilação de três métricas técnicas geradas por ele.

Mas eu quero entender os dados técnicos! Sem problemas, você também pode acessar dados mais técnicos clicando em “Ver detalhes” ao lado da pontuação do seu bot.

Agora já aviso: o resto desse parágrafo é extremamente técnico, então se você não se importa realmente com esse tipo de coisa, pode pular se preferir. Lá, quatro dados estão disponíveis: a acurácia média, a precisãorevocação e a matriz de confusão das intenções.

Você pode ler mais sobre cada um desses dados e o que eles significam nesta série de artigos.

Curadoria integrada

Nós sabemos que não é possível, e nem desejado, retirar totalmente o trabalho humano da curadoria e treinamento dos agentes conversacionais. É o olhar humano, com todas as suas sutilezas, que garante uma experiência refinada ao chatbot.

Por isso, criamos o módulo de curadoria integrada. Nossa ideia é oferecer um lugar centralizado para realizar toda a curadoria do bot. O módulo é divido em três partes: a barra de filtros, a janela de visualização e a central de ações.

Na barra de filtros, você escolhe o período com o qual quer trabalhar, uma ou várias intenções e uma faixa de confiança específica, de 0 a 100%. Pode ainda habilitar a exibição das respostas dadas pelo bot, bem como exibir as mensagens que não foram entendidas por ele, além de pesquisar por palavras ou frases na barra de busca.

A janela de visualização permite redimensionamento, paginação e, clicando no ícone de chat ao lado de cada mensagem, a conversa inteira é exibida numa barra lateral, exatamente como no módulo de visualização de conversas que será apresentado mais adiante.

Todas as interações são selecionáveis, e, após realizar uma seleção, a central de ações é ativada.

Na central de ações é possível treinar o seu chatbot diretamente do Botgrade! É possível adicionar frases a uma determinada intenção, criar uma nova intenção e populá-la com exemplos e até mesmo marcar frases como irrelevantes no contexto do seu agente. No momento, o Botgrade possui integração com a curadoria para chatbots IBM Watson.

Testes unitários

Como garantir que mudanças feitas no bot não quebrem ou interfiram no funcionamento da versão anterior?

Pode-se testar extensivamente todas as possibilidades de fluxos, mas isso é um processo manual, tedioso e, dependendo da escala, impossível. Por isso criamos um conceito novo: o de testes unitários em chatbots.

O que é um teste unitário? 

Teste unitário é um conceito que vem do desenvolvimento de software. Ele consiste em testar todas as partes do seu software unitariamente, isto é, dividir cada componente em suas menores partes e testar se cada uma dela executa sua função corretamente.

Testes unitários são a parte mais importante dos testes de software. É impossível gerar todas as combinações de inputs que podem ocorrer num sistema real, então é apenas com esse tipo de teste que é possível ter alguma certeza de que o software está bem estruturado e desenvolvido. O mesmo conceito pode ser aplicado em chatbots.

Criando um ou mais testes para cada nó de diálogo, é possível garantir que a estrutura dos diálogos criada funciona. Esse tipo de certeza é extremamente importante quando se está desenvolvendo um chatbot novo ou adicionando novas funcionalidades em um existente. Assim, é possível ter a tranquilidade de que o funcionava antes das mudanças continua funcionando com certeza.

Os testes podem ser criados utilizando diferentes condições de entrada (inputs), e diferentes resultados esperados, como intenções, nós de diálogo, entidades ou variáveis de contexto.

Os testes são separados em conjuntos, suítes, diferentes, para cada parte do seu bot. Cada vez que uma suite é executada, seus resultados são exibidos no painel, mostrando com clareza quais testes falharam e o que precisa ser corrigido.

Agora já sabemos como funcionam todos os módulos do Botgrade!

Posts Relacionados

Comentários