Uma rede neural com 2,6 bilhões de parâmetros, treinada com 40 bilhões de palavras e capaz de trabalhar com várias formas de diálogos. Eis o Meena, que o Google anunciou nesta quarta-feira, 29 de janeiro, com o objetivo de compartilhar o progresso em direção à aprendizagem profunda projetada para manter uma conversação. Segundo a empresa, a solução é melhor do que outros agentes de inteligência artificial criados para conversação e disponíveis, atualmente, online.
O Google também lançou hoje o Sensibleness and Specificity Average (SSA), uma métrica criada por seus pesquisadores para medir a capacidade de um agente de conversação em manter respostas em conversas que fazem sentido e são específicas.
Por essa métrica, os seres humanos alcançam 86% na SSA. Nos testes iniciais, o Meena atingiu 79%. Mitsuku, um agente de IA criado pela Pandora Bots que ganhou o Prêmio Loebner nos últimos quatro anos, obteve 56%, enquanto o XiaoIce, da Microsoft, que fala chinês mandarim, obteve 31%.
Meena é treinada com 40 bilhões de palavras e utiliza um modelo sequência por sequência e uma variação da arquitetura popular do Transformer. O Google lançou o Transformer pela primeira vez em 2017, e desde então o idioma passou a figurar entre os modelos com melhor desempenho do mercado.
O SSA avalia o diálogo com base no desempenho estático com um conjunto fixo de comandos ou desempenho interativo, o que permite uma conversa de fluxo livre. Nos testes feitos pelos pesquisadores, cada conversa avaliada era obrigada a durar de 14 a 28 sessões.
Os resultados são alcançados com base na porcentagem de sessões consideradas específicas ou sensíveis, com o SSA penalizando respostas genéricas. O padrão do SSA que o Google propõe é diferente da métrica que outros assistentes definiram para avaliar uma IA verdadeiramente de conversação.
Fonte: Venturebeat
