A Amazon anunciou a disponibilidade de três novas ferramentas para o desenvolvimento de skills para a Alexa. Segundo a empresa, duas delas se concentram na precisão do modelo de voz, enquanto a terceira, ainda na versão beta, destina-se a gerar relatórios de qualidade e uso.
“Elas ajudam a completar o conjunto de ferramentas de análise e teste de skills da Alexa que permitem criar e validar o modelo de voz antes de publicar a skill, detectar possíveis problemas quando ela está ativa e ajudar a refiná-la ao longo do tempo”, escreveu Leo Ohannsiam em post no blog Amazon Alexa.
Uma delas é a ferramenta de avaliação da linguagem natural (NLU), que testa lotes de afirmações e compara como elas são interpretadas pelo modelo NLU de uma skill. De acordo com a Amazon, a ferramenta tem três casos de uso. Um deles é evitar treinar demais o modelo de NLU com muitas amostras de expressões e valores de slot para não reduzir a precisão.
A ferramenta também pode fazer testes de regressão e executá-los após a adição de novos recursos às skills, permitindo que a experiência do usuário não seja alterada. A solução também permite fazer medições de precisão do modelo NLU da skill.
A solução detecção de conflitos de expressão, que é executada automaticamente em cada construção de modelo, ajuda a identificar expressões que são acidentalmente mapeadas para várias interações. Isso reduz a precisão do modelo de compreensão de linguagem natural da skill.
Segundo o post, esta ferramenta pode ser usada antes da publicação da primeira versão de uma skill ou conforme se adiciona intenções e slots ao longo do tempo. Assim, explicou o post, evita-se a construção de modelos com conflitos intencionais.
A terceira novidade é a API Get Metrics, na versão beta, pela qual o desenvolvedor ganha um recurso para analisar métricas-chave como clientes únicos em suas ferramentas de análise ou agregação. Agora, por exemplo, o desenvolvedor pode se conectar ao AWS CloudWatch e criar monitores, alarmes e dashboards para conhecer as mudanças que podem afetar a experiência do usuário. Leia a íntegra do post.
