A equipe da Alexa AI desenvolveu duas novas ferramentas para produzir dados sintéticos de alta qualidade de forma mais eficiente que ajudam no aprendizado de novos idiomas para a Alexa. As soluções chegaram primeiro nos lançamentos das versões da assistente de voz para os idiomas português do Brasil, espanhol dos Estados Unidos e hindi, anunciadas pela Amazon nas últimas semanas.
Uma das ferramentas utiliza uma técnica chamada de indução gramatical para analisar um volume grande de expressões para aprender padrões sintáticos e semânticos gerais. Um post escrito por Janet Slifka, gerente sênior de Ciência de Pesquisa do Grupo de Compreensão Natural da Alexa AI, explica que, a partir desses padrões, ele reproduz uma série de expressões reescritas que podem gerar milhares de frases novas e semelhantes.
Intitulada de reamostragem guiada, a segunda ferramenta gera novas frases, recombinando palavras e frases a partir de exemplos nos dados disponíveis. “A reamostragem guiada concentra-se na otimização do volume e da distribuição dos tipos de frases, para maximizar a precisão dos modelos de processamento de linguagem natural (NLU) resultantes”, explica a especialista.
Modelos de autoaprendizagem
Assim como acontece com todos os lançamentos em novos idiomas, as três versões da Alexa levantaram uma questão: como inicializar os modelos de autoaprendizagem que interpretam as solicitações dos clientes, sem a capacidade de aprender com as suas interações. Segundo o post, a solução é usar dados sintéticos.
“Cada novo local tem seu próprio modelo de reconhecimento de fala, que converte um sinal acústico de fala em texto. Mas interpretar esse texto – determinando o que o cliente quer que o Alexa faça – é o trabalho dos sistemas de compreensão da linguagem natural da Alexa”, diz Slifka.
Segundo ela, que lidera a equipe de Modelagem Aplicada e Ciência de Dados da Alexa AI, quando uma versão em novo idioma da Alexa está em desenvolvimento, enfrenta a falta de dados de treinamento para seus sistemas de linguagem natural.
A saída, explica a especialista, é propor alguns exemplos padrões de pedidos de clientes na nova língua, com os dados vindo de várias alternativas, sendo uma delas uma competência da Alexa que permite aos clientes multilíngues ajudarem a treinar modelos de novas línguas, respondendo a mensagens de voz com enunciados em formato aberto.
“Mesmo quando os dados de todas essas fontes estão disponíveis, no entanto, às vezes, não é suficiente para treinar um modelo NLU confiável. As novas ferramentas tratam as expressões de amostra disponíveis como modelos e geram novos dados por meio da combinação e variação desses modelos”, observa a especialista.
Leia a íntegra do post, em inglês.