O Google divulgou esta semana um benchmark de sistemas de processamento de linguagem natural – Xtreme – com nove tarefas que exigem raciocínio sobre semântica em 40 idiomas e 12 famílias de idiomas. Pesquisadores da empresa afirmam que a solução pode avaliar se os modelos de inteligência artificial capturam conhecimento compartilhado entre idiomas, o que pode ser útil para um número crescente de aplicativos em linguagem natural.
O objetivo é estimular a pesquisa no domínio de aprendizado multilíngue da IA, em que a maior parte do trabalho recente investigou se a estrutura das linguagens esparsas de dados pode ser aproveitada para treinar modelos robustos de aprendizado de máquina. Por exemplo, os idiomas geralmente têm palavras etimologicamente semelhantes – “desk” em inglês e “Tisch” em alemão vêm do disco latino – e marcam papéis semânticos de maneiras semelhantes, como o uso de postposições para denotar relações espaciais em chinês e turco.
Os idiomas no Xtreme, então, foram selecionados para maximizar a diversidade e a cobertura das tarefas existentes, bem como a disponibilidade de dados de treinamento. Entre eles estão línguas pouco estudadas, como as línguas dravídicas tâmil, que são faladas no sul da Índia, Sri Lanka e Cingapura, e telugu e malaiala, faladas principalmente no sul da Índia, bem como as línguas níger-congolesa, suaíli e ioruba, falado na África.
As nove tarefas do Xtreme abrangem uma variedade de paradigmas, incluindo classificação de sentenças (ou seja, atribuir uma sentença a uma ou mais classes) e previsão estruturada (predição de objetos como entidades e partes do discurso), além de coisas como recuperação de sentenças (correspondendo a uma consulta a um conjunto de registros) e respostas a perguntas eficientes.
Os modelos testados com sucesso no Xtreme devem ser pré-treinados em texto multilíngue, usando objetivos que incentivem o aprendizado em vários idiomas. Em seguida, eles devem ser ajustados com precisão em dados em inglês específicos da tarefa, pois o inglês é o idioma com maior probabilidade de ter dados rotulados disponíveis.
O Xtreme avalia esses modelos no desempenho de transferência multilíngue de tiro zero – ou seja, em outros idiomas para os quais nenhum dado específico da tarefa foi visto. Para tarefas em que os dados rotulados estão disponíveis em outros idiomas, o Xtreme também compara com o ajuste fino dos dados no idioma e fornece uma pontuação combinada ao obter as pontuações de tiro zero em todas as tarefas.
Nos experimentos preliminares com o Xtreme, uma equipe de pesquisadores do Google descobriu que mesmo os modelos mais avançados, como o BERT multilíngue, o XLM, o XLM-R e o M4, ficaram aquém das expectativas.
O BERT multilíngue alcançou uma precisão de tiro zero de 86,9 (em 100) no espanhol em comparação com 49,2 no japonês e geralmente teve dificuldade em transferir para scripts não latinos, enquanto todos os modelos lutavam para prever entidades que não eram vistas nos dados de treinamento em inglês para idiomas distantes. (As precisões em indonésio e suaíli foram de 58,0 e 66,6, respectivamente, em comparação com 82,3 e 80,1 para português e francês.)
“Descobrimos que, embora os modelos atinjam o desempenho humano na maioria das tarefas existentes em inglês, o desempenho é significativamente menor em muitos outros idiomas”, escreveram o engenheiro de software sênior do Google Research, Melvin Johnson, e o cientista do DeepMind, Sebastian Ruder, em um post do blog.
E acrescentaram: “no geral, existe uma grande lacuna entre o desempenho em inglês e outros idiomas em todos os modelos e configurações, o que indica que há muito potencial para pesquisas sobre transferência entre idiomas.”
Fonte: VentureBeat
