A capacidade de detectar discursos de ódio não é uma tarefa simples, até mesmo por meio de modelos que utilizam machine learning há dificuldades. Isso porque a fala negativa pode aparecer de diferentes formas e, muitas vezes, a Inteligência Artificial (IA) não é capaz de distinguir de forma confiável.
Por conta disso, pesquisadores da Universidade de Oxford, da Universidade de Utrecht, da Universidade de Sheffield e do Instituto Alan Turing desenvolveram o HateCheck. O estudo é um modelo que se baseia em entrevistas com 16 Organizações Não-Governamentais (ONGs) britânicas, alemãs e americanas, que monitoram o ódio online.
De acordo com os pesquisadores, os testes do HateCheck analisaram 29 modos, como discurso de ódio depreciativo, linguagem ameaçadora e ódio por meio de palavrões. Segundo a pesquisa, 18 testes avaliaram manifestações de ódio declarado, como em “Eu odeio muçulmanos”. Já os 11 testes restantes examinaram expressões de ódio velado, como na frase “Eu absolutamente adoro mulheres”.
No entanto, os pesquisadores descobriram que todos os modelos de IA dependem muito das palavras-chave, como calúnias e palavrões. Assim, diversas expressões acabaram sendo classificadas de forma errada.
Para discursos que tratam diretamente do ódio em si, o modelo utilizado classificou corretamente apenas 18,4% dos textos analisados. Já nas falas caluniosas, somente 66% foram reconhecidos pelo modelo. Além disso, foi observado que a API utilizada pode falhar ao analisar variações nas palavras, como caracteres ausentes (74,3% de precisão), espaços adicionados entre os caracteres (74%) e palavras com números no lugar de letras (68,2%).
“Parece que todos os modelos, codificam regras de decisão simples baseadas em palavras-chave, em vez de captar o conteúdo relevante”, disseram os pesquisadores.
Por conta da baixa precisão em reconhecer os discursos, os pesquisadores sugerem um aumento nos modelos de treinamento que contenham exemplos de incitação que não foram detectados.
Fonte: VentureBeat
