escuro

OpenAI muda estratégia para combater alucinações da IA

Dona do ChatGPT publica estudo que propõe nova abordagem no treinamento dos modelos de inteligência artificial para reduzir erros

A OpenAI anunciou nesta quarta-feira, dia 31, que está usando um novo método de treinamento de modelos de inteligência artificial (IA) para combater erros lógicos, popularmente conhecidos como “alucinações”. Os detalhes constam no estudo “Melhorando o raciocínio matemático com supervisão de processos”, publicado no site da empresa.

“Mesmo modelos de última geração são propensos a produzir falsidades – eles exibem uma tendência inventar fatos em momentos de incerteza. Essas alucinações são particularmente problemáticas em domínios que requerem raciocínio em várias etapas, uma vez que um único erro lógico é suficiente para inviabilizar uma solução muito maior”, afirmam os cientistas no documento. “Detectar e mitigar as alucinações é essencial para melhorar as capacidades de raciocínio”, acrescentam.

A nova abordagem da OpenAI para combater os erros lógicos é focar no processo de construção da resposta em vez de apenas na resposta final. Na linguagem dos cientistas, trata-se de aumentar o desempenho na chamada “supervisão do processo”, indo além da “supervisão do resultado” – que se concentra apenas na resposta final.

O estudo ainda apontou um possível efeito colateral benéfico da nova abordagem. Diferentemente do esperado, a adoção do método de “supervisão do processo” impactou positivamente na capacidade da IA.

“Em alguns casos, métodos mais seguros para sistemas de IA podem levar a uma redução do desempenho, um custo conhecido como taxa de alinhamento. Em geral, qualquer taxa de alinhamento pode dificultar a adoção de métodos de alinhamento, devido à pressão para implantar o modelo mais capaz”, explicam os pesquisadores. “Nossos resultados mostram que a supervisão do processo de fato incorre em uma taxa de alinhamento negativa, pelo menos no domínio da matemática. Isso poderia aumentar a adoção da supervisão de processos, que acreditamos ter efeitos colaterais positivos de alinhamento”.

Total
0
Shares
Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados
Total
0
Share