O que é um ‘desvio de IA’ e por que está tornando o ChatGPT menos inteligente?

What is an 'AI bias' and why is it making ChatGPT less intelligent?

Se você já experimentou o ChatGPT ou leu sobre ele, os rumores são verdadeiros, o ChatGPT está ficando progressivamente mais burro. 

Esse fenômeno é especialmente perplexo porque os modelos de IA generativa usam a entrada do usuário para se treinarem continuamente, o que deveria torná-los mais inteligentes à medida que acumulam mais entradas de usuários ao longo do tempo. 

Também: Como usar o ChatGPT para criar um aplicativo

A resposta pode estar em um conceito chamado “drift”.

Um “drift” refere-se a quando os grandes modelos de linguagem (LLMs) se comportam de maneiras inesperadas ou imprevisíveis que se afastam dos parâmetros originais. Isso pode acontecer porque tentativas de melhorar partes de modelos de IA complicados fazem com que outras partes funcionem pior. 

Pesquisadores da Universidade da Califórnia em Berkeley e da Universidade Stanford conduziram um estudo para avaliar os drifts e examinar como os populares modelos de linguagem grandes (LLMs) do ChatGPT, GPT 3.5 (o LLM por trás do ChatGPT) e GPT-4 (o LLM por trás do Bing Chat e do ChatGPT Plus) mudaram ao longo do tempo. 

Também: Os melhores chatbots de IA

O estudo comparou a capacidade de ambos os LLMs de resolver problemas matemáticos, responder a perguntas sensíveis, responder a pesquisas de opinião, responder a perguntas de conhecimento com várias etapas, gerar código, realizar exames de licença médica dos EUA e completar tarefas de raciocínio visual em março e junho.

Como visto pelos resultados do estudo acima, a versão de março do GPT-4 superou a versão de junho em muitos casos, sendo o mais evidente os prompts matemáticos básicos em que a versão de março do GPT-4 superou a versão de junho em ambos os exemplos (a) e (b). 

O GPT-4 também piorou na geração de código, na resposta a perguntas de exames médicos e na resposta a pesquisas de opinião. Todos esses casos podem ser atribuídos ao fenômeno do drift. 

Em relação aos drifts, um dos pesquisadores, James Zou, disse ao Wall Street Journal: “Suspeitávamos que isso poderia acontecer aqui, mas ficamos muito surpresos com a rapidez do drift”.

Também: GPT-3.5 vs GPT-4: Vale a pena assinar o ChatGPT Plus?

Apesar da inteligência em deterioração, também houve alguns casos de melhora tanto no GPT-4 quanto no GPT-3.5. 

Como resultado, os pesquisadores incentivam os usuários a continuarem usando os LLMs, mas a terem cautela ao usá-los e avaliá-los constantemente.