O jogo ‘Humano ou não’ acabou Aqui está o que o último Teste de Turing nos diz

The game 'Human or Not' is over. Here's what the last Turing Test tells us.

A AI21 Labs conduziu um experimento social nesta primavera, onde mais de 2 milhões de participantes se envolveram em mais de 15 milhões de conversas através do seu site. No final de cada conversa, um participante tinha que adivinhar se seu parceiro de conversa era humano ou um bot de IA. Quase um terço adivinhou errado.

À medida que o ChatGPT e outros chatbots de IA se tornam mais populares, surgem também perguntas sobre se essas ferramentas de IA podem ser tão inteligentes quanto os humanos, se o conteúdo gerado por essas ferramentas pode passar por criações humanas e se a IA ameaça os empregos das pessoas.

Também: 4 coisas que o Claude AI pode fazer e o ChatGPT não pode

A AI21 Labs encontrou inspiração para o experimento “Humano ou Não?” a partir da avaliação de Alan Turing sobre a capacidade de uma máquina exibir um nível de inteligência indistinguível do de um humano.

Esse tipo de experimento ficou conhecido como Teste de Turing, com base na observação do matemático em 1950: “Acredito que, em 50 anos, será possível fazer com que os computadores joguem o jogo da imitação tão bem que um interrogador médio tenha apenas 70% de chance de fazer a identificação correta após 5 minutos de questionamento.”

Os resultados do experimento Humano ou Não confirmam a previsão de Turing: no geral, os participantes do experimento adivinharam corretamente 68% das vezes. Quando emparelhados com um chatbot de IA, os participantes acertaram apenas cerca de 60% das vezes. Quando o parceiro de conversa era outro ser humano, eles acertaram 73% das vezes.

Embora este não tenha sido um Teste de Turing perfeito, o experimento Humano ou Não da AI21 Labs mostrou como os modelos de IA podem imitar conversas humanas de forma convincente o suficiente para enganar as pessoas. Isso desafia as suposições que temos sobre as limitações da IA e pode ter implicações para a ética da IA.

Também: 40% dos trabalhadores terão que se reciclar nos próximos três anos devido à IA, diz estudo da IBM

O experimento descobriu que os participantes humanos usavam diferentes estratégias para tentar identificar os bots de IA, como fazer perguntas pessoais, perguntar sobre eventos atuais e avaliar o nível de polidez das respostas.

Por outro lado, os autores descobriram que os bots confundiam os jogadores com comportamentos semelhantes aos humanos, como o uso de gírias, erros de digitação, sendo rudes em suas respostas e mostrando conhecimento do contexto do jogo.

“Criamos o ‘Humano ou Não’ com o objetivo de permitir ao público em geral, pesquisadores e formuladores de políticas entenderem melhor o estado da IA no início de 2023”, segundo Amos Meron, líder de produto criativo da AI21 Labs na época do experimento. Um dos objetivos, acrescentou, era “não ver a IA apenas como uma ferramenta de produtividade, mas como membros futuros do nosso mundo online, em um momento em que as pessoas estão questionando como a IA deve ser implementada em nosso futuro.”

Também: O novo teste de Turing: Você é humano?

Tendo usado o experimento eu mesmo quando estava disponível, fui pareado com humanos todas as vezes e adivinhei corretamente todas as vezes. A resposta me pareceu clara porque meus parceiros de conversa usavam gírias da internet (por exemplo, idk), recusavam-se a responder perguntas ou não sabiam as respostas.

Os jogadores tentavam confundir outros jogadores imitando os chatbots de IA, usando termos como “como um modelo de linguagem de IA”, mas isso era frequentemente feito de forma imperfeita, e os participantes humanos do outro lado conseguiam ver através das tentativas.