Um estudo comparou o desempenho de sistemas de Inteligência Artificial e de trabalhadores humanos em centenas de tarefas reais, incluindo a criação de uma versão digital desta planta baixa desenhada à mão. O resultado foi que a IA só consegui realizar 2,5% dos trabalhos, e não necessariamente de maneira perfeita.
Muitos sabem que as IAs podem realizar muitas tarefas envolvendo códigos, documentos ou imagens. E isso levou a previsões de que o trabalho humano de diversas naturezas poderia ser em breve ser realizado apenas por computadores.
E uma pesquisa realizada no ano passado pela Universidade Bentley e pelo Gallup revelou que cerca de três quartos dos americanos esperam que a IA reduza o número de empregos nos EUA na próxima década. Porém, os dados do novo estudo mostram que a tecnologia, em grande parte, não substituiu os trabalhadores.
Notícias Relacionadas:
- Como começar a usar IA generativa visual em PCs com NVIDIA RTX
- Mudança histórica à vista? NVIDIA considera tecnologia da Intel para próxima geração de chips de IA
- Preços de memórias DDR4 estão subindo mais rápido do que os de DDR5
Bom para os trabalhadores
Pesquisadores coletaram centenas de exemplos de projetos publicados em plataformas de freelancers pelos quais humanos foram pagos para concluir. As tarefas incluíam a criação de animações 3D de produtos, a transcrição de músicas, a programação de jogos online e a formatação de artigos científicos para publicação.
Na sequência, os pesquisadores atribuíram cada tarefa a sistemas de IA como o ChatGPT da OpenAI, o Gemini do Google e o Claude da Anthropic.
| Modelo | Taxa de Sucesso (%) |
|---|---|
| Manus | 2,5% |
| Grok 4 | 2,1% |
| Sonnet 4.5 | 2,1% |
| GPT-5 | 1,7% |
| Agente ChatGPT | 1,3% |
| Gemini 2.5 Pro | 0,8% |
O melhor sistema de IA concluiu com sucesso apenas 2,5% dos projetos, de acordo com a equipe de pesquisa da Scale AI. A startup fornece dados para desenvolvedores de IA, e do Center for AI Safety, uma organização sem fins lucrativos que trabalha para compreender os riscos da IA.
Conforme Jason Hausenloy, um dos pesquisadores do estudo Remote Labor Index, a conclusão é evidente: “Os modelos atuais estão longe de serem capazes de automatizar empregos reais na economia”. Eles criaram o estudo para fornecer aos formuladores de políticas informações sobre as capacidades dos sistemas de IA.
Pesquisa contínua
A equipe de pesquisa publicou os resultados pela primeira vez em outubro, testando os melhores sistemas de IA disponíveis na época. E o plano dos pesquisadores é atualizar os resultados à medida que novos modelos forem lançados.
O estudo Remote Labor Index é um dos primeiros a medir o desempenho da IA em tarefas de trabalho reais sem ajuda externa, testando a tecnologia em tarefas simuladas. Ao revelar as falhas dos sistemas de IA, seus resultados desafiam as previsões de que a IA está prestes a substituir grande parte da força de trabalho.
Se os sistemas de IA pudessem executar tarefas remotas de forma autônoma, as empresas que utilizam contratados humanos poderiam, em vez disso, delegar esse trabalho a um chatbot. Isso representaria uma enorme economia de custos para as empresas e deixaria seus contratados ociosos.
O estudo sugere que esse cenário ainda está longe da realidade.
Outros estudos estimaram o impacto da IA no mercado de trabalho frequentemente concluíram que grande parte do trabalho humano é substituível. Eles foram feitos comparando as habilidades individuais que a tecnologia pode demonstrar com as habilidades utilizadas em diferentes funções.
Porém, muitos deixaram escapar o fato de que um sistema de IA poder analisar dados financeiros e redigir relatórios não significa que ele possa realizar o trabalho de um economista ou banqueiro.
Já no estudo Remote Labor Index , os sistemas de IA falharam em quase metade dos projetos, produzindo trabalhos de baixa qualidade e deixando mais de um terço incompleto. Quase um em cada cinco apresentou problemas técnicos básicos, como a geração de arquivos corrompidos, constataram os pesquisadores.
Razões para as falhas
Muitas das falhas “prosaicas” decorreram de duas limitações principais dos sistemas de IA atuais. Primeiro, elas não têm memória de longo prazo, então não conseguem aprender com erros anteriores nem se lembrar de feedbacks ao longo de dias e semanas.
E, em segundo lugar, elas têm dificuldade com a compreensão visual, como design gráfico ou como os objetos ficariam se fossem rotacionados.
Essa falha ficou evidente em um projeto que solicitava material promocional para um produto tecnológico. O projeto envolvia fotografar fones de ouvido e criar um modelo 3D e videoclipes curtos demonstrando seu design.
Nenhum sistema de IA produziu um trabalho aceitável. O GPT-5 da OpenAI e o Sonnet da Anthropic criaram modelos 3D de baixa qualidade. O Manus sequer criou um modelo 3D e, como resultado, os fones de ouvido mudam de aparência entre os vídeos.
Ferramentas diferentes
Graham Neubig, professor associado da Universidade Carnegie Mellon que pesquisa o funcionamento de sistemas de IA, traz outra explicação interessante. Segundo ele, um dos motivos pelos quais as IAs podem falhar em projetos reais é porque elas não utilizam as mesmas ferramentas que um especialista humano usaria.
Um humano criando uma renderização de um produto usaria um software de modelagem 3D com uma interface visual, por exemplo. Mas um chatbot solicitado a criar um modelo 3D geralmente tenta gerar imagens do objeto escrevendo código.
Isso reflete o que sistemas como o ChatGPT são treinados para fazer melhor, como texto e programação. E mostra uma limitação prática das ferramentas de IA atuais: elas têm dificuldade em operar softwares visuais projetados para humanos.
Os modelos de IA são bons em gerar código, disse ele, mas avaliar como o resultado final atende à solicitação original é difícil. “O código está certo ou errado, mas o design visual é muito subjetivo”, disse Neubig.
Melhores resultados
Os melhores resultados para os sistemas de IA foram em uma tarefa do estudo que envolvia a produção de um jogo baseado na web. A melhor versão feita sem intervenção humana é jogável e é considerada um feito impressionante. Porém, o sistema de IA ignorou a instrução de que o jogo deveria ter um tema de desenvolvimento.
Embora todos os sistemas de IA tenham falhado na maioria dos projetos, os modelos mais recentes tiveram um desempenho melhor. A equipe testou recentemente o Gemini 3 Pro do Google, lançado em novembro. Ele concluiu 1,3% das tarefas, em comparação com os 0,8% alcançados pela versão anterior da empresa.
Porém, o problema central que o estudo demonstra é que os investimentos na tecnologia são muito maiores do que os resultados imediatos que ela traz. No caso do jogo, o projeto por um humano foi criado por US$ 1.485 (R$ 7.758,68) e o pela IA custou US$ 30 (R$ 156,74).
Porém, ainda se trata de algo simples e um escopo bem menor do que o alardeado por entusiastas.
Fonte: Remote Labor Index.
Rendendo!
Microsoft recebeu US$ 7,6 bilhões graças à OpenAI só no último trimestre
