Realizando um experimento controlado randomizado (ECR), pesquisadores investigaram o impacto das ferramentas de IA de 2025 na produtividade de desenvolvedores experientes de código aberto. O resultado surpreendente foi que o uso de IA resultou em um aumento de 19% no tempo necessário para concluir tarefas, contradizendo as expectativas dos desenvolvedores, que previam um aumento de 24% na eficiência. Após a experiência, mesmo com a desaceleração, a crença dos desenvolvedores era que a IA havia acelerado seu trabalho em 20%.

A motivação por trás do estudo reside na necessidade de compreender a eficácia real das ferramentas de IA, já que benchmarks de codificação frequentemente sacrificam realismo em prol de eficiência e escalabilidade. Esses benchmarks podem superestimar a capacidade das IAs, pois não refletem a interação humana ao longo do processo de desenvolvimento. Além disso, o estudo busca entender o impacto da IA no próprio desenvolvimento de IA, uma vez que avanços rápidos podem resultar em falhas na supervisão.

Para conduzir a pesquisa, 16 desenvolvedores de repositórios de código aberto com alta reputação foram selecionados. Eles foram solicitados a trabalhar em 246 problemas reais, variando entre correções de bugs e novas funcionalidades, divididos aleatoriamente em grupos que poderiam ou não usar ferramentas de IA. O estudo utilizou modelos de IA da época, como o Cursor Pro com Claude 3.5/3.7 Sonnet, permitindo uma análise detalhada do tempo de implementação.

Os resultados revelaram que, embora os desenvolvedores tenham utilizado modelos de ponta, a produtividade foi prejudicada. Os pesquisadores descobriram que cinco fatores podem ter contribuído para essa desaceleração, após descartar artefatos experimentais. Essa descoberta é importante, pois demonstra uma discrepância significativa entre o desempenho observado e os resultados de benchmarks, que muitas vezes mostram resultados positivos para as IAs.

A pesquisa também levanta questões sobre como reconciliar os resultados do ECR com as pontuações impressionantes dos benchmarks e os relatos anedóticos de utilidade das ferramentas de IA. Os pesquisadores sugerem várias hipóteses, desde a possibilidade de que os resultados do ECR subestimem as capacidades da IA, até a ideia de que os benchmarks e relatos anedóticos podem superestimar as capacidades reais das ferramentas de IA.

No futuro, os pesquisadores planejam realizar mais estudos semelhantes para analisar as tendências de aceleração (ou desaceleração) causadas pela IA. A metodologia proposta oferece evidências complementares aos benchmarks, focando em cenários de implantação realistas para entender melhor as capacidades e o impacto das ferramentas de IA. Eles estão abertos a colaborações com desenvolvedores ou empresas de código aberto que queiram explorar o impacto da IA no trabalho.