A análise da VectorCertain LLC do repositório GitHub do OpenClaw revelou ineficiências sistêmicas no desenvolvimento de código aberto, com 20% das contribuições pendentes identificadas como duplicatas representando aproximadamente 2.000 horas de tempo de desenvolvedor desperdiçado. A análise examinou todos os 3.434 pull requests abertos em um dos projetos de IA mais estrelados do mundo, que tem 197.000 seguidores, usando a plataforma proprietária de consenso de IA multi-modelo da VectorCertain.
Os resultados indicam 283 clusters duplicados onde múltiplos desenvolvedores construíram independentemente correções idênticas, com 688 pull requests redundantes entupindo o pipeline de revisão e consumindo a escassa atenção dos mantenedores. O maior cluster de duplicação documentado envolveu 17 soluções independentes para um único bug de mensagens diretas do Slack. Correções de segurança foram encontradas duplicadas de três a seis vezes cada, enquanto vulnerabilidades conhecidas permaneciam sem correção, e 54 pull requests foram sinalizados por desvio de visão — contribuições que não se alinham com os objetivos do projeto.
A análise da VectorCertain chega em um momento crítico para o OpenClaw, após a saída do criador do projeto Peter Steinberger para a OpenAI e a transição do projeto para uma estrutura de fundação. A análise apoia a declaração recente de Steinberger de que "testes unitários não são suficientes" para manter a plataforma em escala, embora o fundador e CEO da VectorCertain, Joseph P. Conroy, observe que o problema vai além dos testes. "Testes unitários verificam se o código faz o que um desenvolvedor pretendia", explica Conroy. "O consenso multi-modelo verifica se o que o desenvolvedor construiu é a coisa certa para construir. Estas são questões fundamentalmente diferentes, e projetos de código aberto em grande escala precisam de ambas."
O projeto enfrenta desafios adicionais além de pull requests duplicados, incluindo crescentes preocupações de segurança. A campanha ClawHavoc identificou 341 habilidades maliciosas no marketplace do OpenClaw, enquanto um relatório da Snyk encontrou falhas no tratamento de credenciais em 7,1% das habilidades registradas. Apesar dos mantenedores mesclarem centenas de commits diariamente, as submissões de pull requests superaram amplamente a capacidade de revisão, com mais de 3.100 pull requests pendentes a qualquer momento.
A análise da VectorCertain utilizou três modelos de IA independentes — Llama 3.1 70B, Mistral Large e Gemini 2.0 Flash — que avaliam cada pull request separadamente antes de fundir seus julgamentos usando votação de consenso. Esta abordagem crítica para segurança, semelhante a métodos usados em veículos autônomos e sistemas de IA médica, processou 48,4 milhões de tokens ao longo de oito horas a um custo total de computação de US$ 12,80, ou US$ 0,0037 por pull request analisado. A metodologia completa e os resultados são detalhados no relatório jconroy1104.github.io/claw-review/claw-review-report.html.
A ferramenta claw-review usada para esta análise está disponível como software de código aberto sob uma Licença MIT em github.com/jconroy1104/claw-review, permitindo que outros projetos realizem análises semelhantes de seus repositórios. A plataforma empresarial da VectorCertain estende esta abordagem de consenso multi-modelo para domínios críticos de segurança, incluindo veículos autônomos, cibersegurança, saúde e serviços financeiros, suportando mais de 20 modelos paralelos com fusão de consenso formal e garantias matemáticas de segurança.
As 2.000 horas de tempo de desenvolvedor desperdiçado identificadas representam apenas o impacto imediato, com implicações mais amplas para a governança de projetos de código aberto, alocação de capacidade dos mantenedores e eficiência de desenvolvimento em toda a indústria. A análise demonstra como ferramentas alimentadas por IA podem identificar ineficiências sistêmicas que levariam meses para mantenedores humanos descobrirem, potencialmente transformando como projetos de código aberto em grande escala gerenciam contribuições e processos de revisão.
