El análisis de VectorCertain LLC del repositorio GitHub de OpenClaw ha revelado ineficiencias sistémicas en el desarrollo de código abierto, con un 20% de las contribuciones pendientes identificadas como duplicados que representan aproximadamente 2,000 horas de tiempo de desarrollador desperdiciado. El análisis examinó las 3,434 solicitudes de extracción abiertas en uno de los proyectos de IA más destacados del mundo, que tiene 197,000 seguidores, utilizando la plataforma de consenso de IA multimodelo propietaria de VectorCertain.
Los hallazgos indican 283 grupos de duplicados donde múltiples desarrolladores construyeron soluciones idénticas de forma independiente, con 688 solicitudes de extracción redundantes obstruyendo el flujo de revisión y consumiendo la escasa atención de los mantenedores. El grupo de duplicación más grande documentado involucró 17 soluciones independientes para un solo error de mensajería directa de Slack. Se encontraron correcciones de seguridad duplicadas de tres a seis veces cada una mientras vulnerabilidades conocidas permanecían sin parchear, y 54 solicitudes de extracción fueron marcadas por desviación de visión—contribuciones que no se alinean con los objetivos del proyecto.
El análisis de VectorCertain llega en un momento crítico para OpenClaw, tras la partida del creador del proyecto Peter Steinberger a OpenAI y la transición del proyecto a una estructura de fundación. El análisis respalda la declaración reciente de Steinberger de que "las pruebas unitarias no son suficientes" para mantener la plataforma a gran escala, aunque el fundador y CEO de VectorCertain, Joseph P. Conroy, señala que el problema va más allá de las pruebas. "Las pruebas unitarias verifican que el código hace lo que un desarrollador pretendía", explica Conroy. "El consenso multimodelo verifica que lo que el desarrollador construyó es lo correcto para construir. Estas son preguntas fundamentalmente diferentes, y los proyectos de código abierto a gran escala necesitan ambas."
El proyecto enfrenta desafíos adicionales más allá de las solicitudes de extracción duplicadas, incluyendo crecientes preocupaciones de seguridad. La campaña ClawHavoc identificó 341 habilidades maliciosas en el mercado de OpenClaw, mientras que un informe de Snyk encontró fallos en el manejo de credenciales en el 7.1% de las habilidades registradas. A pesar de que los mantenedores fusionan cientos de confirmaciones diariamente, los envíos de solicitudes de extracción han superado ampliamente la capacidad de revisión, con más de 3,100 solicitudes de extracción pendientes en cualquier momento dado.
El análisis de VectorCertain utilizó tres modelos de IA independientes—Llama 3.1 70B, Mistral Large y Gemini 2.0 Flash—que evalúan cada solicitud de extracción por separado antes de fusionar sus juicios utilizando votación por consenso. Este enfoque crítico para la seguridad, similar a los métodos utilizados en vehículos autónomos y sistemas de IA médica, procesó 48.4 millones de tokens durante ocho horas a un costo total de cómputo de $12.80, o $0.0037 por solicitud de extracción analizada. La metodología completa y los hallazgos se detallan en el informe jconroy1104.github.io/claw-review/claw-review-report.html.
La herramienta claw-review utilizada para este análisis está disponible como software de código abierto bajo una Licencia MIT en github.com/jconroy1104/claw-review, permitiendo que otros proyectos realicen análisis similares de sus repositorios. La plataforma empresarial de VectorCertain extiende este enfoque de consenso multimodelo a dominios críticos para la seguridad, incluyendo vehículos autónomos, ciberseguridad, atención médica y servicios financieros, soportando más de 20 modelos paralelos con fusión de consenso formal y garantías matemáticas de seguridad.
Las 2,000 horas de tiempo de desarrollador desperdiciado identificadas representan solo el impacto inmediato, con implicaciones más amplias para la gobernanza de proyectos de código abierto, la asignación de capacidad de los mantenedores y la eficiencia de desarrollo en toda la industria. El análisis demuestra cómo las herramientas impulsadas por IA pueden identificar ineficiencias sistémicas que tomarían meses a los mantenedores humanos descubrir, transformando potencialmente cómo los proyectos de código abierto a gran escala gestionan las contribuciones y los procesos de revisión.
