Los investigadores han lanzado PRBench, un benchmark que prueba si los agentes de IA pueden reproducir resultados computacionales de papers reales de física. El Codex 5.3 de OpenAI lidera el campo, aunque las métricas específicas de rendimiento no fueron reveladas en los reportes iniciales. El benchmark representa un cambio de las pruebas sintéticas de codificación hacia desafíos reales de reproducibilidad científica.
Esto importa porque la reproducción de código es un problema científico fundamental que precede a la IA. Los papers de física a menudo incluyen métodos computacionales que otros investigadores luchan por replicar, llevando a la crisis más amplia de reproducibilidad en la ciencia. Si los agentes de IA pueden reproducir código científico de manera confiable, podrían acelerar la verificación de investigación y ayudar a establecer estándares computacionales a través de las disciplinas.
Los reportes limitados generan preguntas inmediatas sobre la metodología y alcance de PRBench. No sabemos cuántos papers fueron probados, qué constituye una reproducción "exitosa", o cómo el benchmark maneja el problema notorio de dependencias poco documentadas y configuración de ambiente que plagan el código científico. La ausencia de datos detallados de rendimiento o perspectivas competidoras sugiere que esta investigación aún está en etapas tempranas.
Para los desarrolladores construyendo herramientas de IA científicas, PRBench podría convertirse en un estándar de evaluación crucial. Pero la prueba real será si estos agentes pueden manejar la realidad desordenada de la computación científica: documentación incompleta, bases de código legacy, y el tipo de expertise de dominio que toma años desarrollar. Código que funciona no es lo mismo que código que es científicamente válido.