OpenAI指出广受欢迎的编程基准测试SWE-Bench Pro存在可靠性问题
AIPROGRAMMING
发布于:2026年7月8日
受影响企业:OpenAI

OpenAI指出广受欢迎的编程基准测试SWE-Bench Pro存在可靠性问题

OpenAI的一项新分析发现,广泛用于评估AI编程模型的基准测试SWE-Bench Pro存在严重的可靠性问题,这引发了人们对其衡量真实能力准确性的质疑。

OpenAI的一项新分析指出了广泛使用的编程基准测试SWE-Bench Pro存在的问题,这引发了对使用该工具进行的AI模型评估的可靠性和准确性的担忧。