OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

OpenAIがSWE-Bench Proを調査

OpenAIは、AIのコーディング能力を測る「SWE-Bench Pro」を調査しました。

その結果、タスクの約30％に問題があると報告しました。

評価として成立しない問題

問題があるタスクは、AIの能力を測る評価として成立しないとされています。

これは、AIの性能測定が信頼できるかどうかに関わる重要な指摘です。

詳しい内容は資料にない

どのタスクに、どのような不備があったのかは、今回の資料には書かれていません。

問題が起きた原因や、OpenAIが出した詳しい結論も不明です。

出典

出典名：GIGAZINE

出典URL：https://gigazine.net/news/20260709-openai-coding-evaluations/