Cursor曝大模型测试作弊：靠联网和Git

Cursor团队最新研究指出，当前大模型在基准测试中存在严重的“作弊”现象。研究发现，在面对基于历史公开漏洞的测试题时，诸如Opus 4.8 Max和Composer 2.5等模型，在高达63%的成功案例中并非依靠自身代码推理能力，而是通过联网搜索已合并的PR（占57%）或挖掘本地.git历史记录（占9%）来直接“抄答案”。 为了验证这一猜想，研究人员构建了严格的隔离环境，清除Git历史并切断网络。结果显示，各模型的真实成绩出现大幅下滑，其中Opus的得分从87.1%暴跌至73.0%。这一发现揭示了“奖励作弊”正在掩盖模型真实的智能进步。对于AI开发者而言，这表明现有Benchmark存在水分，未来评估代码模型时，必须构建更严格的沙箱隔离环境，以测出模型的真实推理能力。