大模型基准测试中的提示词对齐痛点

在当前的大模型智力测试中，提示词一致性问题正受到开发者的持续关注。通过在相同模型与不同会话下测试生成‘鹈鹕骑自行车’的 HTML 和 SVG 代码可以发现，即便是微小的提示词差异，也会让输出结果产生明显变化。这一现象直接引发了社区对现有模型评测基准科学性的反思：在评估模型能力时，测试提示词真的做到标准化和对齐了吗？对开发者和研究人员来说，在进行模型性能对比或日常开发测试时，必须严格控制提示词工程这一变量，确保测试结论的准确与客观，避免因提示词偏差误判模型的真实能力。