V2EX
大模型评测中不可忽视的提示词对齐问题
社区开发者近期发现，在相同模型和并发测试下，仅对提示词做微调（如增加“兜风”二字），就会导致生成的 HTML 和 SVG 结果出现显著差异。这种现象暴露出当前大模型评测中的一个盲区：微小的提示词差异会剧烈扰动输出结果，进而影响模型能力对比的客观性。这也提醒开发者，在进行模型评测与日常开发时，必须严格规范和对齐提示词，才能保证测试结果的可复现性，避免对模型真实水平产生误判。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go，第一时间接收精选资讯推送。