Humor Arena:大模型幽默感评测
Humor Arena 是一个专注于大模型幽默感评估的开源项目。该项目基于 5 万条人类评分数据集,量化分析了主流模型的幽默表现。测试结果显示,Fable 5 的盲测胜率最高达到 67%,表现优于 GPT-4o 等前沿模型。研究还发现几个有趣的现象:面对黑色幽默提示词时,所有模型均未触发安全拒绝;推理时间延长对笑话质量有微弱的正向作用,但荒诞程度与幽默感呈负相关。方法论上,该项目通过 51 名美国成年人进行盲测打分,并引入随机化排序与质检机制,其自研评测模型与人类多数意见的一致性达到 72%,为大模型在主观任务上的评估提供了新视角。