QontoFAQ:面向产品问答的信息检索基准
Qonto 团队开源了 QontoFAQ,用于解决传统检索基准在业务落地中容易过度优化(benchmaxxing)的痛点。该方案包含定制的数据集和一个与文档相关性成比例的新评估指标,重点考察 Embedding 模型在产品真实问答场景中的检索表现,为主流嵌入模型的选型和效果评估提供了更切合实际业务的测试工具。
Qonto 团队开源了 QontoFAQ,用于解决传统检索基准在业务落地中容易过度优化(benchmaxxing)的痛点。该方案包含定制的数据集和一个与文档相关性成比例的新评估指标,重点考察 Embedding 模型在产品真实问答场景中的检索表现,为主流嵌入模型的选型和效果评估提供了更切合实际业务的测试工具。