⚡ AiNews
⚡ 速览 🧠 模型
← 返回首页

#retrieval

包含标签 "retrieval" 的文章,共 2 篇。

💻 AI 编程 Reddit

从零手写 HNSW 与向量检索评测

为弄懂底层原理,开发者放弃成熟检索库,从零实现了一个简易检索引擎。该引擎包含自研倒排索引的 BM25、基于 Malkov 与 Yashunin 论文的 HNSW 算法,以及用于结果融合的 RRF 机制。在 5183 个文档的小规模数据集上,作者将自研引擎与 FAISS、bm25s 及 rank_bm25 进行了基准测试。结果显示,暴力搜索的性能反超了复杂的 HNSW 索引。这为小规模场景下的向量检索选型提供了实际参考,也引发了对索引开销与检索效率关系的重新思考。

🛠️ 开发工具 Reddit

一款用于RAG检索结果前置检查的本地工具

在构建基于实时网页检索的RAG(检索增强生成)系统时,开发者经常面临一个痛点:检索到的网页虽然表面上与查询相关,但实际上可能存在内容陈旧、重复、充斥SEO垃圾信息或质量低下的问题。直接将这些低质数据送入大模型的上下文窗口,不仅浪费Token,还会严重影响回答的准确性。为此,一位海外开发者开发并开源了一款轻量级的本地工具,专门用于在数据进入RAG管道前对检索和搜索结果进行可视化检查与评估。该工具能够帮助开发者直观地分析检索内容的可用性,过滤掉无用信息,从而优化上下文窗口的利用率。这一工具对于正在优化RAG性能、受困于“垃圾进,垃圾出”问题的AI应用开发者具有极高的实用参考价值。