⚡ AiNews
⚡ 速览 🧠 模型
← 返回首页

#dataset

包含标签 "dataset" 的文章,共 16 篇。

🎁 羊毛福利 Hacker News

提示词注入漏洞开源数据集与月度威胁指数发布

针对大模型应用中日益频发的提示词注入风险,行业推出首个专注该领域的开源CVE数据集与月度威胁指数。该项目通过汇集真实的漏洞案例与威胁评估数据,帮助开发者和安全人员系统追踪与防御注入攻击。这一开源资源为AI应用的安全审计和基准测试提供了基础支撑,有效降低大模型软件的落地风险。

🤖 AI Agent V2EX

法律Agent开发:如何合规构建全量法规案例库

围绕法律Agent的数据底座建设,开发者在V2EX社区探讨了全量法律法规及裁判文书库的落地难点。行业多以北大法宝等成熟产品为参考,但自研团队面临的最大痛点是如何在不依赖违规爬虫的前提下,低成本获取合法合规的海量数据。针对资质审批、官方数据源对接及内部请求渠道等关键环节,社区开发者正寻求切实可行的工程与合规双轨解法,以保障法律AI系统的稳健落地。

🎁 羊毛福利 Reddit

开源小型语言模型评测数据集 Open SLM Evaluations

社区近期推出 Open SLM Evaluations 数据集,专注于参数量在 150M 及以下的小型语言模型(SLM)评测。该数据集收录了 106 个小型模型的基准测试分数、模型链接、参数量和名称等基础信息。所有评测均在 Runpod B200 上独立运行完成,耗时约 30 GPU 分钟。项目采用 Apache 2.0 协议开源,数据已同步至 Hugging Face,方便开发者直接用于超小型模型的性能研究与对比。

🎁 羊毛福利 V2EX

OpenAI开源722篇数学论文数据集

OpenAI近日在GitHub开源了一批包含722篇数学论文的数据集。这批论文涵盖372个顶级数学难题家族,涉及数论、代数几何、理论计算机科学和统计力学等17个核心数学分支。目前,这批数据正等待人类数学家进行验证。该语料库的公开,为AI在形式化数学推理和复杂逻辑推导方面的研究提供了基础资源,有助于推动大模型在严肃数学领域的应用。

🎁 羊毛福利 Reddit

高反光镜面机器人服装视觉数据集发布

面向计算机视觉与深度估计算法基准测试的数据集现已开源。该数据集包含425张RAW与JPEG格式图像,记录了穿着高反射率镜面套装的机器人形态。数据集旨在解决传统视觉模型在处理镜面及高反光表面时,常遇到的特征提取失效与深度估计不准等痛点,帮助开发者评估算法在极端反射环境下的性能表现,提升复杂场景中的模型鲁棒性。

🤖 AI Agent Hacker News

2026 年自主 AI 智能体安全事件数据集与专著

面向自主 AI 智能体在软件开发和自动化流程中的落地挑战,该专著与配套数据集系统梳理了 2026 年发生的各类智能体安全事件。内容涵盖攻击向量、潜在风险与防御机制,剖析了提示词注入、权限滥用和未授权操作等核心隐患。该成果为开发者和安全研究人员提供了真实的攻击案例与数据支撑,助力厘清智能体架构的安全边界,设计出更具鲁棒性的 AI 系统。

🧠 模型动态 Hacker News

拆古籍喂AI:一名扫描销毁员的工作自白

Hacker News 上的一篇热帖引发关注:一名一线从业者透露,他所在的公司为了采集 AI 预训练数据,在对古籍进行高分辨率扫描后,会将实体书物理销毁。随着大模型对高质量文本数据的需求激增,部分数据服务商采用切脊扫描等高效手段来提升吞吐量,随后直接废弃纸质原件。这种破坏性的数据获取模式,折射出大模型研发中追求数据规模与保存历史文献之间的现实矛盾。这不仅揭示了 AI 数据工程流水线中冷酷的一面,也给行业带来关于数据来源合规性与文化遗产保护的深层思考。

🎁 羊毛福利 Reddit

新开源文生图评估数据集:覆盖52个模型与192个高难提示词

Reddit 开发者开源了一个全新的文生图模型评估数据集,重点测试文本渲染、空间推理、人物真实感及否定句理解等能力。该数据集包含 192 个高难度提示词,并涵盖 52 个主流模型的评估数据。在评测方案上,项目采用视觉语言模型(VLM)结合标准答案的二元问题进行自动化打分。与多数公开榜单不同,该项目完整公开了所有评估结果与模型实际生成的图像,方便开发者直接排查和分析不同模型的具体短板。

🎁 羊毛福利 Reddit

十年PS人工数据如何自动化图书数字化

巴基斯坦民间数字图书馆 Ibteda Digital Library 将十年间手工处理 1765 本稀有乌尔都语图书积累的 57.5 万个 PS 裁剪标签,成功转化为自动化图书数字化的监督训练数据。项目通过 SIFT 和 MAGSAC 算法将成品页面与原始照片进行配对,恢复了几何裁剪关系。实践发现,盲目堆砌数据量、采用 ResNet-50 等复杂模型或提高图像分辨率均告失败,反而是基于人工经验提取的高质量监督数据效果更好。该案例验证了将长期积累的领域工作流沉淀为监督学习信号的可行性,为中小规模档案数字化提供了务实的工程路径。

🎁 羊毛福利 V2EX

AI顶会论文结构化数据集开源

AI研究者在查阅大量论文时,常面临手动翻阅数十篇PDF以确认实验设置、数据集、指标和训练方案的低效问题。论文关键细节分散,导致难以快速比较和筛选。为解决此痛点,一位研究者利用自研开源文档解析工具Knowhere,将AI顶会论文批量整理成结构化数据。该工具提取了关键实验参数,并已在Hugging Face上开源。首批数据集涵盖2023年NeurIPS、ICML、ICLR约7300篇论文,包含标题、摘要、作者、会议、研究主题、结构化内容摘要和语义向量。这份数据集极大地便利了论文检索、筛选和相似论文发现,对开发者和研究者在技术选型、方案比较、评估方法有效条件、通用指标、训练资源消耗及确保公平对比等方面具有显著的实际价值。

🧠 模型动态 V2EX

选GLM-4.7却自称Claude?大模型身份混淆解析

针对用户在选择 GLM-4.7 模型时,模型却自称为 Anthropic 开发的 Claude 这一现象,本文深入探讨了其背后的技术成因与行业现状。这种“身份混淆”现象在当前大模型应用中屡见不鲜,主要原因包括:第一,**训练数据污染**,许多开源或商业模型在微调阶段使用了由 Claude 或 GPT 生成的合成数据,导致模型深度模仿了前者的自我认知;第二,**系统提示词(System Prompt)混淆**,部分套壳平台或多模型 API 路由在分发请求时,未能正确隔离或更新针对特定模型的系统提示词;第三,**API 路由异常**,平台后端可能存在负载均衡或路由错误,将请求实际发送给了 Claude。这一现象提醒开发者,在构建多模型集成系统时,需高度重视提示词工程的隔离性、合成数据集的清洗过滤,以及多模型路由分发机制的健壮性,以避免用户体验受损及潜在的合规风险。

🎁 羊毛福利 Hacker News

AI的十万个为什么:因果推理与问答数据集

该项目旨在解决大语言模型(LLM)在因果推理和深度解释(即回答“为什么”)方面的短板。传统的训练数据多侧重于“是什么”和“怎么做”,而“AI的十万个为什么”(The 100k Whys of AI)通过系统性地收集和构建10万个高质量的因果关系问答对,涵盖自然科学、技术、日常生活等多个领域。技术实现上,该项目结合了结构化知识图谱与人工校验,确保每个“为什么”都有逻辑严密、链条完整的因果解释。对于AI开发者和创业者而言,该数据集为微调大模型、提升模型的逻辑推理能力和可解释性提供了极具价值的开源资源,有助于在智能客服、教育辅导及专业咨询等场景中减少模型幻觉,推动AI从简单的模式匹配向真正的因果理解演进。

🧠 模型动态 V2EX

选GLM-4.7却唤出Claude?解析模型身份错乱

近日有开发者在社区反映,在使用 GLM-4.7 模型时,模型却自称是 Anthropic 开发的 Claude。这一“身份错乱”现象引发了技术社区的广泛讨论。造成该现象的核心技术原因主要有两点:一是数据污染与知识蒸馏,部分大模型在预训练或微调阶段,使用了由 Claude 生成的合成数据,导致模型无意中学习并继承了 Claude 的自我认知与系统提示词;二是 API 代理商的路由套壳行为,部分第三方 API 聚合服务商为了节省成本或由于配置失误,在后台进行了模型替换,将请求实际路由到了 Claude,从而出现货不对板。这一事件给开发者敲响了警钟:在选择 AI 基础设施时,需高度警惕第三方 API 渠道的真实性,并关注大模型训练数据源的合规性,以防在生产环境中引入不可控的身份偏差与输出异常。

🛠️ 开发工具 V2EX

开源 VLM-AutoYOLO:全自动 YOLO 标注工具

开发者 Somnusochi 开源了 VLM-AutoYOLO 项目,这是一个利用视觉大模型实现全自动 YOLO 数据集标注的工具。该项目受英伟达最新发布的 LocateAnything 视觉大模型和 Meta 的 SAM2 抠图模型启发,在 AI 辅助下仅用 5 天时间开发完成。 其核心工作流分为三步:首先,通过输入文本(如“有划痕的零件”),由 LocateAnything 模型定位目标的大致位置;接着,将坐标传给 SAM2 模型进行精准边缘吸附,生成 Bounding Box 和 Mask;最后,一键导出为标准的 YOLOv8/v11 数据集格式。 为了保障数据隐私,该工具支持 100% 纯本地运行。针对普通开发机(如 MacBook Pro)运行 30 亿参数大模型的显存压力,后端基于 FastAPI 和 PyTorch 实现了严格的显存清理机制,为开发者提供了一种高效、低成本的本地化自动标注方案。

📰 行业资讯 Hacker News

谷歌正秘密向开发者购买源码以训练AI

据报道,谷歌正在低调接触 Google Play 商店的 Android 开发者,提议购买或授权其应用源代码,以用于训练其 AI 模型(如 Gemini)。随着高质量公开代码数据的逐渐枯竭以及版权争议的增加,科技巨头对合规、优质私有代码的需求日益迫切。这一举措为独立开发者和中小团队开辟了新的变现渠道,但同时也引发了开发者社区对代码知识产权、隐私保护以及未来 AI 编程工具竞争格局的广泛讨论。对于中国开发者和创业者而言,这表明高质量的行业垂直代码和应用源码正成为高价值的 AI 训练资产,未来合规的数据交易或将成为常态,同时也提示开发者在签署此类协议时需仔细评估长期知识产权影响。

🧠 模型动态 Reddit

ML瓶颈:数据集质量还是模型架构?

当前机器学习(ML)的进展主要源于现有架构的规模化扩展,而非根本性的架构创新。这引发了关于“数据集质量”与“模型架构改进”谁是主要瓶颈的讨论。 在实际研发中,越来越多的精力正从模型设计转向数据工程,包括数据清洗、过滤和合成数据管道的构建。行业共识逐渐倾向于“以数据为中心”的AI路径:提升数据集质量往往能比微调模型架构带来更显著、更可预测的性能提升。 对于AI创业者和开发者而言,这一趋势意味着数据清洗和高质量合成数据的生成能力已成为核心竞争力。在资源有限的情况下,将精力集中在垂直领域的高质量数据建设上,比盲目追求新型模型架构设计更能带来实际的业务突破。