⚡ AiNews
⚡ 速览 🧠 模型
← 返回首页

#duckdb

包含标签 "duckdb" 的文章,共 3 篇。

🛠️ 开发工具 V2EX

开源流量分析工具 Netra:基于 eBPF 与 DuckDB 的旁路监控方案

Netra 是一款面向生产环境的旁路流量分析工具,通过接入交换机镜像口(SPAN)实现网络流量监控。该项目近期完成了前端重构与稳定性优化,已在生产环境连续运行一个月。 核心技术特点包括: 1. 架构轻量化:采用单二进制部署,内置 SQLite 与 DuckDB,无需额外维护 Redis 或 ClickHouse 等复杂基础设施。 2. 高性能采集:利用 XDP/eBPF 技术在内核侧进行包处理与聚合,有效降低用户态处理压力,适应高包速率场景。 3. 数据查询:依托 DuckDB 的列式存储引擎,支持海量流量数据的快速聚合查询。 4. 智能化集成:支持通过自然语言进行历史流量查询,并提供 MCP 接口,可与 CMDB、威胁情报平台及内部安全系统对接,为开发者提供更灵活的扩展能力。

🤖 AI Agent Hacker News

用 Qwen-27B 与 DuckDB 搭建本地 Agentic SQL

结合开源的 Qwen-27B 模型与嵌入式分析数据库 DuckDB,可以在本地低成本构建 Agentic SQL 工作流。该方案利用大模型的文本生成与推理能力,配合 DuckDB 的高效数据处理特性,支持智能数据查询、自动化处理以及复杂的 SQL 生成和优化。这为开发者在数据分析和 AI Agent 开发场景下,提供了一条轻量、经济的落地路径。

🛠️ 开发工具 V2EX

基于 eBPF 的高性能网络流量可视化工具 Netra

Netra 是一款基于 eBPF 的网络流量可视化工具,采用旁路镜像模式不侵入业务链路,支持多网卡并行采集。其核心由单一二进制文件构成,集成 Web 控制台、eBPF 采集引擎和存储查询系统。在生产环境 20Gbps 专线实测中,Netra 在处理 10.1Gbps/160 万 pps 峰值流量时保持零丢包,在 40 核服务器上仅占用约 3% CPU 资源。存储层结合 DuckDB 与按小时封存的 Parquet 文件,实现亿级数据查询 2 至 3 秒内完成。项目目前已支持接入 AI 及 MCP 协议,方便对接内部工具链。