本文作者分享了开发通用网页感知系统的历程，旨在解决传统爬虫维护成本高的问题。核心技术路径包括： 1. 建模与通用化：摒弃针对单一站点的规则编写，通过模型提取网页事实，实现跨站点的通用感知。 2. 调试与数据沉淀：通过记录模型在交互过程中的视觉输入、对象选择及状态变化（累计约120GB数据），精准定位任务失败原因，区分是页面结构解析问题还是模型逻辑判断偏差。 3. 性能对比：作者将自研系统与 Browser Use 在复杂任务（如行情查询与申报文件检索）中进行对比测试，在特定场景下通过率表现出差异化优势。 该实践为开发者提供了构建网页自动化Agent的思路，强调了通过系统化记录交互日志来提升模型执行稳定性的重要性。
开发者历时半年打造了一套无需单站适配的通用网页感知系统。项目最初为解决自媒体数据抓取中频繁维护爬虫规则的痛点而起，随着OpenClaw等技术的兴起，进而演进为赋能AI Agent的底层支持。针对大模型在网页操作中的常见偏差，该系统通过长期记录和回溯页面状态、选中对象及交互前后的变化，精准定位模型理解偏差与页面响应失效的根源。在与Browser Use的专项同题对比测试中，该系统处理跨站检索任务时表现出了更高的执行稳定性，为网页自动化与Agent交互优化提供了切实可行的工程经验。
针对 OpenAI 限制使用相关浏览器工具（如 Atlas）的情况，开发者正积极寻找替代方案。这一变化反映了 AI 厂商对非官方网页端接入的限制日益收紧。 对于需要网页自动化或构建 AI Agent 的开发者，目前有以下主流替代路线： 1. **开源 AI 浏览器框架**：如 browser-use，允许大模型直接控制浏览器，支持复杂交互，是当前热门的开源 Agent 方案。 2. **智能控制库**：如 Stagehand（基于 Playwright），利用 AI 动态识别网页元素，解决传统定位易失效的问题。 3. **商业级 Agent 平台**：如 MultiOn 或 Skyvern，提供开箱即用的 API，专为高并发、防屏蔽任务设计。 4. **自建方案**：采用 Playwright 配合 stealth 插件，通过官方 API 进行解析，自主可控性最强。 这些方案能帮助开发者突破限制，向更规范的 AI Agent 架构演进。