网页感知系统开发实践：从爬虫到自动化Agent
本文作者分享了开发通用网页感知系统的历程，旨在解决传统爬虫维护成本高的问题。核心技术路径包括： 1. 建模与通用化：摒弃针对单一站点的规则编写，通过模型提取网页事实，实现跨站点的通用感知。 2. 调试与数据沉淀：通过记录模型在交互过程中的视觉输入、对象选择及状态变化（累计约120GB数据），精准定位任务失败原因，区分是页面结构解析问题还是模型逻辑判断偏差。 3. 性能对比：作者将自研系统与 Browser Use 在复杂任务（如行情查询与申报文件检索）中进行对比测试，在特定场景下通过率表现出差异化优势。 该实践为开发者提供了构建网页自动化Agent的思路，强调了通过系统化记录交互日志来提升模型执行稳定性的重要性。