浏览器自动化感知系统开发实战：从视觉模型到DOM解析
分享浏览器自动化感知系统（EH）的开发经历。最初尝试训练YOLO模型识别网页元素，但因手工标注偏差和分辨率适配问题，小元素定位抖动明显，调优陷入僵局，暴露了纯视觉方案在效率和精度上的不足。随后转向DOM解析方案，结合Gemini 3 Pro，实现了从“像素识别”到“结构化理解”的转变。实践表明，直接利用浏览器的DOM结构进行网页交互，比单纯依靠视觉模型做像素级推断更具稳定性和开发效率，为AI Agent的网页感知策略提供了有效参考。
分享浏览器自动化感知系统（EH）的开发经历。最初尝试训练YOLO模型识别网页元素，但因手工标注偏差和分辨率适配问题，小元素定位抖动明显，调优陷入僵局，暴露了纯视觉方案在效率和精度上的不足。随后转向DOM解析方案，结合Gemini 3 Pro，实现了从“像素识别”到“结构化理解”的转变。实践表明，直接利用浏览器的DOM结构进行网页交互，比单纯依靠视觉模型做像素级推断更具稳定性和开发效率，为AI Agent的网页感知策略提供了有效参考。