妙用苹果无障碍：无视觉模型如何“看”懂屏幕

本文源自 Linux.do 社区的热门讨论，分享了开发者在消耗到期 API Token 时的趣味技术发现。作者在使用一个不具备原生视觉能力的模型进行屏幕交互时，发现其竟能准确理解屏幕内容。深入探究后发现，这并非大模型的视觉能力，而是得益于苹果（Apple）系统强大的无障碍（Accessibility）功能。系统底层的无障碍 API 将屏幕 UI 结构和文字实时解析为文本流，再输入给纯文本大模型。这种“系统级解析 + 文本大模型”的方案，不仅规避了多模态视觉模型的高昂 Token 消耗（实际仅花费约 2 美元），还实现了极高的感知准确度。这为 AI Agent 开发者提供了新思路：利用 OS 底层无障碍接口，无需视觉模型也能低成本构建高效的屏幕控制助手。