在构建视听融合系统时，传统麦克风阵列的声源方向估计（DOA）常受反射声与邻近声源干扰，仅靠方向对齐很难准确定位说话人。为此，业界倾向于引入视觉信息，通过 MediaPipe 提取嘴部关键点，结合 VAD、DOA 与人物坐标进行综合判定。然而，Light-ASD、TalkNet、SyncNet 等主流方案多用于离线后处理且计算开销大，难以满足实时链路的需求。本文梳理了该方向的技术可行性、轻量流式开源方案的选型，以及自研融合模型的实践路径，为边缘端实时交互开发提供参考。
该讨论聚焦于手语识别（特别是菲律宾手语 FSL）的技术路线选择。提问者正为其毕业论文设计方案，纠结于两种架构：一是“MediaPipe Holistic + Transformer”，二是“MediaPipe Holistic + Mamba SSM（状态空间模型）”。前者的优势在于技术成熟，已有大量前人研究作为参考，降低了开发门槛；后者的优势在于 Mamba 作为新型架构，在处理长序列时具有线性复杂度优势，学术新颖度极高，但缺点是缺乏现成文献且上手难度大。对于 AI 开发者和研究者而言，这一抉择体现了当前序列建模领域的典型痛点：是在成熟的 Transformer 架构上进行微调创新，还是勇于尝试 Mamba 等前沿架构以追求更高的学术价值与性能突破。这也为多模态手势识别和实时人机交互系统的开发提供了新的思路。