视听融合的实时声源说话人判定方案
在构建视听融合系统时，传统麦克风阵列的声源方向估计（DOA）常受反射声与邻近声源干扰，仅靠方向对齐很难准确定位说话人。为此，业界倾向于引入视觉信息，通过 MediaPipe 提取嘴部关键点，结合 VAD、DOA 与人物坐标进行综合判定。然而，Light-ASD、TalkNet、SyncNet 等主流方案多用于离线后处理且计算开销大，难以满足实时链路的需求。本文梳理了该方向的技术可行性、轻量流式开源方案的选型，以及自研融合模型的实践路径，为边缘端实时交互开发提供参考。