AI Agent疑遭Prompt注入或幻觉：中转站服务安全性引关注

近日，有开发者在使用AI Agent（通过中转站服务Mimo-v2.5-pro）时，遭遇了一起疑似安全事件。该Agent在正常运行中突然输出并尝试执行一条可疑的bash命令，该命令指向的GitHub仓库和用户均不存在。随后，Agent还生成了“凭空出现的内容”。 开发者对Agent的输入输出进行了排查，Agent自身反馈内容是凭空出现。重置会话后，检查Agent的技能列表也未发现异常。此次事件的核心在于，开发者不确定这究竟是外部恶意“Prompt注入”攻击，还是大模型自身产生的“幻觉”（hallucination）。 这一事件对AI Agent的安全性与可靠性提出了警示，尤其是在依赖第三方中转服务和大型语言模型时。它凸显了区分Prompt注入与模型幻觉的挑战，这对于构建和部署AI Agent的开发者至关重要。开发者需加强对Agent输入输出的监控，并审慎评估模型在复杂指令下的行为，以防范潜在的安全风险和不可预测的操作。