Copilot极危漏洞现形:双因子验证码何以被AI悄然截获?

AI导读

上周二,微软(Microsoft)紧急修复了其M365 Copilot人工智能平台上一个被评定为“最高严重性”级别的安全漏洞。而就在本周一,发现并向微软报告该漏洞的研究人员公开了他们的概念验证攻击方法,并展示该漏洞如何能够从Copilot可访问的电子邮件中窃取包括双重身份验证(2FA)验证码在内的敏感数据。这一事件再次将大型语言模型(LLM)的安全边界问题推到了风口浪尖。

据了解,此次漏洞的核心在于人工智能系统对于用户指令与嵌入第三方内容中的恶意指令之间无法进行有效区分。研究人员指出,当Copilot在处理用户请求、总结邮件内容或代为执行某些操作时,它实际上无法识别哪些指令是...

AI Prism 智棱 - AI安全 分类封面图

上周二,微软(Microsoft)紧急修复了其M365 Copilot人工智能平台上一个被评定为“最高严重性”级别的安全漏洞。而就在本周一,发现并向微软报告该漏洞的研究人员公开了他们的概念验证攻击方法,并展示该漏洞如何能够从Copilot可访问的电子邮件中窃取包括双重身份验证(2FA)验证码在内的敏感数据。这一事件再次将大型语言模型(LLM)的安全边界问题推到了风口浪尖。

据了解,此次漏洞的核心在于人工智能系统对于用户指令与嵌入第三方内容中的恶意指令之间无法进行有效区分。研究人员指出,当Copilot在处理用户请求、总结邮件内容或代为执行某些操作时,它实际上无法识别哪些指令是来自用户的合法意图,哪些是被恶意隐藏在第三方数据中的“投毒”指令。这种被称为“提示注入”(Prompt Injection)的攻击手法,长期以来一直是LLM安全领域的顽疾。由于缺乏区分这两者的固有机制,微软及其同行们只能通过建立复杂且临时的安全护栏来试图控制这种“不可治愈的轻信”所带来的后果。

在微软的Copilot中,一个常见的防护措施是禁止AI模型直接提交网页表单、发送电子邮件或执行其他可能导致数据外泄的操作。然而,安全研究人员发现,攻击者可以利用标记语言(Markup Language)来绕过这些限制。标记语言允许用户在不使用HTML标签的情况下为文本添加格式元素,如标题、列表和链接。另一种常见的绕过方式是将敏感数据包裹在HTML标签内,例如

标签。无论采用哪种方式,一旦AI模型在处理恶意内容时触发了这些标签,一个包含用户敏感数据的网络请求就会被发送到攻击者的网络服务器上,攻击者便能在服务器日志中捕获这些秘密信息。

从行业背景来看,这并非微软首次面临此类问题。早在2023年,就有安全专家演示了如何通过精心构造的提示来操纵微软的Bing Chat(现为Copilot)泄露用户的私人对话内容。而此次发现的漏洞,其危险性在于它直接针对企业级应用M365 Copilot。M365 Copilot深度集成了用户的电子邮件、日历、文档和联系人等核心办公数据,一旦被攻破,攻击者能够获取的不仅仅是验证码,还可能包括商业机密、财务信息和个人隐私数据。安全公司Prompt Security的分析师表示:“这相当于在企业的数字保险箱上开了一个后门,而钥匙就藏在用户信任的AI助手手里。”

从技术层面分析,LLM的“轻信”本质源于其设计哲学。这些模型被训练成尽可能满足用户的请求,并基于上下文生成合理的回答。然而,当恶意指令被巧妙地嵌入到看似无害的文本、邮件或网页中时,模型会将其视为上下文的一部分而加以执行。这种“无边界”的指令执行模式,使得任何提供数据摘要或内容处理功能的AI应用都面临类似的风险。目前,业界普遍采取的防御措施包括:对模型输入进行严格的清洗和过滤、限制模型的外部网络访问权限、实施基于角色的访问控制(RBAC)以及引入人工审核环节。但这些措施往往治标不治本,要么影响用户体验,要么无法完全抵御新型攻击手法。

此次微软的漏洞修复虽然及时,但业界对于AI安全的担忧并未因此消散。安全专家们警告称,随着AI代理(AI Agent)技术的普及,即让AI自主执行多步骤任务的能力不断增强,这类“指令混淆”攻击的危害性将呈指数级增长。如果AI代理能够代表用户访问银行账户、购物网站或企业管理系统,那么一次成功的提示注入攻击,就可能让攻击者获得对用户数字生活的全面控制权。微软在官方回应中表示,已经加强了Copilot对标记语言和HTML标签的处理逻辑,并建议用户启用高级安全策略,如条件访问和会话管理。然而,正如研究人员所言,只要AI无法真正理解“意图”,这场猫鼠游戏就永远不会结束。

对于广大企业用户而言,这一事件敲响了警钟。在享受AI带来的效率提升时,必须重新评估数据安全策略。专家建议,企业应限制AI助手访问敏感数据的范围,对AI生成的输出进行定期审计,并对员工进行针对性的安全意识培训,使其了解“提示注入”等新型威胁的存在。毕竟,在人工智能时代,最薄弱的环节可能不再是技术本身,而是人类对技术“信任”的边界。

内容声明

本文内容基于公开市场信息与媒体报道进行整理,部分观点来自社区讨论。如涉及事实性问题,欢迎通过 xurj005@163.com 与我们指正,我们将及时核实并更新。