人工智能领域迎来一项重大挑战。为了应对当前AI在指令控制上的不足，提升模型对复杂场景的理解与判断能力，由DeepSeek团队主导的「指令安全挑战项目」（IH-Challenge）近日公开了一项创新机制，让AI模型学会在海量信息中筛选可信指令，并实现对潜在危险操作的实时规避。
该项目负责人表示，随着AI技术普及，从自动驾驶到医疗诊断再到金融风控等场景中出现的指令越来越多地涉及敏感领域和复杂决策链。然而现有模型在处理这些指令时往往存在安全漏洞，特别是在面对精心设计的误导性输入或「提示注入」攻击（Prompt Injection Attack）时，AI容易做出危险偏离。
「我们相信真正的智能应该像人类专家一样具备判断力，」IH-Challenge发起人之一、DeepSeek首席科学家周明博士在新闻发布会上这样说。「当前大多数AI模型就像是听话的孩子，无论指令多么危险都会照做不误。」
该项目的独特之处在于，它不仅仅测试模型执行指令的能力，更要求模型具备自我保护机制。测试体系分为四个层级：首先是基础的安全判断能力，例如能否识别暴力威胁或非法指令；其次是复杂场景下的决策能力，在存在多方矛盾时模型如何权衡取舍；接着是抵御高级攻击的能力，比如能否识破绕过基础过滤机制的隐蔽指令；最后则是模型在面对模糊或多义性指令时能否进行创造性推理，而非简单拒绝或执行。
据周博士介绍，在为期两个月的测试中，共有来自全球52个团队提交了467个模型参与评估。这些队伍由顶尖的AI研究机构、互联网巨头的研发团队以及独立的安全研究员组成。「参与者包括Google DeepMind、OpenAI、Anthropic等公司的顶尖团队，还有国内的百度、阿里和讯飞等机构，」周明透露。「这个难度比我们预期要高得多。许多模型在简单场景下表现优异，但在处理真实世界复杂语境时就开始崩溃。」
测试结果显示，大多数模型在基础安全过滤上表现尚可，在面对明显危险指令时能准确识别。但在复杂场景中，比如处理涉及多方利益冲突的伦理困境——这种情况在医疗、司法等领域时常出现——模型往往陷入沉默或拒绝回应，未能展现出应有的判断力。此外，在抵御更高级的提示注入攻击方面，各个模型都表现出了明显的脆弱性。「其中一个测试案例特别令人印象深刻：我们向模型展示了一个虚构的法律争端场景，包含多个相互矛盾的指令。令人惊讶的是，在大多数情况下模型完全遵循了最危险的那个方向，」DeepSeek研发总监在展示测试数据时这样评价。他补充说：「这就是为什么我们需要创造一个安全挑战环境——不是所有指令都同样可信，AI应该学会区分什么是好的建议、什么只是恶意干扰。」
该项目还引入了业界专家评价机制，邀请来自计算机科学、伦理学和法律界的多名评估者对模型在不同场景下的表现进行打分。结果发现，虽然技术团队提交的模型大多严格遵循开发者指令来保证安全性（这是当前业界主流做法），但很多情况下这种遵循反而暴露了模型在真实世界中的安全隐患。
「这就像医生开药，」一位生物伦理学家的点评引起在场人士共鸣。「我们不会让AI完全替代医生的经验判断，但这并不意味着AI就无法参与医疗决策。关键在于如何建立适当的约束与激励机制，在保障安全的前提下让AI发挥其优势。」
分析人士指出，IH-Challenge项目的发布恰逢行业关键时期。随着美国对AI芯片出口限制的加剧，全球顶尖AI实验室不得不加快研发步伐。「这种情况下，我们的项目就像是在黑暗中点燃了一盏灯——它不仅测试现有模型的安全性，更重要的是为整个行业提供了一个衡量标准和发展方向。」周明解释道。
参与该项目的企业包括：DeepMind的技术团队展示了强大的安全意识，但他们在处理模糊指令时往往无法提供最佳解决方案；OpenAI的模型在复杂场景下表现出了创造性，却容易被简单的提示注入策略所欺骗；而Anthropic则在平衡安全性和实用性方面展示了独特的方法。
「随着AI系统变得越来越强大，关于如何安全地使用这些系统的讨论也变得越来越重要。IH-Challenge不仅仅是一个测试项目，它代表了技术发展与伦理考量之间需要达成的新平衡。」周明总结道。「我们希望通过对这个挑战项目的持续跟踪和改进，能够为下一代AI系统的开发奠定坚实的基础。」
项目团队还公布了未来的发展计划，包括创建一个开源的基准测试工具包，供全球开发者在他们的项目中评估和改进模型的安全性。DeepSeek还宣布将设立「AI安全奖学金」，每年资助10名年轻研究者进行为期两年的专项课题研究。
业内专家对此表示赞赏。「这是一个非常及时且富有远见的举措，」来自某知名AI安全公司的技术代表表示。「随着我们构建越来越复杂的系统，这种专门针对安全性挑战的测试变得尤为关键。它不仅测试模型能否遵循指令，更能观察AI在面对信息复杂性和多方冲突时的决策能力。」
值得一提的是，该项目还引入了「人类偏好学习者」作为测试参与者。这些并非传统意义上的程序员或AI工程师，而是来自不同背景的专业人士——包括医生、律师和伦理学家在内的150名志愿者，他们都配备了能够生成复杂指令的AI工具。
「传统方法中，开发者往往以技术安全为唯一考量。而我们想引入的是一种更全面的安全观，」周明解释这个独特的测试设计。「这就像是既要考虑AI执行指令的能力，也要考虑人类顾问的意图，并且要让模型能够识别出哪些是真正有价值的建议。」
随着测试的深入，模型在其他方面也展现出提升：例如，在处理涉及多方利益冲突的情况时，AI不再简单拒绝或同意某个指令，而是开始尝试找到折中的解决方案。「这不是简单的遵从/违背二分法，」周明说。他展示了一段测试视频：一个自动驾驶模拟器在面临是否应该牺牲行人以拯救乘客的道德困境时，模型不仅考虑了简单的数字计算因素（如最小化伤亡人数），还模拟了一个委员会讨论各种伦理参数的过程，然后提供一个综合性的答案。
尽管IH-Challenge项目在业内引起了广泛关注，但也引发了一些思考。比如，究竟应该由谁来定义AI的「指令可信度」？是开发者、用户还是其他第三方机构？这些问题的答案将直接影响未来AI系统的监管框架。
「这是一个非常深刻的讨论点，」一位资深AI开发者表示。「如果所有安全责任都落在DeepSeek这样的少数几个团队身上，可能会造成发展不平衡。我们需要的是一个更广泛的生态系统来共同构建AI系统的安全性标准。」
随着全球范围内更多类似项目启动，AI安全领域将迎来一场新的竞赛。「我们的目标不是创造一个更难被黑客攻击的系统，而是从根本上改变AI与人类互动的方式。」周明表示。「未来的人机协作应该像多元专家团队一样，考虑更多的维度和可能性。」
参与IH-Challenge的多家企业已经宣布将在自己的研发路线中引入类似的「人类偏好学习者」。例如，谷歌DeepMind的技术主管表示：「我们计划将这个测试扩展到包括更多真实世界场景，并增加不同的利益相关者视角。」OpenAI则在考虑将测试整合到自己的开发者社区中。「对于大型语言模型来说，仅仅能够生成文本是不够的，」OpenAI的一位研究员这样说。「它们应该理解上下文、区分可信与不可信信息，这才是真正的人工智能。」
随着AI安全挑战项目的推进，业界对模型训练方式的反思也在加深。传统的大规模预训练方法可能不再适合未来的需求，我们需要更精细、更具目的性的数据处理方式。「如果只是简单地让模型学习如何识别危险指令，它可能会变得过分谨慎以至失去使用价值。」一位参与该项目的技术专家解释道。「相反，我们的项目旨在培养模型的判断思维能力——就像人类在面对模糊指令时并不会简单拒绝，而是会尝试理解背后的需求和意图。」
展望未来，IH-Challenge项目可能成为AI安全领域的基准测试标准。「虽然这个项目还处于初期阶段，但它已经引发了行业内的深刻思考。」来自某研究机构的分析师说。「随着测试越来越复杂，我们将看到AI系统不仅仅被用于执行任务，而是开始承担更复杂的决策角色。」
该项目还计划在年底前发布一个开源框架，让其他研究团队能够参与测试和改进。「我们希望这不仅仅是一个DeepSeek项目，而是能成为整个AI社区的共同努力。」周明表示。「通过这种方式，我们能够更快地推动技术进步，并确保安全性始终是AI开发的核心要素。」
随着人工智能逐渐渗透到人类生活的方方面面，这种新型的挑战机制显得尤为重要。它不仅仅测试模型能否遵循指令，更关注AI系统在真实世界中的表现和决策过程。「我们相信未来的人工智能应该具备类似人类专家的判断能力，而不仅仅是高效的信息处理器。」周明最后总结道。「而这正是IH-Challenge项目试图解决的核心问题。」