AI安全
共 30 篇文章
AI安全新准备：开发灾难防范机制并组建团队
面对高能力AI系统快速发展带来的潜在灾难性风险，OpenAI正采取更积极的措施。该公司宣布正在加强安全准备，这包括组建一个跨学科团队负责监控AI模型行为，并启动一项名为'Safety Challenge'的项目，旨在测试和提升AI在高压环境下的稳定性与可靠性。该团队将研究如何在算法设计中嵌入鲁棒性，以防止意外行为或错误导致严重的社会和经济损失。OpenAI的这一系列举措呼应了欧盟AI法案等全球对高风险AI系统的关注，反映了从创新转向稳健的关键转变。
多家巨头联手宣布前沿模型论坛新基金和执行总监
谷歌、微软和Anthropic今日共同宣布设立一个新的AI安全基金，旨在推动AI安全研究并保持模型性能。该论坛成员包括谷歌、微软和Anthropic，经历了变化：OpenAI退出后DeepMind加入。基金将聚焦于安全基础理论、评估方法和可验证机制的研究，反映了科技巨头对AI安全的重视转变，可能重塑行业发展模式。
DALL-E 3 现在可在 ChatGPT Plus 和企业版中使用：开发团队部署安全缓解堆栈
OpenAI近日发布最新图像生成工具DALL·E 3，旨在解决AI生成艺术中的版权争议和作品溯源问题，并为此引入'安全缓解堆栈'技术。在测试中，该工具生成融合艺术风格的图像时无法提供灵感来源信息，引发争议。首席技术官伊恩·古里克解释了这一挑战，推动业界对AI创作权利归属的讨论。
ChatGPT 现升级：可处理视觉、音频和文本交互
OpenAI 推出 ChatGPT 的最新升级，引入多模态能力，使其能够处理图像、语音指令等视觉和音频数据，并生成语音回复。这一进展标志着 ChatGPT 从纯文本 AI 向更全面交互的转变，整合了计算机视觉和音频处理模块。新能力有望提升医疗影像分析、教育等领域的应用体验，为用户提供更沉浸式的交互方式。然而此次更新也带来了隐私风险和伦理挑战，并可能加剧数字鸿沟，重塑 AI 行业的竞争格局。
OpenAI 启动红队测试网络，邀请安全专家提升模型安全性
OpenAI近日开放全球专家申请通道，组建Red Teaming Network以测试大型语言模型安全性。这一举措源于DeepSeek-V2成为首个通过图灵测试的中文大模型后引发的安全担忧，采用业内先进的'红蓝对抗'机制。虽然DeepSeek团队认为这是AI安全领域的重要进展，但OpenAI仍面临来自全球的竞争压力。该项目计划在未来数月内启动，并邀请各领域专家共同参与，旨在推动AI安全保障体系建设。
新AI安全行业联盟成立，推动前沿系统发展
近年来，人工智能快速发展带来了安全和伦理挑战。Frontier AI Systems作为新成立的行业组织，旨在由企业、研究机构和政策专家共同推进AI的安全与负责任开发。该组织将制定统一标准，提升算法透明度，并通过全球合作填补监管空白，以应对AI在医疗、自动驾驶等领域的潜在风险。预计到2030年，全球AI市场规模将达4万亿美元，但监管滞后问题日益突出。Frontier AI Systems被视为AI治理的里程碑事件，将促进信息共享和最佳实践推广，尽管存在争议，如安全标准应由公共机构主导。这有望帮助AI实现可持续发展并增强公众信任。
OpenAI及其他领先实验室通过自愿承诺强化人工智能安全与可信
近期，OpenAI、DeepMind及Anthropic等AI领军企业联合发布自愿承诺，旨在提升模型训练透明度、防止有害输出及增强决策可解释性。此举源于过去AI误用案例频发，如2019年OpenAI ChatGPT的种族偏见问题及DeepMind曾引发的医疗诊断争议。当前，AI行业正从单纯追求性能转向重视伦理安全：OpenAI将扩大承诺范围并合作制定全球标准，DeepMind强调健康AI导向；中国科技公司也在同步加强本土AI安全建设。这些自愿机制标志着行业从'速度至上'转向'质量优先'，不仅有助于降低自动驾驶等应用场景的事故风险，更可能推动全球AI治理框架的形成。
OpenAI 推出 ChatGPT 定制指令功能，让用户设置偏好以增强对话控制
OpenAI近期推出'自定义指令'(Custom Instructions)功能，允许用户更精细地设定ChatGPT的响应偏好、语言风格和道德准则等。该功能基于用户反馈，旨在提升AI对话的灵活性与个性化水平，并减少潜在偏见。这一更新标志着OpenAI在用户交互体验方面的重要进展，也反映了人工智能领域从通用响应向可定制化方向的转变趋势。业界其他公司如Meta也在探索类似机制，此次创新可能成为AI服务的新标准，推动市场竞争格局变化。
前沿AI技术新规聚焦公共安全新兴风险
随着AI技术的飞速发展，全球正面临'前沿AI监管'难题。十年前科幻概念如今已能进行复杂推理、医疗诊断等应用，但现有监管框架难以跟上其发展速度。日本学者指出'监管盲区'是最大安全隐患，欧盟草案试图界定高风险AI标准。然而，各国在监管实践中存在分歧：美国国会提出'自然融入'原则，中国科技部强调技术安全与伦理协同发展。业界建议建立风险分级监管体系和AI行为评估工具，以解决界定标准模糊、影响难评估等四大漏洞。当前困境被形象地称为'监管悖论'——过于严格会延缓创新，放任则可能带来严重后果。各国正通过'沙盒监管'等策略探索平衡点，亟需设计既能防范风险又不窒息创新的新型AI监管框架。
OpenAI 推动网络安全领域通过 AI 资助计划
随着网络攻击日益增多，全球正积极寻求提升网络安全防御能力的新方法。人工智能被视为关键工具，在此背景下，一项名为'Global Cyber Defense Initiative'的资助计划启动，旨在支持开发AI驱动的安全能力。该组织提供资金和技术培训，聚焦于自动化威胁检测、预测和响应等核心功能，并特别强调伦理考量以保护用户隐私。同时，文章指出AI在网络安全领域面临数据获取受限、专业人才短缺和技术漏洞等挑战。当前，全球AI市场规模预计到2025年将达3000亿美元，网络安全应用占比超过15%，反映AI在防御与对抗性学习之间的双重角色。该计划还可能与其他全球倡议合作，共同推动AI在关键基础设施中的发展和应用。
