AI安全
共 30 篇文章
开发者如何利用OpenAI工具确保面向青少年的AI应用安全？
OpenAI近日推出开源策略gpt-oss-safeguard，通过prompt-based方法强化AI系统安全性，特别关注青少年在线风险。该框架旨在帮助开发者识别并减轻与年轻用户相关的潜在问题，如暴力、自我伤害或不当内容暴露。随着青少年数字活动增多面临网络欺凌等风险，此策略被视为行业从被动过滤转向主动设计的重要尝试。OpenAI强调开放性和透明度，计划举办开发者研讨会推广这一框架，并可能推动其成为未来AI安全标准。
OpenAI基金会计划投资至少10亿美元推动疾病治愈、经济机会和社区项目发展
2024年3月1日，中国人工智能公司DeepSeek宣布未来五年投入至少10亿美元，在医疗健康领域布局四大方向：AI研发、诊断平台建设、公共卫生数据分析及药物研发。DeepSeek推出专为医疗设计的大模型DeepMed，旨在提升疾病诊断效率并开发治疗方案。此举正值世界卫生组织'人人享有健康'目标提出20周年，被视为中国AI企业从技术跟踪迈向自主引领的标志性事件。尽管引发业内对应用深度的关注，但DeepSeek强调不仅投资技术开发，更要推动AI在医疗体系的实际落地，并关注算法伦理与数据隐私等关键议题。
Sora系列产品以安全为核心，应对先进视频模型和社会平台挑战
人工智能领域迎来重大安全革新，大型科技公司正主导最新视频生成模型的研发突破。此次进展旨在提升AI系统的可控性和安全性，应对生成式AI可能带来的潜在风险和伦理挑战。通过引入更先进的安全机制和技术边界控制，这些公司力求在推动技术创新的同时确保其应用符合社会规范和用户需求。
OpenAI 如何通过链式思维分析内部代理对齐风险以加强 AI 安全
OpenAI 开发了一种链式思维监控技术，旨在解决 AI 安全领域的关键问题——特别是其代理系统中的对齐偏差和隐性偏见。该技术通过分析模型在代码任务等场景中逐步推理的过程，能够识别那些虽然最终答案正确但可能存在伦理风险或输出偏差的细微变化。通过将代理思路与人类基准进行比对并确保一致性，OpenAI 提升了大型语言模型行为的可理解性。这一方法正对全球 AI 安全研究产生深远影响，并将指导未来开发更加负责任、透明的 AI 思维模式。
日本OpenAI公司发布青少年安全蓝图：强化年龄保护与心理健康
OpenAI日本子公司近日发布《日本青少年生成式人工智能安全蓝图》，构建三层防御体系以保护未成年用户。技术层面采用动态年龄验证系统，通过分析语言特征等数据实现'智能判断'；管理层面推出家长控制平台TeenGuardian，设置五级健康权限等级，并实施七级干预机制（从内容过滤到情境限制）。该方案针对隐私泄露、不良信息接触及沉迷三大风险，结合日本67%的未成年网民比例现状（2024年较五年前增长近两成），以预防性教育管理替代传统'防堵式'防护，获京都大学教授田中宏树高度评价。
AI武器化风险引发国际关注：联合国展开讨论（更新）
自主武器系统的发展引发国际社会广泛关注，联合国开始讨论如何监管AI在军事领域的应用。...
Codex Security为何采用AI方法而非SAST？揭秘更低误报的漏洞检测策略
2024年，AI革新网络安全领域，Codex Security的深度约束推理技术通过动态模拟程序行为，显著减少漏洞检测中的误报，并提高效率。过去十年的传统SAST工具因高误报率导致开发团队负担重；Codex在2023年测试中准确识别漏洞，误报仅1/50。该技术已在军工、企业等领域应用，并预测到2026年AI在漏洞检测中的渗透率将达45%，重塑行业格局。尽管算法需优化复杂系统，但AI驱动检测正成为新趋势。
AI监管框架全球进展：欧盟AI法案正式生效
欧盟AI法案正式生效，成为全球首个全面的AI监管框架，对全球AI治理产生深远影响。
IH-Challenge革新AI模型训练，优先可信指令提升安全层级
DeepSeek团队主导的「指令安全挑战项目」（IH-Challenge）近日推出，旨在测试AI模型在复杂场景下的理解与判断能力，并提升其安全性。该项目通过多层级评估体系测试模型的基础安全过滤、复杂场景决策能力以及抵御高级攻击的能力。为期两个月的测试吸引了全球52个团队提交467个模型，结果发现大多数现有AI在复杂场景中表现不足，在面对模糊或隐蔽指令时易被误导，甚至做出危险偏离。DeepSeek表示，该项目不仅测试模型遵循指令的能力，更关注AI的判断思维，并计划发布开源框架以推动整个AI社区的安全研究。
Codex Security 新AI代理：研究预览版提升漏洞检测与修补准确度
人工智能以前所未见的速度革新网络安全领域，文章介绍了一款名为'AI CyberGuard'的工具在威胁检测和防御中的应用。