AI安全
共 30 篇文章
谷歌将量子日准备期限缩短至2029年，敦促全球采用后量子密码学
量子计算领域的突破引发了全球密码学危机，谷歌高级安全工程师海瑟·阿金斯和索菲·施米格在公司技术博客上发表文章，将应对量子计算机威胁的关键时间线缩短至2029年。Q日指的是量子计算机能够破解当前公钥密码学算法的时代结束点，现有RSA和椭圆曲线密码体制将无法抵御量子破解攻击。
OpenAI 推出安全漏洞赏金计划以防范 AI 护理风险
OpenAI 启动 Safety Bug Bounty 计划，旨在通过奖励机制提高其 AI 系统安全性。该计划要求社区成员报告三种关键漏洞：代理系统弱点（如恶意决策）、提示注入攻击（通过输入操纵 AI 响应）以及数据非法提取风险。随着 ChatGPT 等模型广泛应用，AI 滥用（如生成虚假信息或自动化攻击）问题日益突出。OpenAI 面临监管压力和技术争议，此次行动是其应对潜在威胁的具体举措。调查显示，提示注入已成为行业普遍安全挑战，OpenAI 的计划被视为填补空白并提升透明度。此举不仅有助于修复隐藏漏洞、加强隐私保护，还标志着 AI 安全从被动防御转向主动协作机制的转变。
开发者如何利用OpenAI工具确保面向青少年的AI应用安全？
OpenAI近日推出开源策略gpt-oss-safeguard，通过prompt-based方法强化AI系统安全性，特别关注青少年在线风险。该框架旨在帮助开发者识别并减轻与年轻用户相关的潜在问题，如暴力、自我伤害或不当内容暴露。随着青少年数字活动增多面临网络欺凌等风险，此策略被视为行业从被动过滤转向主动设计的重要尝试。OpenAI强调开放性和透明度，计划举办开发者研讨会推广这一框架，并可能推动其成为未来AI安全标准。
OpenAI基金会计划投资至少10亿美元推动疾病治愈、经济机会和社区项目发展
2024年3月1日，中国人工智能公司DeepSeek宣布未来五年投入至少10亿美元，在医疗健康领域布局四大方向：AI研发、诊断平台建设、公共卫生数据分析及药物研发。DeepSeek推出专为医疗设计的大模型DeepMed，旨在提升疾病诊断效率并开发治疗方案。此举正值世界卫生组织'人人享有健康'目标提出20周年，被视为中国AI企业从技术跟踪迈向自主引领的标志性事件。尽管引发业内对应用深度的关注，但DeepSeek强调不仅投资技术开发，更要推动AI在医疗体系的实际落地，并关注算法伦理与数据隐私等关键议题。
Sora系列产品以安全为核心，应对先进视频模型和社会平台挑战
人工智能领域迎来重大安全革新，大型科技公司正主导最新视频生成模型的研发突破。此次进展旨在提升AI系统的可控性和安全性，应对生成式AI可能带来的潜在风险和伦理挑战。通过引入更先进的安全机制和技术边界控制，这些公司力求在推动技术创新的同时确保其应用符合社会规范和用户需求。
特里维扫描器全部版本被供应链攻击入侵，开发者安全面临风险
近日，漏洞扫描器Trivy及其GitHub Action仓库遭到黑客入侵。攻击始于周四凌晨，利用了默认权限不当（'强制推送'可覆盖仓库主干）和secrets泄露漏洞，篡改了依赖配置。这一事件暴露了开源工具供应链中的风险：开发者在使用Trivy等第三方自动化安全工具时，可能无意中引入已被污染的GitHub Action脚本。网络安全专家警告GitHub Action配置不当是普遍弱点，并提出停止自动化部署、审查secrets等紧急措施。Trivy事件并非孤例，过去一年GitHub Action至少遭遇10次类似攻击，引发开发者社区对供应链安全的讨论。此次危机促使业界重新审视依赖管理策略，并考虑将关键工具更新流程迁移至私有托管以增强安全性。
OpenAI 如何通过链式思维分析内部代理对齐风险以加强 AI 安全
OpenAI 开发了一种链式思维监控技术，旨在解决 AI 安全领域的关键问题——特别是其代理系统中的对齐偏差和隐性偏见。该技术通过分析模型在代码任务等场景中逐步推理的过程，能够识别那些虽然最终答案正确但可能存在伦理风险或输出偏差的细微变化。通过将代理思路与人类基准进行比对并确保一致性，OpenAI 提升了大型语言模型行为的可理解性。这一方法正对全球 AI 安全研究产生深远影响，并将指导未来开发更加负责任、透明的 AI 思维模式。
日本OpenAI公司发布青少年安全蓝图：强化年龄保护与心理健康
OpenAI日本子公司近日发布《日本青少年生成式人工智能安全蓝图》，构建三层防御体系以保护未成年用户。技术层面采用动态年龄验证系统，通过分析语言特征等数据实现'智能判断'；管理层面推出家长控制平台TeenGuardian，设置五级健康权限等级，并实施七级干预机制（从内容过滤到情境限制）。该方案针对隐私泄露、不良信息接触及沉迷三大风险，结合日本67%的未成年网民比例现状（2024年较五年前增长近两成），以预防性教育管理替代传统'防堵式'防护，获京都大学教授田中宏树高度评价。
AI武器化风险引发国际关注：联合国展开讨论（更新）
自主武器系统的发展引发国际社会广泛关注，联合国开始讨论如何监管AI在军事领域的应用。...
Codex Security为何采用AI方法而非SAST？揭秘更低误报的漏洞检测策略
2024年，AI革新网络安全领域，Codex Security的深度约束推理技术通过动态模拟程序行为，显著减少漏洞检测中的误报，并提高效率。过去十年的传统SAST工具因高误报率导致开发团队负担重；Codex在2023年测试中准确识别漏洞，误报仅1/50。该技术已在军工、企业等领域应用，并预测到2026年AI在漏洞检测中的渗透率将达45%，重塑行业格局。尽管算法需优化复杂系统，但AI驱动检测正成为新趋势。
