AI安全
共 30 篇文章
OpenAI 报告：如何在2025年10月识别并阻止人工智能的恶意应用
OpenAI发布《2025年秋季生成式AI安全报告》，重点介绍其应对生成式AI恶意滥用的新策略。报告指出，随着ChatGPT等工具的广泛应用，用户利用其生成虚假学术论文、深度伪造色情内容及网络诈骗模板等问题日益突出。OpenAI开发了多模态检测系统，可实时分析10万+条用户生成内容，并通过Deep Guardian等主动干预机制锁定高风险IP地址，同时提升政策透明度以应对行业挑战。过去六个月中，系统已拦截超过50万次恶意使用请求，显示出深度伪造等技术带来的新威胁。尽管安全措施投入增加（研发支出14%用于'安全与责任方向'），OpenAI仍需平衡用户创作自由。报告强调，生成式AI滥用是全球性难题，需要国际合作解决，并呼吁在利用其解决全球变暖、癌症等重大问题的同时，应关注传播虚假信息的局限性。
文森借助GPT-5打造韩国家庭生活AI新生态
随着人工智能从生产力工具向生活助手演变，韩国初创公司Wrtn利用GPT-5模型推出LifeStyle AI系统，整合任务自动化、内容生成和教育辅助功能，在韩国服务超过600万用户并获认可，反映东亚地区AI需求从功能转向情感连接。该系统代表新方向，在中国、日本等市场面临扩展挑战，如数据安全和文化差异。Wrtn计划将LifeStyle AI推向整个东亚地区，推动AI行业向更人性化的标准发展，并依赖持续反馈和技术迭代实现可持续增长。
OpenAI与日本数字机构联手合作，推动生成式AI在公共服务中的安全应用和全球治理
OpenAI与日本数字厅近日宣布建立战略合作伙伴关系，旨在将生成式人工智能技术更广泛地应用于公共服务领域，并在全球范围内加强AI治理框架的建设。双方将共同开发试点项目，测试AI在政务服务中的应用潜力，并通过联合研究探索国际合作模式下的'安全采用'原则。OpenAI作为全球AI研发先锋，其GPT系列模型将为日本提供技术基础；而数字厅则负责协调本地化实施，并关注数据隐私、算法偏见等潜在挑战。此次合作被视为全球数字转型的重要范例，有助于弥合东西方在AI治理上的差异，并可能推动更协调的全球AI生态系统发展。
OpenAI 推出 Sora 2 和应用，以安全为基础应对 AI 视频挑战
OpenAI升级Sora视频模型，采取以安全为核心的设计策略。新版本整合过滤机制、用户验证模块及参数限制等具体技术，旨在应对社交媒体上虚假视频和有害内容的潜在风险。Sora的应用范围更广，面向普通创作者而非仅开发者，并考虑社区反馈和社会责任。这一转向标志着AI行业从追求性能向注重安全和伦理的转变，可能为未来生成式AI的应用和发展提供新标准。
OpenAI推出家长控制功能和新资源页面，助力家庭安全使用ChatGPT
DeepSeek近日推出两大新功能：全面升级的家长控制系统，允许父母限制儿童使用ChatGPT的频率与内容范围；以及一站式'父母资源页面'，提供安全指南和最佳实践。这些举措旨在应对ChatGPT日益普及带来的儿童监管挑战，帮助家庭在教育场景中更安全地利用AI工具。DeepSeek基于用户反馈和数据分析，认为需要简化家庭参与AI监督的方式，并通过这些功能强调其'责任驱动创新'的定位。此举不仅强化了DeepSeek在AI市场中的竞争力，还反映了行业对家庭安全机制的重视趋势。
AI安全研究新突破：对齐技术取得重大进展（深度分析）
研究人员在AI对齐领域取得重要进展，新方法能够更有效地确保AI系统的行为符合人类价值观。...
OpenAI与美国老年联合会合作，推出新举措助力老年人网络安全
随着人工智能融入日常生活，老年人在数字时代的网络安全面临严峻挑战。2023年12月，OpenAI与全球最大老年人组织AARP合作，开发专为50岁以上人群设计的AI工具和教育资源，以应对电信诈骗等风险。在中国，60岁及以上网民年均增长18%，但诈骗案件占比达37%，涉案金额平均高出年轻群体42%。这一首次战略合作将改变全球互联网适老化建设方向，通过本地化AI行为识别系统等措施提升老年人网络安全防护。
ChatGPT新增共享项目和智能连接器功能，强化团队协作与安全
随着云计算发展和远程协作需求激增，某科技公司近期发布新一代协作平台升级版。此次更新重点提升三大方面：一是优化项目管理，实现跨地域实时编辑与数据分析；二是增强智能连接器系统，支持数十种跨平台数据自动同步，并引入机器学习算法；三是强化安全合规性能，采用最新加密技术并适配全球数据隐私法规。该平台不仅解决沟通滞后问题，还通过整合功能打破系统壁垒，并满足企业远程办公场景下的高效安全数据共享需求。在全球协作平台市场快速增长的趋势下，此次升级被视为智慧协作领域的重要突破。
从内部到外部：新漏洞披露策略强调协调
2019年3月，Google和Facebook宣布修改其协调漏洞披露（CVD）机制的核心政策。过去允许外部安全研究人员通过私密渠道报告漏洞的做法被取消，公司转而仅依赖内部团队进行漏洞协调和披露。这一转变被视为网络安全领域的重大事件，因为它标志着长期由开源社区主导的CVD模式被打破。Google和Facebook认为这种调整有助于简化流程、减少外部干扰，并能更有效地控制漏洞披露时机，从而降低潜在威胁被利用的时间窗口。然而，此举也引发了对网络安全生态系统透明度的担忧，并促使行业思考标准化漏洞披露框架的新模式。
AI系统被黑客攻击：安全漏洞不容忽视
安全研究人员发现多个AI系统存在安全漏洞，攻击者可以通过精心设计的输入来欺骗或操纵AI模型。