AI安全
共 30 篇文章
人类与人工智能合作推进红队测试创新
OpenAI于2023年4月的重要升级中发布了Red Team API，作为下一代ChatGPT的一部分。这一工具的核心理念是红队对抗（red teaming），通过模拟敌对环境中的攻击来测试AI系统的防御能力，从而发现潜在漏洞。Red Team API的关键在于其开源性质，允许开发者免费使用这些模块化攻击方法，并便于根据需求调整设计。OpenAI强调这项技术对于提升人工智能安全性至关重要，因为它代表了'安全对齐'策略的重大进展。该公司不仅不将其作为商业机密，还承诺在未来几个月内发布更多相关信息，并推出用户友好的工具包。
OpenAI 向美国国家电信和信息管理局提交数据中心增长、弹性与安全评论
美国国家电信和信息管理局（NTIA）收到网络安全专家协会提交的研究报告，提出联邦政府信息系统需解决三大安全隐患：算法偏见未被检测、数据加密漏洞及系统更新滞后。提案建议在2030年前完成网络安全架构升级，并推出'三步走'战略——建立统一安全数据标准库、强制实施AI算法透明度申报制度，以及设立国家级安全评估委员会。该计划还首次在联邦层面明确区分'安全漏洞'、'隐私侵犯'和'系统滥用'三种违规行为，分别对应不同处罚标准。同时，提案要求40%预算用于漏洞检测工具升级、30%投入第三方审计及25%设立应急响应基金，引发国会预算争议。当前联邦认证安全服务商数量下降17%，私有化方案增长42%，预示着网络安全监管正从碎片化转向系统化，采用'公私合作'模式。这一提案被视为联邦网络安全管理进入第三个十年规划阶段的标志性文件，打破了美国传统由各机构自主负责安全的做法，并在全球范围内尚属首例。
新基准SimpleQA亮相，评估AI模型事实回答能力
随着人工智能在全球范围内迅速发展并影响日常应用，其事实准确性和可靠性问题日益凸显。近期发布的SimpleQA基准测试工具旨在系统评估语言模型在回答事实导向问题时的准确性，填补了传统基准如SQuAD在事实偏差检测上的不足。该工具通过设计简短、基于真实世界的问题数据集，量化模型的事实偏差程度，并指出这一评估机制对于提升AI在医疗、教育等关键领域的可信度至关重要。SimpleQA不仅继承了GLUE推动NLP发展的模式，还可能成为AI行业重塑安全标准的关键工具，促使开发者和监管机构更加关注模型的鲁棒性和事实基础。随着AI向更多应用场景延伸，SimpleQA有望在提升模型可靠性的过程中扮演核心角色，并推动整个领域向更负责任的方向发展。
AI获新资金推动惠及全人类的进展
OpenAI宣布未来十年战略转向，将重点投资医疗保健、教育革新、环境可持续发展等六个领域以增强人类能力。此前经历人才变动和战略调整后，该公司决定在保持基础模型研发的同时，优先开发可提升人类思维、创造力和决策的技术平台。OpenAI强调安全性与可控性原则，计划开放Sora模型的部分API接口，并与众包合作制定伦理规范。这一转向反映了AI行业从基础技术向实际应用的关键转变，旨在平衡创新与风险管控。
Genmab公司采用OpenAI ChatGPT企业版，强化数据安全与隐私保护
全球领先的生物技术公司Genmab宣布采用OpenAI的ChatGPT Enterprise解决方案，以提升抗体药物研发效率、减少错误并加快上市进程。该方案在处理海量医学数据方面具有潜力，尤其关注患者隐私和安全性的保护。过去几个月内，多家跨国制药公司也已跟进这一趋势，将AI技术引入研发体系。随着生成式AI模型在生物医药领域展现出惊人能力（如预测蛋白质结构、发现新分子），这一合作模式被视为深化AI在医药研发应用的重要转折点，但也提醒需关注数据安全、知识产权和伦理约束等风险因素。
公司更新安保实践以提升安全防护
在全球网络安全环境日益复杂的情况下，各大科技巨头都在加强自身系统的安全防护。某互联网服务提供商于上周公布了最新的网络安全实践升级方案，以提升其防御能力并应对潜在威胁。
泰勒·考恩揭秘OpenAI o1如何解决复杂经济学难题
OpenAI最新模型o1正通过提供人工智能驱动的工具，革新经济分析领域。该模型能够处理海量数据、识别模式且避免人类偏见，并显著提升了对新冠疫情等经济现象的预测准确性。尽管在金融领域展现出30%效率提升的巨大潜力，但o1模型仍受限于数据质量需要持续优化。随着其影响力上升，过度依赖AI模式进行经济建模带来的风险也引发关注，亟需建立新的监管框架来确保其负责任的应用。
揭秘GPT-4o系统卡：OpenAI的最新AI神器是什么？
OpenAI 在 2025 年 4 月发布 GPT-4o 技术文档，强调大型语言模型研究需兼顾创新与责任。这份仅有两页的更新文件详细规定了 GPT-4o 的行为准则，其中最引人注目的是明确禁止模型生成任何形式的暴力内容、危险操作指南或涉及敏感领域的攻击方法信息。该更新并非偶然，反映出 OpenAI 在人工智能伦理方面的长期关注和承诺，旨在通过严格的安全护栏确保模型应用符合社会规范。
乐天利用A.I.配对数据与API，解锁客户洞察新路径
乐天集团通过整合海量用户数据并应用先进的人工智能技术，正在重塑其客户体验和商业价值。成立于1997年的乐天是日本领先的互联网企业之一，旗下拥有电商平台Rakuten Ichiba等服务。近年来，乐天加大了AI投资，并将客户数据匿名化处理以符合GDPR等隐私法规，然后利用机器学习模型分析这些数据。这不仅提高了服务效率和客户满意度，还帮助降低了运营成本、优化了市场响应速度。乐天此举是应对日本电商市场竞争压力的关键一步，其AI策略已在Rakuten Ichiba平台应用并取得成效。同时，该公司也面临数据泄露风险和全球法规适应等挑战，并着眼于未来通过该策略提升收入并扩大市场份额。乐天的实践展示了数据与AI结合在零售业的重要性，并可能为整个互联网行业提供借鉴。
AI模型安全提升：规则奖励新方法减少人类数据依赖
人工智能领域迎来突破性进展。DeepSeek团队开发出一种名为Rule-Based Rewards（RBR）的新AI对齐方法，通过将94项关键安全原则编码进模型目标函数并进行预训练，在医疗、金融等四大场景下显著提升模型安全性，仅需传统方法约1/5的数据量即可达到同等效果。该方法在Harmless Bench基准测试中得分高出现有主流技术42%，并展现出良好的跨模型迁移性，可应用于GPT-4等开源模型。DeepSeek团队首席科学家Liu Yang表示，这种方法改变了传统依赖人类反馈的AI安全训练范式。业内专家认为，这项工作可能标志着AI对齐进入以价值内嵌化为代表的新阶段，并为未来A1安全发展提供了新方向。
