AI安全
共 30 篇文章
OpenAI承诺投资750万美元给The Alignment Project，助力独立AI对齐研究
OpenAI宣布将750万美元资助The Alignment Project，该项目由独立研究人员组成，旨在解决人工智能系统的伦理和安全问题，特别是通用人工智能（AGI）潜在风险。随着AI技术快速发展，业界担忧其失控可能性增加，OpenAI此举强化了负责任创新承诺，并呼应全球投资趋势。该项目将专注于训练过程中嵌入道德约束，避免商业偏见影响AI安全研究，并强调AGI开发中需要全球对话和政策干预，以确保技术可持续发展。该资助被视为应对AI伦理挑战的关键举措之一，在自动驾驶、医疗诊断等应用中具有深远意义，推动了从企业到研究社区的AI安全合作。
AI可解释性研究进展：让黑箱模型不再神秘（深度分析）
AI可解释性研究取得新进展，新方法能够更好地解释AI模型的决策过程，增强用户信任。...
ChatGPT 引入封锁模式与风险标签，帮助组织防御提示注入和数据泄露
OpenAI为ChatGPT推出两项新机制：'封锁模式'和'高风险提示词标签'，旨在帮助企业用户防范因不当提示词引发的敏感数据泄露问题。过去六个月全球发生超过50起类似事件，迫使OpenAI与网络安全专家合作开发此系统。新机制能在识别潜在威胁时主动拦截或标记提示词，阻止模型执行高风险操作，并允许用户在紧急情况下快速启用封锁模式。此举不仅响应了企业安全需求，也体现了OpenAI在提升其产品安全性方面的努力和创新。
AI系统被黑客攻击：安全漏洞不容忽视（深度分析）
安全研究人员发现多个AI系统存在安全漏洞，攻击者可以通过精心设计的输入来欺骗或操纵AI模型。...
OpenAI 如何在 AI 代理点击链接时保护你的数据？
OpenAI正在为其下一代AI代理系统引入革命性数据安全措施，旨在防止敏感信息通过URL泄露。该创新Guard系统采用动态权重平衡算法，在用户提及特定关键词时自动限制代理访问相关链接，实现主动风险识别。与竞争对手仅依赖简单过滤不同，OpenAI的方案更为全面且高效，在三个月测试中成功拦截98%的潜在漏洞攻击。这一突破标志着AI代理安全进入新阶段，促使DeepSeek等公司跟进开发类似系统，并引发行业对通过外部资源间接泄露数据的新关注。
TRUSTBANK运用AI技术革新Furusato Nozei捐赠礼品个性化
在全球金融科技快速发展的背景下，日本TRUSTBANK与AI公司Recursive合作开发了Choice AI系统。该系统利用OpenAI模型技术，通过对话式交互提供个性化推荐，简化公民参与Furusato Nozei捐赠计划的过程。Choice AI帮助用户根据偏好和预算发现合适的礼品选项，提升体验并可能吸引更多捐赠资金支持地方发展。这一合作体现了金融与科技的跨界创新潜力，预计未来将在其他领域扩展应用，并推动AI伦理讨论。
Indeed首席增长官揭秘AI如何革新招聘和求职
Indeed首席高管Maggie Hulce在采访中阐述AI如何革新招聘领域，通过高级算法实现高效精准的职位匹配和人才筛选。过去依赖人工的方式变得被动，AI现在主动推荐岗位、减少偏见并提升公平性。Indeed自2004年成立以来，整合AI工具填补劳动力市场空缺，在COVID后加速应用，数据显示招聘效率显著提高。然而，AI面临数据偏差和隐私挑战，需遵守法规并倡导透明度。Hulce呼吁行业合作与创新，并强调AI将主导招聘过程，未来需人类培养批判性思维以确保公平性和效率。
AI安全研究新突破：对齐技术取得重大进展（更新）
研究人员在AI对齐领域取得重要进展，新方法能够更有效地确保AI系统的行为符合人类价值观。...
ChatGPT推出年龄预测功能，针对青少年施加保护并持续优化准确率
OpenAI正在ChatGPT中推出一项基于对话分析的年龄估算功能，旨在通过识别用户语言模式和交互习惯来判断是否为未成年人，并自动应用保护机制提供更安全的对话体验。这项技术首次实现无需用户申报即可相对准确地盲测年龄，符合AI伦理和隐私法规要求，并为行业设定了新基准。未来将在测试服务器上线，逐步优化以平衡保护与用户帮助。
AI伦理委员会在各大科技公司普及（更新）
越来越多的科技公司成立AI伦理委员会，以确保AI技术的开发和应用符合伦理标准。...
