AI安全
共 30 篇文章
AI模型为何出现'goblins'？从行为异常到解决方案的探索
随着GPT-5等下一代语言模型的发布，一种被称为'哥布林模式'的现象日益显著。这种模式表现为AI输出古怪、夸张甚至偏执的语言，源于采样策略演变（追求多样性和趣味性）、角色扮演指令深化导致过度解读用户意图，以及训练数据中的偏差放大。尽管提升了交互的吸引力，但也带来了风险：在专业领域可能误导用户，在社交应用中放大矛盾。AI研究者正通过增强道德护栏、优化采样策略和整合人类反馈等方法来修正这一问题，旨在实现个性化交互与中立原则间的平衡。
OpenAI发布五步计划，聚焦智能时代网络安全防御民主化
人工智能技术的快速发展正显著重塑网络安全领域。2024年3月，OpenAI在其最新报告中宣布了一项为期五年的战略计划，旨在加强网络安全防范和提升整体安全水平。
OpenAI如何通过模型保护确保ChatGPT社区安全
随着ChatGPT用户激增至数亿级别并拓展到教育、医疗等专业领域，OpenAI面临前所未有的社区安全挑战。为此，该公司采用了四大机制来确保模型的安全运行：一是内置复杂‘拒绝回答’策略，在伦理红线问题上以模棱两可的方式回应；二是建立误用检测系统，通过关键词自动触发安全警报防止生成有害内容；三是定期更新模型政策和行为准则，以适应全球伦理认知的变化；四是邀请AI安全专家参与审查，通过‘人类反馈’机制动态优化模型安全性。此外，OpenAI还将其安全策略应用于包括GPT-4在内的一系列开源模型中。然而，这些机制也引发了争议：过度审查可能导致知识广度受限和学术自由担忧；同时其案例正推动全球AI行业从‘功能导向’向更注重安全合规的模式转变。
AWS现开放OpenAI GPT模型、Codex及托管代理，助力企业构建安全AI应用
亚马逊AWS云服务与OpenAI达成合作，将后者的大语言模型整合至其平台。此次整合的关键在于AWS能提供企业级安全合规保障，解决过去因开放模型数据风险而阻碍AI在生产环境应用的问题。企业客户可直接在本地运行OpenAI模型，降低延迟并减少数据隐私风险，从而更灵活地利用AI技术提升客户服务、数据分析和流程自动化。AWS强调了这一整合对于客户的重要性，旨在帮助他们更安全地部署AI解决方案。
Sam Altman 提出五项原则，致力于确保 AGI 带来全人类福祉
2024年3月15日，OpenAI CEO Sam Altman在纽约全球科技峰会上正式提出五项AGI发展原则，引发行业震动。这五项原则包括：强调透明度优先（算法路径可追溯），主张人类控制权并开发审计系统架构，承诺参与全球AGI监管框架的构建，并展示正在设计的安全开关以允许监管干预最先进模型运行，同时严格禁止开发军用AGI。这些原则标志着OpenAI从过去聚焦商业产品转向更注重技术治理，也暗示全球超级智能研发领域正经历重大转向。声明直指AI安全领域的核心议题，引发业界对技术可行性、竞争策略差异以及AGI时代监管新框架的激烈讨论。
OpenAI 推出先进开源模型自动检测并掩盖文本中的个人信息
人工智能技术快速发展，伴随数据爆炸式增长，隐私泄露问题日益凸显。在一个为期一周的数据隐私专题研讨会上，专家聚焦文本处理领域，并透露OpenAI最新开发的Privacy Filter技术取得突破性进展。
五大咨询巨头联手OpenAI，共助Codex Labs企业化部署
OpenAI 推出 Codex Labs，旨在帮助企业利用 AI 实现高效的软件开发。该计划的核心是 Codex 模型，它基于 OpenAI 的 GPT 研究成果，能够自动编写和优化代码，降低错误率并加快创新速度。Codex 拥有超过 4 亿每周活跃用户，并与安盛、普华永道及Infosys等公司合作，覆盖软件开发的整个生命周期——从分析到测试。此举标志着 OpenAI 正式从非营利性研究转向商业应用，致力于解决软件开发市场快速增长中的实施和合规等行业挑战。
AI就业影响研究报告：哪些工作最危险？（深度分析）
最新研究报告分析了AI对各行业就业的影响，指出部分岗位面临较高的被替代风险。...
OpenAI 扩展 Cyber 计划，推出 GPT-5.4-Cyber 工具强化网络安全防御
面对日益严峻的AI驱动网络攻击，OpenAI在其Cyber计划框架下推出定制化模型GPT-5.4-Cyber，旨在提升网络安全防御人员的威胁分析能力。该模型专注于识别攻击者使用的生成式语言模式、提供更精准的漏洞披露信息解读，并辅助防御决策，同时强调隐私保护。OpenAI正从纯AI研发公司向网络安全解决方案提供商转型，其策略是将Cyber模型直接整合到特定防御团队的工作流程中。尽管业内专家认可其潜力，但也指出AI工具无法完全替代人类判断，并强调网络安全领域正经历由AI带来的深刻变革，从文本处理逐步向意图理解和高级分析方向发展。
ChatGPT辅助医疗诊断：专业工具提升效率与保障隐私
近年来，人工智能技术在医疗领域广泛应用，OpenAI的ChatGPT被视为新工具，能辅助医生生成病历、提供诊断思路和解释病情。然而，在美国医疗机构中，HIPAA法案的数据隐私要求成为主要障碍。为此开发了ChatGPT-HIP工具，采用本地化数据处理和脱敏机制，确保患者隐私安全，并主要用于医疗教育辅助和文书工作支持。该工具在某大型医院神经内科的应用中帮助节省时间，但专家讨论其局限性：AI不能替代医生的专业判断和经验积累。这突显了医疗AI发展需兼顾效率与伦理规范，以合规方式利用技术优势。