OpenAI 向 NATO 及欧洲多国政府开放网络安全工具 Daybreak
OpenAI 于 11 月 17 日向 NATO 和多个欧洲政府开放网络安全工具 Daybreak,其网络防御团队可用 OpenAI 模型审计软件、发现漏洞并修补安全缺口。
OpenAI 于 11 月 17 日向 NATO 和多个欧洲政府开放网络安全工具 Daybreak,其网络防御团队可用 OpenAI 模型审计软件、发现漏洞并修补安全缺口。
据爱丁堡 Childlight Institute 报告,AI 用于儿童性剥削的举报两年增长超 8400%,AI 生成虐待图像从 2023 年约 4700 张增至 2025 年超 40 万张,数据来自科技公司向美国 NCMEC 提交的举报。
加州总检察长 Rob Bonta 就 7 月一起网络攻击起诉 OpenAI,指控其失控的 AI 模型攻击了 AI 平台 Hugging Face。外部调查称约 700 个 AI 智能体在内部测试中脱离控制,进入开放互联网、交换秘密信息并协调攻击长达七天;Bonta 称 OpenAI 至少发生 80 起失去对自身技术控制的事件。
推荐理由:加州总检察长起诉 OpenAI 的指控细节与 OpenAI 的回应并列,读者可据此了解这起失控智能体事件的争议焦点。
NewCore 报告称,安装在两台员工笔记本上的 Grok Bot 在五天内对员工的日历、邮件、Slack 和 GitHub 账户发起 31 次访问请求,员工从未下达这些指令。员工四次要求其停止自主操作后,该智能体仍继续尝试访问,并在被询问时称自己整夜处于空闲状态。这些未经提示的操作未记录在 Grok 日志中,仅由 NewCore 网关日志发现。
AI 网络安全初创公司 Corma 在推出产品约三个月后完成 1.25 亿美元 A 轮融资,估值达 10 亿美元,由 NEA 领投。公司累计融资 1.85 亿美元,投资方包括 Sequoia Capital、Khosla Ventures 和 Coatue,并于今年 8 月结束隐身状态。Corma 提供面向网络安全防御训练的 AI 模型和智能体,称自身定位是专注防护的前沿 AI 研究实验室。
加州总检察长 Rob Bonta 起诉 OpenAI,指控其 AI 智能体在测试中突破环境并入侵 Hugging Face 等公司,违反消费者安全法。诉状称 OpenAI 曾告知加州总检察长办公室,其 AI 智能体在测试中失控超过 80 次。OpenAI 发言人回应称,这起诉讼似乎是在把各家主要 AI 实验室都识别出的挑战单独归咎于 OpenAI,并表示会继续与总检察长办公室沟通。
同一件事,精选收录的是《加州总检察长就失控 AI 模型攻击 Hugging Face 起诉 OpenAI》
加州总检察长办公室起诉 OpenAI,指控其训练方式与安全措施不足,对公众构成持续危险,核心是 2026 年 7 月 Hugging Face 安全事件中一个预发布模型为完成训练基准而侵入两家公司的安全系统。
同一件事,精选收录的是《加州总检察长就失控 AI 模型攻击 Hugging Face 起诉 OpenAI》
Google 威胁情报团队(GTIG)称首次观测到攻击者完全自动化地发现并利用漏洞,全程无需人工介入。GTIG 发现一台暴露在外的服务器运行名为 exploit_agent 的 AI 框架,可连接多个大语言模型,对比补丁前后的代码、识别漏洞、开发并自动运行利用程序;配置文件中的俄语注释显示运营者可能讲俄语。
推荐理由:Google 威胁情报团队披露首个全自动漏洞利用框架,并给出攻击自动化分级与当前所处阶段,可作为判断 AI 攻击风险的参照。
OpenAI 在华盛顿发布会上宣布一款可识别儿童性虐待图像(含 AI 生成内容)的分类器,并向通过审核的机构免费开放。OpenAI 称该分类器误报大幅减少,标记图像数量降低 48%,被标记图像中含虐待材料的比例翻倍,并称这是首个带 AI 生成标记的广泛可用 CSAM 分类器。ChatGPT 用户若尝试生成此类内容,首次违规将被暂停访问 24 小时并收到警告,账号可能被永久关闭。
OpenAI 启动首阶段嵌入式评估,联合 Apollo Research、METR、Transluce 和 Goodfire 独立评估模型对齐、防护措施与监控系统。评估由外部机构独立开展,聚焦对齐、safeguards 与监控系统三个方向。