AI 快讯列表关于 红队测试
| 时间 | 详情 |
|---|---|
|
2026-09-29 20:13 UTC |
谷歌投资数百亿签署白宫协定
据Demis Hassabis称,谷歌签署超智能协定并承诺安全研发。 |
|
2026-09-21 21:02 UTC |
五角大楼LLM风控引监管急需
据@timnitGebru称,美国LLM引战传闻无证据;专家呼吁强化测试与红队标准。 |
|
2026-09-18 05:05 UTC |
OpenAI与Anthropic面临独立安全评估呼吁
据@CNBC称,专家倡议独立红队与安全审计以核验模型安全。 |
|
2026-08-28 10:05 UTC |
GLM5.3开源权重强化网络防御
据emollick称,Zai_org开源GLM5.3权重,并呼吁发布模型卡与红队测试以控风险。 |
|
2026-08-18 10:36 UTC |
OpenAI暂停前沿RL以强化安全
据OpenAI称,前沿RL训练暂停以强化安全与监控,最大规模训练持续搁置。 |
|
2026-08-18 10:13 UTC |
OpenAI暂停RL训练以强化安全
据OpenAI称,已暂缓两周RL训练以加固环境并扩展监控。 |
|
2026-08-10 10:25 UTC |
GPT5.6-Cyber加速防御工作流
据@sama称,新模型助力红队并修补开源0日,据OpenAI与Eric Wallace发布。 |
|
2026-08-09 10:32 UTC |
Claude5 抵御提示注入威胁
据@bcherny称,Anthropic通过训练与检测将提示注入在未见攻击上降至近零。 |
|
2026-07-15 10:45 UTC |
OpenAI 推出GPT-Red强化模型安全
据OpenAI称,GPT-Red自动化红队化测试提示注入,先于大规模部署强化防御。 |
|
2026-07-10 10:25 UTC |
OpenAI生物漏洞赏金加倍至5万美元
据OpenAI称,私有化项目悬赏5万美元,征集通用越狱以测试前沿模型生物安全。 |
|
2026-05-28 11:04 UTC |
Claude3.5 团队压力测试提升模型品质
据@claudeai称,专家红队在发布前找出失败点,提升安全与可用性。 |
|
2026-04-21 23:52 UTC |
Mythos安全能力解析:Mozilla最新零日挖掘评估与Opus 4.6对比分析
据@galnagli称,Mozilla博客以审慎乐观的视角评估Mythos在安全研究中的作用,并与外界对“AlphaGo时刻”的预期形成对照;同时提到Opus 4.6在Web安全任务上展示了出色的推理链条表现。根据Mozilla博客,文章聚焦AI辅助发现零日漏洞的工作流、验证方法与负责任披露实践,并提出企业可落地的机会,包括安全红队自动化、模糊测试流水线、以及模型辅助告警分诊与优先级排序,帮助AppSec团队在不牺牲合规的前提下提升漏报与误报治理效率。 |
|
2026-04-13 13:54 UTC |
Claude Mythos 预览版首个通关 AISI 网络靶场:最新安全评估与企业风控分析
据 @emollick 援引 AI Security Institute 信息,Claude Mythos 预览版成为首个端到端完成 AISI 网络靶场的模型,显示其进攻性能力门槛上升,需强化网络安全控制与评测流程。根据 AI Security Institute 在 X 上的披露,其网络评测表明 Mythos 能在受控环境中执行完整攻击链,这一结果据 AISI 所述提升了对红队测试、模型隔离与上线护栏的要求。依据 Ethan Mollick 在 X 的评论,这一发现证实了双重用途风险的担忧,企业在试点部署同级模型时应加强输出过滤、限制工具权限并实施持续化上线后监控。 |
|
2026-04-13 02:30 UTC |
反AI抗议直指萨姆·阿尔特曼:2026年AI落地的5大商业风险与应对策略—深度分析
据 The Rundown AI 报道,反AI人士在旧金山抗议并上门针对 OpenAI CEO 萨姆·阿尔特曼,凸显公众对训练数据来源、就业影响与安全风险的情绪升温,来源为 The Rundown AI 推文所链接的新闻简报。根据 The Rundown AI,随着类 GPT 助手快速进入消费与企业场景,社区层面的反对声浪同步增强。The Rundown AI 指出,商业影响包括品牌声誉受损、数据中心项目可能遭遇地方审批与立法规制阻力,以及因透明度与用户数据退出机制带来的合规成本上升。The Rundown AI 建议的缓解路径包括:主动社区沟通、第三方安全审计、训练数据可追溯与细粒度披露、明确红队测试承诺,以回应安全与偏见关切。另据 The Rundown AI,厂商可通过发布模型卡(含训练概览)、提供企业数据隔离、与内容创作者建立授权或分成机制,降低用户流失并缓解反AI情绪。 |
|
2026-04-09 18:09 UTC |
LLM“锯齿智力”风风险解析:3大难点与5条企业落地护栏
根据 Ethan Mollick(@emollick)在 X 平台的观点,LLM 存在“锯齿式智力”,其弱点往往不直观、在不同模型间高度同质、且随能力边界外移而变化,这导致企业面临聚集性故障与迁移性风险(来源:X/Twitter,2026年4月10日)。据 Alex Imas(@alexolegimas)在 X 的讨论,人类同样“锯齿”,但企业已建立认知与流程来吸收人类差异;相比之下,LLM 的涌现性行为让弱点更难预判(来源:X/Twitter)。对业务而言,这意味着需要更强的可靠性工程:建立系统化红队与基准评测、跨模型路由与探测、领域化安全护栏、数据与提示层回归测试,以及故障隔离与审计日志。由此催生的市场机会包括模型评测平台、多模型编排与观测工具、行业合规评测服务与面向生成式AI的可靠性保险产品(来源:X/Twitter 上 Mollick 与 Imas 相关贴文)。 |
|
2026-04-07 23:49 UTC |
Anthropic发布Project Glasswing:Claude Mythos Preview在关键软件安全上实现突破
据AnthropicAI在X平台称,Anthropic发布Project Glasswing,采用其最新前沿模型Claude Mythos Preview,可在漏洞发现方面达到仅次于最顶尖人类专家的水平(据Anthropic)。据Anthropic公告页介绍,Glasswing面向关键基础设施、开源基础设施与广泛部署的库,结合自动化漏洞发现与负责任披露流程(据Anthropic)。这为安全团队带来以大型推理模型驱动的自动代码审计、红队测试、SBOM风险分拣与持续依赖扫描等商机,供应商亦可将Mythos扫描器集成至CI流水线,实现更早缺陷拦截与更低修复成本(据Anthropic)。 |
|
2026-04-07 22:29 UTC |
Claude Opus 4.6 与 Mythos:AI 驱动的企业级 Web 安全最新分析
据 @galnagli 在 Twitter 表示,Anthropic 的 Claude Opus 4.6 已显著提升 Web 安全流程,帮助其在全球大型企业环境中每天发现数十个漏洞;其称对即将到来的 Mythos 模型充满期待,或将进一步扩大测试覆盖与深度。根据该来源的信息,这表明基于大模型的自动化安全测试与红队作业已在实务中产生成效,为企业应用安全、漏洞赏金与托管安全服务带来可扩展的漏洞发现与分流机会。 |
|
2026-04-07 10:14 UTC |
Project Glasswing启动:Anthropic联手全球龙头应对AI赋能网络威胁—2026深度分析
据Dario Amodei在Twitter表示,Project Glasswing汇聚多家全球领先企业,直面更强大AI系统带来的网络安全风险。依据该推文,此计划聚焦通过模型红队测试、安全部署与事件共享,遏制AI驱动的入侵、钓鱼与自动化漏洞挖掘。按原始来源信息,企业将建立更严格的供应链安全基线与合规保障,并为模型评估、安全推理与AI威胁检测等安全厂商创造新商机。 |
|
2026-04-06 09:12 UTC |
OpenAI 推出 Safety Fellowship:资助独立AI安全与对齐研究,培育下一代人才
据 OpenAI 在 X 上宣布,OpenAI 启动 Safety Fellowship,资助独立的 AI 安全与对齐研究并培养新一代研究人才。根据 OpenAI 2026年4月6日发布的信息,该项目面向独立学者与新兴研究者,聚焦对齐、可扩展监督与评估等方向,提供资助与导师支持,以形成可落地的安全措施和面向前沿模型的政策证据。依照 OpenAI 的说明,该计划将为安全评估、红队测试与可解释性研究带来新的资金与协作机会,有望加速企业模型治理与风险控制的实务应用。 |
|
2026-03-31 16:20 UTC |
AI内容素养指南:为何“末日新闻”误导公众认知——面向2026年AI安全与合规的实务分析
据Yann LeCun在X平台转发的Steven Pinker视频所示,媒体的负面选择偏差会放大崩塌感知;对于AI从业者,这意味着在安全与合规沟通中需以数据和基准说话(来源:YouTube上Steven Pinker演讲)。据该YouTube演讲,易得性偏差与选择性报道会夸大系统性风险,AI领域也存在类似误读,如对模型失效与自动化冲击的高估;企业应发布纵向可靠性指标、部署后事件率与经审计评测集来对冲偏差。依据Yann LeCun在X的原帖,采用趋势数据与标准化披露可提升信任;建议落地做法包括标准化模型卡、红队披露,以及按季度发布与基线挂钩的安全和性能报告。 |