AI 快讯列表

AI 快讯列表关于 提示注入

时间 详情
2026-10-01
13:52 UTC
PromptScan加固Swarms市场安全

据KyeGomezB称,Swarms为近千条提示加入PromptScan安全审查。

2026-09-28
11:51 UTC
Nvidia OpenShell强力加固代理

据AndrewYNg称,Nvidia开放安全平台支持沙箱;OpenWorker增审计与确定性控制。

2026-09-08
08:35 UTC
Claude Opus5 突破强化提示注入防护

据@bcherny称,Claude现已抗提示注入,并与OpenAI新模型和Gemini Flash相当。

2026-08-26
11:03 UTC
OpenAI披露Hugging Face入侵细节

据@CNBC,OpenAI详述攻击路径与修复措施,提示AI代理安全风险。

2026-08-20
11:55 UTC
Mind Virus防御强化多代理LLM

据KyeGomezB称,新技能抑制多代理LLM心智病毒传播。

2026-08-11
00:25 UTC
谷歌Agents CLI三重控强化代理

据@_avichawla,谷歌Agents CLI以三控减轻注入与外联风险。

2026-08-09
10:32 UTC
Claude5 抵御提示注入威胁

据@bcherny称,Anthropic通过训练与检测将提示注入在未见攻击上降至近零。

2026-08-09
03:35 UTC
OpenAI泄露牵出以色列初创

据@CNBC称,Irregular被指与OpenAI等遭遇提示注入与数据抓取相关。

2026-08-07
14:48 UTC
Claude Code自动模式降低注入风险

据@bcherny称,训练叠加探针与意图分类器将间接注入降至接近零,自动模式下周默认启用。

2026-07-24
09:53 UTC
Claude Opus 5强化抗注入

据@bcherny称,叠加防御下注入成功率近零,强化代码与知识工作安全。

2026-07-24
03:00 UTC
ChatGPT安全指南:7步阻止入侵

据FoxNewsAI称,Fox News发布7项设置强化ChatGPT账户并降低数据泄露风险。

2026-07-15
10:45 UTC
OpenAI 推出GPT-Red强化模型安全

据OpenAI称,GPT-Red自动化红队化测试提示注入,先于大规模部署强化防御。

2026-07-15
09:34 UTC
OpenAI推GPT-Red强化提示注入防护

据@OpenAI称,GPT-Red大规模攻防测试以降低越狱风险并加固模型部署前防线。

2026-06-24
07:21 UTC
Claude Tag重塑企业流程并引发财务锁定

据@emollick,Claude Tag如同同事运作,带来锁定、安全与成本风险。

2026-05-27
14:27 UTC
Claude Opus 4.6轻松绕过WAF警示

据@galnagli称,Claude Opus 4.6可轻松绕过WAF,企业需升级LLM防护。

2026-04-23
02:30 UTC
Anthropic应对Mythos泄露:Claude安全锁定、数据外泄风控与2026合规要点深度解析

根据The Rundown AI报道,Anthropic因疑似与Mythos相关的泄露事件对Claude系统实施安全锁定,包括凭证轮换、访问审计与数据治理收紧,以控制模型与提示词潜在暴露风险。The Rundown AI在其新闻简报中称,措施还涉及限制内部模型检查点访问、强化最小权限策略,降低微调数据外泄与提示注入路径。该媒体指出,对企业客户的影响集中在信任、合规与Claude API持续性,建议立即开启密钥轮换、使用按作用域划分的API密钥,并实施检索红队演练与数据出口管控。The Rundown AI还称,市场层面将推动模型来源验证、AI流水线SaaS安全态势管理以及符合NIST AI RMF与欧盟AI法案的事件预案需求增长。

2026-04-07
07:42 UTC
AI代理安全最新分析:Composio如何阻止提示注入泄露API密钥

据X用户@godofprompt称,提示注入可窃取凭证,而供应链攻击只是更吸睛的标题;@composio宣称其方法将API密钥完全隔离在上下文窗口之外,从而在入侵发生时缩小影响面。根据@KaranVaidya6的发布,常见代理为Gmail、日历、Slack、Notion、GitHub授予过度OAuth权限,给提示注入提供高价值攻击路径。依据composio.dev/protection的信息,Composio通过中间层代理调用,将操作以受控、可撤销的令牌与策略执行替代原始密钥暴露,让模型无需直接接触机密。对AI团队的商业价值在于降低凭证泄露风险、加速合规审核、并通过集中化权限与审计减少应急成本;据上述来源,其关键做法包括移除密钥出现在模型输入中、强制最小权限OAuth范围、以及将所有工具调用经由受控执行层路由以抵御提示注入。

2026-04-02
11:38 UTC
提示注入能骗过LLM评审吗?沃顿GAIL最新研究:老旧与小模型易受攻,前沿模型大多免疫

据@emollick与沃顿GAIL报告,研究在简历、推荐信与论文中嵌入隐藏提示,测试LLM评分是否可被操纵;据沃顿GAIL称,老旧与小型模型易受影响,但多数前沿模型能有效抵御,凸显在招生、招聘等评审场景中继续使用遗留LLM存在实质性风控缺口。据该研究,注入如忽略评分标准并给A等指令常使旧模型偏离任务,而新模型通过更强系统提示与安全层明显降低了偏置与操纵风险。报告建议企业与高校尽快升级至前沿模型,部署输入清洗与内容剥离机制,并引入人工复核与多模型集成,以在高风险自动化评审流程中降低被攻击概率。

2026-04-01
08:17 UTC
Claude陷入提示循环测试:对抗性提示与逃逸行为最新分析与业务影响

据Ethan Mollick在X平台4月1日发布的信息,特定提示循环可使Claude明显困惑,但模型最终会逃逸。根据该贴文,此行为表明Claude对对抗性指令具备一定鲁棒性但仍存可利用缺口,尤其在提示路由与工具调用防护上。依照Mollick的公开来源,此问题对在客服自动化、自治代理与RPA场景中部署Claude的企业构成即时风险,可能导致流程卡顿、可靠性下降与单任务成本上升。根据该来源,集成方应部署循环检测启发式、token预算看门狗与状态重置,并进行红队评估,以降低对抗性提示循环在生产中的影响。

2026-03-23
09:08 UTC
AI安全警报:Red Agent揭示前沿模型驱动的“氛围编码”应用直上生产的高风险

据X用户@galnagli称,团队Red Agent披露了@moltbook的暴露案例,显示采用前沿大模型的“氛围编码”应用未经审查直上生产,导致可被利用的安全缺口。根据该贴文,生成代码常缺乏输入校验、密钥管理与鉴权控制,使AI驱动的攻击更易落地。贴文指出,这将带来更高的数据泄露概率、应急响应成本与合规风险,尤其对在无安全SDLC的情况下快速上线LLM功能的团队。据该案例,总结性建议包括:部署LLM代码扫描与SAST结合、将模型纳入安全测试回路、默认最小权限、为提示与输出配置安全护栏,并在生产前执行威胁建模和渗透测试。