NVIDIA AI 红队为 LLM 应用提供关键安全见解
realtime news Oct 04, 2025 03:51
NVIDIA 的 AI 红队已识别出 AI 系统中的关键漏洞，并提供实用建议以增强 LLM 应用的安全性，重点关注代码执行、访问控制和数据泄露。
NVIDIA AI 红队 (AIRT) 一直在严格评估 AI 使能系统，以识别和减轻安全漏洞与弱点。根据NVIDIA 的官方博客，他们最近的发现突显了大规模语言模型 (LLM) 应用中的重要安全挑战。
关键安全漏洞
发现的主要问题之一是通过 LLM 生成的代码存在远程代码执行 (RCE) 的风险。这种漏洞主要是由于在缺乏足够隔离情况下使用 'exec' 或 'eval' 等函数。攻击者可以通过提示注入利用这些函数来执行恶意代码，对应用环境构成严重威胁。
NVIDIA 建议在 LLM 生成的代码中避免使用此类函数。开发人员应解析 LLM 响应，将其映射到安全的预定义函数，并确保任何必要的动态代码执行都在安全的沙盒环境中进行。
RAG 系统中的访问控制弱点
检索增强生成 (RAG) 系统也带来了安全挑战，尤其是访问控制方面的挑战。AIRT 发现，用户权限的不当实现通常允许未经授权的访问敏感信息。这个问题因不同步数据来源与 RAG 数据库权限的延迟以及过度授权的访问令牌而加剧。
为解决这些漏洞，有效管理委托授权并限制对 RAG 数据存储的写入访问至关重要。实施内容安全策略和防护检查可以进一步降低未经授权的数据曝光风险。
活动内容渲染的风险
LLM 输出中活动内容的渲染（例如 Markdown）构成另一重大风险。如果内容附加到链接或图像上，将用户的浏览器引导至攻击者的服务器，则可能导致数据泄露。NVIDIA 建议使用严格的内容安全策略来防止未经授权的图像加载，并在连接到外部站点之前向用户显示超链接的完整 URL。
结论
通过解决这些漏洞，开发人员可以显著提高其 LLM 实施的安全态势。NVIDIA AI 红队的见解对于那些希望加强其 AI 系统以抵御常见且影响深远的安全威胁的人员至关重要。
欲了解有关对抗性机器学习的更深入信息，NVIDIA 提供自定进度的在线课程和一系列关于网络安全和 AI 安全的技术博客文章。
Image source: Shutterstock.jpg)