新闻

AMD 将动态 LoRA 切换功能加入 Ryzen 人工智能 软件1.9

AMD表示,Ryzen 人工智能 Software 1.9支持部分型号在推理时进行动态LoRA切换,从而减少NPU上的重复。

AMD 将动态 LoRA 切换功能加入 Ryzen 人工智能 软件1.9

AMD表示,其Ryzen 人工智能 Software现在允许开发者编译一次基础模型,并在推理时动态切换LoRA适配器,公司称此举可在人工智能 PC上部署多个专用模型时减少重复。AMD在2026-11-02发布的一篇技术文章中表示,该功能可在Ryzen 人工智能 Software发布1.9中提供,并支持部分文本模型,包括Qwen2.5-3B、Qwen3-4B和Qwen3.5-4B。

证据与背景

LoRA(低秩适应)通过训练小型适配器权重,同时保持基础模型冻结,微调大型语言模型。AMD表示,此前在Ryzen人工智能上支持的部署方法是静态合并,即在编译前将LoRA权重折叠进基础模型。公司表示,这种方法适用于单个适配器,但当需要多个专业适配器时效率较低,因为每个合并模型都会重复相同的基础权重。

在动态LoRA中,AMD表示一个量化基础模型仍驻留在NPU,而小型适配器则被编译为独立工件并按名称激活。文章称,这允许应用程序从一专家切换到另一专家,比如专注于SQL的模型到医疗模型一,而无需重新加载基础模型。

AMD还警告说,适配器必须针对已经量化的基底模型进行训练。文章中,公司表示,NPU基底已量化为 INT4 ,且在应用到量化基底之前,将LoRA适配器对全精度模型训练,可能会降低适配器对设备的优势。

公司描述了一个四步流程:用 INT4 AWQ 用 AMD Quark 量化基础模型一次;对每个 LoRA 适配器对冻结的量化基底进行微调并保存,保存为未合并;每个适配器对 NPU 的基础和每个适配器进行一次model_generate调用;然后通过加载一次基础并在运行时切换适配器来服务。

AMD表示其示例使用Qwen3-4B INT4基,配备二个适配器:一个基于Spider训练的文本转SQL适配器和一个基于MedMCQA训练的医疗选择适配器。关于Ryzen 人工智能 NPU,AMD报告称Spider的执行准确率从47.5%提升到63.0%,提升了15.5个百分点,而MedMCQA的精确匹配率从42.0%提升到53.0%个,提升了11.0个百分点。文章称这两个结果均基于n=200个例子。

AMD表示,其Ryzen 人工智能 Software示例库中有一个可运行的示例,Ryzen 人工智能 Software的发布1.9还引入了长上下文支持,导入通过量化感知训练产生的INT4量化模型,并支持更多模型。文章未披露除三具名文本模型外的更广泛模型列表,也未提供除引用示例外的独立基准比较。

登录收藏文章 免费账号:建立研究收藏,随时回来继续阅读。