IBM 的 LoRA 技术革新了 AI 模型的专业化

IBM 研究正在利用低秩自适应 (LoRA) 将人工智能 (AI) 模型转变为专业工具，这种方法有望优化模型微调的过程。据 IBM 研究称，该创新使得 AI 模型能够在无需全面微调的大量计算资源的情况下获得特定的专业知识。

了解 LoRA

LoRA 允许基础模型的权重选择性地进行微调，创建一个模块化插件，在推理过程中赋予专业技能。这种方法有效地将通用 AI 模型转变为专家模型，如擅长法律文件分析的模型，而无需高昂的计算成本。IBM 研究的 AI 模型副总裁 David Cox 指出，LoRA 使得模型更新与基础模型分离，使其成为领先的参数高效微调 (PEFT) 方法。

不同于传统的全模型权重重算微调，LoRA 仅调整不到 1% 的权重。这不仅降低了计算需求，还减轻了“灾难性遗忘” 的风险，即当引入新数据时模型失去先前学习信息的风险。

扩展 LoRA 的应用

自 2021 年由微软研究员引入以来，LoRA 已经超越了语言模型，包括图片生成和语音识别。它还激发了各种改进，例如用于改进学习的 O-LoRA 和通过量化加速训练的 QLoRA。格鲁吉亚理工学院的 Alan Ritter 指出，该方法已使大型语言模型 (LLM) 训练更加普及和易于获取。

提高吞吐量和灵活性

IBM 和 MIT 的研究人员一直在努力进一步提高 LoRA 的效率。由加州大学伯克利分校引入的新系统 S-LoRA 允许动态交换 LoRA，借助单个 GPU 提高吞吐量以服务多个 LoRA。此外，IBM 还研究如何对类似的 LoRA 进行聚类，旨在整合和压缩这些模块，从而提升性能并减少所需参数。

在模型之间转移 LoRA

尽管具有灵活性，LoRA 通常与其原始基础模型绑定，这给迁移到新框架带来了挑战。IBM 和 MIT 提出了 Trans-LoRA，一种允许 LoRA 在不同模型家族中转换而不损失性能的方法。这一创新可显著简化 LoRA 在新模型迭代或完全不同架构中的适应过程。

确保安全性和可靠性

IBM 还在解决与微调相关的安全问题。由 Pin-Yu Chen 领导的研究强调了潜在的安全风险，从而开发了大大降低攻击脆弱性的安全补丁 Safe LoRA。该补丁特别有效，可以阻止大量潜在的安全漏洞。

未来展望

展望未来，IBM 计划为其 Granit 3.0 模型发布 LoRA，旨在提高模型的准确性和减少错误。公司还在探索 LoRA 如何支持多智能体系统和专业化企业应用，可能提供一种灵活的、用于各种角色的 LoRA 定制大型语言模型 (LLM) 系统。

欲了解更多信息，请访问 IBM 研究的 官方博客。