NVIDIA TwoTower将LLM提速2.4倍

NVIDIA推出的TwoTower架构解决了大型语言模型中速度与质量的权衡难题。该方案基于预训练自回归模型，通过双塔结构实现并行块生成，同时保留98.7%的原始质量。

关键要点

• TwoTower将生成吞吐量提升2.42倍，上下文塔保持冻结状态。
• 在30B混合Mamba-Transformer MoE骨干上，仅用2.1T token完成训练。
• 权重和代码已开源，便于企业快速适配现有模型。

架构深度解析

传统自回归模型逐token生成确保质量却速度缓慢，扩散模型并行生成但质量下降。TwoTower通过冻结上下文塔和可训练去噪塔分离任务，层间交叉注意力提供多尺度理解。

商业影响与机遇

企业可将成熟模型部署于低延迟场景，如实时客服和内容生成，实现更快响应并提升用户留存。开源特性降低实施门槛，助力金融、医疗等行业合规落地。

未来展望

混合架构有望成为主流，推动多模态模型发展，预计未来几年将催生视频合成与实时翻译新商业模式。

常见问题

TwoTower是什么？

TwoTower是将自回归模型拆分为上下文塔和去噪塔的架构，实现快速并行生成。

速度提升多少？

吞吐量提升2.42倍，质量保留98.7%。

代码是否开源？

权重和代码均已开源。