NVIDIA Molt一文件简化RL训练

NVIDIA最近通过其NeMo实验室推出了Molt强化学习框架，使开发者能够仅用包含step函数返回奖励的单个Python文件设置复杂的代理训练。该框架支持高达一万亿参数的MoE模型训练，简化了构建AI代理的业务流程。

关键要点

• Molt允许训练环境和奖励逻辑存在于核心训练器代码库之外，减少了软件开发和自主系统等行业新任务的设置时间。
• 该框架通过支持来自字符串匹配、沙箱代码执行或LLM作为评判的直接奖励信号，消除了对单独奖励模型和专用GPU的需求。
• 通过简单命令标志实现对大型MoE架构的可扩展性，利用FSDP2、vLLM进行 rollout，并使用Ray实现生产环境中的重叠操作。

Molt架构深度解析

Molt框架解决了传统RL设置中的常见瓶颈，其中环境代码和奖励模型必须嵌入训练器，需要大量注册和配置更改。用户只需指定指向自定义Python模块的代理路径标志，保持训练器代码不变以进行重复实验。根据Avi Chawla在X上分享的细节，此方法支持两种主要集成方式。第一种使用Env类，其中step函数处理模型输出并返回奖励，而框架管理标记化、模型调用和剧集循环。第二种采用ChatAgent类用于现有代理循环，通过标准OpenAI或Anthropic客户端将调用路由到本地vLLM引擎。两种方法都向训练器提供令牌轨迹和最终奖励以进行一致处理。

技术实现细节

Molt在分布式设置上使用FSDP2运行可训练参与者，可选PPO评论家。vLLM引擎处理生成 rollout，而Ray队列支持生成和训练阶段之间的并发权重同步。模型跨GPU自动拆分，允许同一脚本用于单节点上的8B模型，通过调整并行参数扩展到集群上的DeepSeek-V3级别MoE训练。奖励可来自简单字符串匹配、子进程沙箱执行或LLM评判，无需训练额外模型，消除了靠近参与者和评论家的放置复杂性。

业务影响与机会

人工智能开发公司通过加速可验证奖励任务的RL代理部署，如代码生成或代理工作流，获得显著的货币化潜力。通过模块化代理路径方法解决了实施挑战，如自定义环境布线，降低了小型团队的障碍。市场机会包括为企业自动化提供基于Molt的服务，其中奖励来自沙箱验证器，从优化训练管道创造经常性收入。监管考虑涉及确保代码执行奖励的沙箱安全性，而道德最佳实践强调在不可验证任务中使用透明的LLM评判以避免偏见。竞争格局有利于早期采用者，如NVIDIA合作伙伴，他们可以比传统框架更快地扩展到生产规模。

未来展望

预测表明Molt将推动行业向使用LLM作为评判奖励的不可验证代理任务的RL训练转变，从RLHF和GRPO范式演变，如Avi Chawla的相关分析中所述。这可能扩展机器人和决策系统的应用，NVIDIA等关键参与者将在易于访问的大规模MoE训练中领先。企业应监控与现有vLLM堆栈的集成以实现无缝采用，并准备围绕奖励透明度的合规策略。

常见问题

NVIDIA Molt与典型RL框架有何不同？

Molt将环境和奖励逻辑分离到单个外部Python文件中，消除了修改训练器代码或在专用GPU上训练单独奖励模型的需要。

Molt如何处理扩展到万亿参数MoE模型？

扩展使用命令行标志进行并行性，而框架通过FSDP2、vLLM和Ray自动跨GPU拆分模型并重叠操作。

Molt能否支持现有代理循环而无需重大重写？

是的，ChatAgent类允许用户维护自己的循环，同时通过标准API客户端将模型调用路由到本地vLLM引擎。

Molt在没有额外模型的情况下提供哪些奖励选项？

奖励来自字符串匹配评分器、沙箱代码执行或LLM作为评判调用，支持可验证和不可验证的代理任务。