新闻

Meta的Muse Spark Open登陆NVIDIA代理编码GB300 NVL72

Meta发布了Muse Spark Open,一个 816B 的开放权重多模态模型,带有 1M-token上下文窗口,NVIDIA详细 GB300 NVL72 部署。

Meta的Muse Spark Open登陆NVIDIA代理编码GB300 NVL72

Meta发布的Muse Spark Open和NVIDIA的部署细节标志着推动大型多模态模型更实用,适用于长期编码和代理式工作流。两家公司表示,该模型旨在让整个软件项目在NVIDIA GB300 NVL72 系统上运行时保持上下文,实现更高吞吐量的推理。

证据与背景

根据Meta在 2026-10-15年的公告,Muse Spark Open是一款开权重、编码优化的专家混合模型,拥有 816 亿个总参数和每个代币约 42 亿个活跃参数。Meta表示该模型采用 1,048,576-token上下文窗口,旨在实现代理编码、多步推理和复杂软件工程。NVIDIA的 2026-10-15 技术博客称,该模型基于Blackwell Ultra基础设施训练 GB300 NVL72 并针对代理编码工作流程进行了优化。

上下文窗口是推销的核心:Meta表示它可以容纳整个项目,包括依赖、遗留代码和数千个文件,而无需将任务拆分成多个部分。NVIDIA补充说,稀疏的MoE设计将每个令牌路由到八256专家,因此互连带宽对实现吞吐量至关重要。NVIDIA表示,GB300 NVL72将72 Blackwell Ultra GPU合并为一个单一机架规模的NVLink域,拥有130 TB/s的通信带宽。

Meta还表示,Muse Spark Open原生多模态,能够在文本、图像、音频和视频一通道处理。公司表示,该模型的1.8B感知编码器处理交错输入时,无需独立的模态流程。NVIDIA的博客将此框架为在调试或代码审查时混合截图、图表、错误日志和屏幕录制的工作流程提供了便利。

NVIDIA表示,该模型采用了针对Blackwell Ultra优化的 NVFP4 检查点,减少内存占用,并支持更大的KV缓存以支持更长时间的并发会话。Meta官方文档(背景引用)称, BF16 检查点约为 1.65 TB, NVFP4 检查点约 537 GB,未计入推理开销和KV缓存。这些数据强调了稀疏激活减少了每个令牌的计算量,但并未消除加载非常大模型权重的需求。

在性能方面,NVIDIA 表示,Muse Spark Open 运行代理 GB300 NVL72 工作负载后,每个 GPU 每秒最多可提供 50,000 个令牌,每个用户每秒最多可达 600 个令牌。公司还表示,部署选项包括 SGLang、vLLM 和 TensorRT LLM,采用 NVIDIA Dynamo 配方,将预填充与解码分离,并采用 KV 缓存识别路由。Meta 的许可条款,如背景所述,具有限制性,不应被视为无限制的开源许可。

背景中另有一条内容称,Meta在2026-09-02上推出了Muse Spark 1.3,并提升了代理和编码性能。10月15发布的版本是在该基础上继续的,但所提供的材料并未建立与竞争对手模型的独立对比,仅限于厂商声明。