使用 Goose 和 Together DCI 即刻部署任何 Hugging Face 模型

使用 Goose 和 Together DCI 即刻部署任何 Hugging Face 模型 - Blockchain.News

部署机器学习模型通常需要面对一系列复杂的设置：配置推理服务器、设置容器环境以及了解模型的特定要求。Together.ai 致力于通过其专用容器推理（DCI）平台消除这些障碍，使开发者能够在生产就绪的 GPU 环境中轻松部署任何 Hugging Face 模型。

这一过程利用了 Goose，一个命令行接口（CLI）代理运行器，以及 Together 的 DCI 基础设施。结果？一个无缝的部署体验，无需面对通常的设置困扰。

如何运作

以 Netflix 最近发布的 Void-Model 为例，该模型能够在考虑与环境交互的情况下移除视频中的物体。传统上，部署这样的模型可能需要数天的设置时间。使用 Together 的工具，开发者 Blaine Kasten 在模型发布当天仅用了三步就完成了部署：

安装 Together DCI 技能：使用命令 npx skills add togethercomputer/skills，Goose 获得了为任何模型配置 Together 基础设施的能力。
运行一个命令：一个简单的提示，例如 I want to deploy this model on Together’s dedicated containers https://huggingface.co/netflix/void-model，即可以启动整个部署过程。
让代理完成其余工作：Goose 会自动配置推理服务器、生成容器文件并部署模型，最终在 Together 基础设施上生成一个可用的设置。

此过程的输出是一个完全功能化的代码库，已在 GitHub 上发布，任何人都可以用来运行 Void-Model。

Together 的 DCI 平台为开发者提供了私有的、GPU 支持的环境来运行模型，无需管理共享资源或配置集群。这种灵活性对于需要在新模型发布时快速响应的团队来说至关重要，例如 Netflix 或开源社区发布的模型。

此外，按需付费的定价模式让实验变得更加可行。开发者可以尝试模型，而无需在基础设施上投入大量资源或忍受冗长的设置时间。

对于对前沿 AI 感兴趣的开发者来说，Together 的 DCI 提供了一条清晰的快速实验和部署路径。无论是测试像 Netflix 的 Void-Model 这样的模型，还是开发新的应用程序，Goose 和 DCI 的结合将过去的技术瓶颈转化为简化的流程。

想进一步了解 Together DCI，请访问 Together 的网站。

Image source: Shutterstock