使用 Outerbounds 和 NVIDIA DGX Cloud Lepton 构建公司内部 AI 系统

使用 Outerbounds 和 NVIDIA DGX Cloud Lepton 构建公司内部 AI 系统 - Blockchain.News

在快速发展的人工智能领域，公司具备在内部开发和管理 AI 系统的能力变得越来越重要。Outerbounds 与 NVIDIA 的 DGX Cloud Lepton 合作，为企业提供了一种安全高效的方式来拥有和操作 AI 组件。这种方法不仅解决了安全性和隐私问题，还提高了对法规标准的合规性。

Outerbounds 和 AI 堆栈

Outerbounds 提供了一个云原生平台，便于在公司自身环境中开发和操作 AI 系统。基于开源 Metaflow，Outerbounds 为开发人员提供了强大的 API，以大规模构建、编排并持续改进 AI 产品。该平台使企业能够管理复杂的 AI 组件，从训练和推断到依赖 GPU 的检索增强生成 (RAG) 系统。

NVIDIA DGX Cloud Lepton 的角色

NVIDIA DGX Cloud Lepton 的引入扩展了对 GPU 资源的访问，提供了一个统一的界面，简化了多样化计算资源的整合。这种访问使公司能够在构建不同的 AI 产品时克服重大障碍。Outerbounds 和 DGX Cloud Lepton 的合作表明，企业可以无缝集成新基础设施，而无需大量迁移，从而降低风险和努力。

实际应用：Reddit 推荐代理

为说明这些技术的实际应用，Outerbounds 开发了一个 Reddit 推荐代理。该 AI 系统使用近 1 亿个帖子和评论的数据集来推荐合适的子版块和发布风格。其架构包括使用 NVIDIA 的 NeMo Retriever 集合将提示转换为嵌入，通过 GPU 加速的向量数据库 (FAISS) 进行处理，并利用大型语言模型 (LLMs) 根据子版块风格重新格式化提示。

高效的 AI 系统管理

Outerbounds 使在线代理和离线工作流程的编排可以在一个平台上进行，支持安全迭代和系统所有组件的详细跟踪。此功能对于模型和代理版本的 A/B 测试至关重要，确保 AI 系统的稳健评估和优化。此外，与 NVIDIA DGX Cloud Lepton 的集成提供了对深度 GPU 资源池的访问，提高了 AI 应用程序的效率和可扩展性。

公司内部 AI 开发的未来

随着对专有 AI 解决方案需求的增长，Outerbounds 和 NVIDIA DGX Cloud Lepton 的结合为希望开发不同 AI 产品的企业提供了一个具有吸引力的框架。通过提供从可扩展 GPU 计算到用户友好的软件层的完整堆栈，这些工具使公司能够满足企业部署需求，包括合规性和数据驻留考虑。

有关如何利用这些功能的更多信息，请访问 NVIDIA 的博客。

Image source: Shutterstock