代理基材增强Kubernetes以实现可扩展的AI代理管理

NVIDIA推出了代理基材，这是一个旨在优化大规模AI代理管理的开源运行时。作为Cloud Native Computing Foundation（CNCF）沙箱的一部分，代理基材解决了Kubernetes在处理频繁空闲状态和快速状态转换的工作负载时的低效问题。该平台提供了比标准容器高10x的代理密度，同时通过零信任原则保持安全性。

传统Kubernetes在AI代理中的挑战

AI代理通常在短时间的活动与较长的空闲期之间交替，要求它们的状态（包括内存、文件系统和进程）在步骤之间持久化。传统的Kubernetes工作流涉及为每个会话启动一个新的Pod，因此由于API服务器交互、镜像拉取和网络设置而导致显著的延迟。这些延迟对于长期服务是可以接受的，但对于在毫秒或秒内执行微任务的代理来说却是不切实际的。

平台团队面临两个次优选择：保持Pods温暖，从而浪费计算资源，或按需创建Pods，导致冷启动惩罚。代理基材通过使代理能够高效地暂停和恢复操作，而不需要创建新的Pod来解决这些问题。

代理基材的工作原理

代理基材通过在Kubernetes上维护一个准备好的工作Pod池进行操作。当一个代理处于空闲状态时，它的状态被快照，包括内存和文件系统，工作者则被释放以进行其他任务。当代理重新激活时，其状态被恢复到任何可用的工作者上，绕过Kubernetes API服务器和调度器。这种方法确保了操作的快速恢复，代理在少于500毫秒内唤醒。

该运行时支持多种沙箱技术，如gVisor和microVMs，为每个代理提供安全、隔离的环境。它还与Kubernetes的集群调度、配额和放置政策等功能无缝集成。

推动采用的关键用例

代理基材专为几种具有挑战性的工作负载而定制：

• 编程助手和代理服务：编程代理需要持久的环境来执行文件编辑和测试执行等任务。代理基材使平台能够提供数千个会话，而无需为每个会话分配温暖的沙箱。
• 强化学习（RL）后期训练：RL环境在回滚批次期间涉及短暂的沙箱需求高峰。代理基材减少冷启动延迟，确保GPU训练者不被闲置。
• 研究用GPU沙箱：研究人员通常需要短期GPU沙箱进行CUDA编译和内核基准测试等任务。代理基材促进快速沙箱创建和公平的GPU资源共享。

最近的贡献和未来发展

为提升代理基材的功能，已经取得了几项进展：

• 请求排队：当所有工作者忙碌时，传入请求被排队并重试，直到有工作者可用，防止在需求高峰期间出现错误。
• GPU支持：引入了设备插拔功能，允许沙箱通过Kubernetes动态资源分配（DRA）请求特定设备，如NVIDIA GPU。
• 每个容器的资源限制：内存和CPU限制确保沙箱内的失控容器不会干扰相邻容器。
• 有状态GPU沙箱：代理现在可以在空闲期间释放GPU，并在保持其状态的情况下恢复，包括已编译的工件和加载的数据。

代理基材的开源特性和与NVIDIA的DSX AI工厂平台的集成，包括KAI调度程序和NVIDIA Dynamo等组件，使其成为可扩展、高效AI代理管理的关键工具。