关于 LLM推理 的快讯列表
| 时间 | 详情 |
|---|---|
|
2026-02-02 15:09 UTC |
Google Cloud Run 上线英伟达 RTX 6000 Blackwell GPU:无运维即可服务70B+大模型
根据 Richard Seroter 的说法,Google Cloud Run 现已支持英伟达 RTX 6000 PRO Blackwell GPU,开发者可在无需管理底层基础设施的情况下服务70B以上参数模型(来源:Richard Seroter 的 X 帖子与 Google Cloud 博客)。他指出已预装英伟达驱动、无需容量预留,且无服务器实例提供20至44个 vCPU 与80至176 GiB 内存,以简化大语言模型推理等高吞吐工作负载(来源:Richard Seroter 的 X 帖子与 Google Cloud Run 文档)。这一升级使团队可在 Cloud Run 上按需扩展 LLM 推理,同时免除 GPU 基础设施运维负担(来源:Richard Seroter 的 X 帖子与 Google Cloud 博客)。 |