关于 LLM推理 的快讯列表
| 时间 | 详情 |
|---|---|
|
2026-02-02 23:09 |
Google Cloud Run 上线英伟达 RTX 6000 Blackwell GPU:无运维即可服务70B+大模型
根据 Richard Seroter 的说法,Google Cloud Run 现已支持英伟达 RTX 6000 PRO Blackwell GPU,开发者可在无需管理底层基础设施的情况下服务70B以上参数模型(来源:Richard Seroter 的 X 帖子与 Google Cloud 博客)。他指出已预装英伟达驱动、无需容量预留,且无服务器实例提供20至44个 vCPU 与80至176 GiB 内存,以简化大语言模型推理等高吞吐工作负载(来源:Richard Seroter 的 X 帖子与 Google Cloud Run 文档)。这一升级使团队可在 Cloud Run 上按需扩展 LLM 推理,同时免除 GPU 基础设施运维负担(来源:Richard Seroter 的 X 帖子与 Google Cloud 博客)。 |
|
2025-07-18 17:49 |
Yann LeCun 推荐 ZML 硬件无关大语言模型推理引擎,或预示AI与加密市场的潜在变革
根据 Yann LeCun 的分享,ZML 公司推出了一款新型的硬件无关大语言模型(LLM)推理引擎。LeCun 在社交媒体上强调了这项技术,其对人工智能和加密货币领域意义重大,因为它旨在减少运行 AI 模型时对特定高端硬件的依赖。对于加密市场,特别是专注于人工智能的代币和去中心化物理基础设施网络(DePIN),这一发展可能改变游戏规则。通过允许 AI 应用程序在更广泛的硬件上运行,它可以降低去中心化 AI 项目的运营成本,从而可能增加其采用率并影响相关加密资产的估值。这种向硬件独立性发展的趋势可能会打破目前由少数公司主导 AI 芯片行业的市场格局,并催生一个更加去中心化和更具竞争力的 AI 生态系统。 |