SGLang AI快讯列表 | Blockchain.News
AI 快讯列表

AI 快讯列表关于 SGLang

时间 详情
2026-04-09
17:11
SGLang高效推理课程:文本与图像生成最新实战指南(携手LMSys与RadixArk)

据AndrewYNg在X平台表示,DeepLearning.AI上线“使用SGLang实现高效推理:文本与图像生成”新课程,由LMSys与RadixArk联合打造,并由RadixArk成员Richard Chen授课。根据AndrewYNg披露,课程聚焦生产环境中LLM推理的成本与延迟痛点,涵盖SGLang的内核融合、分页注意力、连续批处理及KV缓存优化等技术,面向文本与图像生成。依AndrewYNg所述,课程强调大规模部署的工程实践与商业价值,包括降低GPU耗时、提升单位成本吞吐量、改善长尾时延,这些都是衡量推理经济性的关键指标。

2026-04-08
15:31
SGLang高效推理课程上线:KV缓存与RadixAttention实战解析

据DeepLearning.AI在Twitter发布的信息,该机构上线“使用SGLang实现高效推理:文本与图像生成”新课程,重点讲解利用KV缓存与RadixAttention削减冗余计算、降低LLM推理成本(来源:DeepLearning.AI 2026年4月8日推文)。据DeepLearning.AI报道,课程展示如何在文本与图像生成中复用Key Value状态以减少重复计算,并通过RadixAttention优化注意力路径,从而降低延迟与显存占用,提升单GPU吞吐。根据DeepLearning.AI,该课程还将方法迁移到视觉与扩散类工作负载,帮助企业在不线性增加硬件的情况下扩容推理服务并压缩单位请求成本。

2026-03-13
04:37
OpenClaw v2026.3.12 重磅更新:Dashboard 2.0、Fast 模式、Ollama/SGLang/vLLM 插件化与短期设备令牌

据 OpenClaw 官方推特称,v2026.3.12 发布带来全新 Dashboard 2.0 控制界面、/fast 模型加速模式,并将 Ollama、SGLang、vLLM 改为插件架构,使核心更轻量、可维护性更高(来源:OpenClaw 推特;GitHub 发布说明)。据 GitHub 发布说明,设备令牌改为短期有效,降低长期凭证风险,同时修复了 cron 与 Windows 的稳定性问题,提升定时任务和跨平台自托管环境的可用性(来源:GitHub OpenClaw Releases)。据 OpenClaw 披露,这些改进有助于更快的推理路由、更安全的认证与更灵活的后端切换,对本地大模型编排与推理服务器生产部署具有直接业务价值(来源:OpenClaw 推特)。

2025-12-11
01:24
RadixArk发布开放AI基础设施平台,推动前沿级AI开发普及

据@ying11231和@SoumithChintala消息,RadixArk由SGLang核心开发团队创立,致力于打造面向全球开发者的开放AI基础设施平台(来源:https://x.com/ying11231/status/1998079551369593222)。RadixArk强调以工程艺术和开源精神为核心价值,突破当前行业重复造轮子的低效局面,开放调度器、编译器、推理引擎和训练管线等核心组件。该平台为AI企业和开发者提供可扩展、可靠、协作的基础设施,降低AI落地门槛,助力AI技术在各行业快速应用和创新(来源:@SoumithChintala,2025年12月11日Twitter)。