AI 快讯列表关于 LMSYS
| 时间 | 详情 |
|---|---|
|
2026-04-09 17:11 |
SGLang高效推理课程:文本与图像生成最新实战指南(携手LMSys与RadixArk)
据AndrewYNg在X平台表示,DeepLearning.AI上线“使用SGLang实现高效推理:文本与图像生成”新课程,由LMSys与RadixArk联合打造,并由RadixArk成员Richard Chen授课。根据AndrewYNg披露,课程聚焦生产环境中LLM推理的成本与延迟痛点,涵盖SGLang的内核融合、分页注意力、连续批处理及KV缓存优化等技术,面向文本与图像生成。依AndrewYNg所述,课程强调大规模部署的工程实践与商业价值,包括降低GPU耗时、提升单位成本吞吐量、改善长尾时延,这些都是衡量推理经济性的关键指标。 |