AI 快讯列表关于 OpenMythos
| 时间 | 详情 |
|---|---|
|
2026-04-21 00:35 |
OpenMythos最新进展:循环Transformer与MoE重构Claude Mythos,验证步数较nanoGPT快2.67倍
据Kye Gomez(@KyeGomezB)在X平台透露,OpenMythos是对Claude Mythos的开源理论重构,采用循环式Transformer与Mixture-of-Experts路由,通过权重共享与稀疏专家激活实现迭代深度,旨在提升效率与多步推理能力(来源:X/Twitter)。据Kye Gomez称,社区小规模训练显示,OpenMythos达到最佳验证所需步数比nanoGPT少2.67倍,早期迹象表明其收敛更快(来源:X/Twitter)。据Kye Gomez介绍,团队正在Hugging Face上使用FineWeb-Edu预训练3B(并探索5B)模型,后续将以GRPO与高质量强化学习数据集进行微调,代码与训练脚本已在GitHub开源(来源:X/Twitter)。据Kye Gomez表示,该项目仍处早期研究阶段,欢迎社区协作以评估循环Transformer与MoE在推理性能和效率权衡上的业务潜力(来源:X/Twitter)。 |