快讯列表

关于 NanoChat d32 的快讯列表

时间 详情
2025-10-21
15:59
Andrej Karpathy发布nanochat d32:$800合成数据定制LLM身份与脚本开源,AI智能体赛道交易关键信号

据@karpathy称,nanochat现已具备明确身份并可说明自身能力,包括其为由他构建的nanochat d32、成本约$800且在非英语方面较弱,这些均通过合成数据定制实现,来源: x.com/karpathy/status/1980508380860150038。 他发布了一个示例脚本,展示如何生成多样化合成对话并在中期训练或SFT阶段混入,强调保持数据熵以避免重复性,来源: x.com/karpathy/status/1980508380860150038。 他指出基础LLM本无固有个性或自我认知,需通过精心策划的合成数据显式“加装”,来源: x.com/karpathy/status/1980508380860150038。 对交易者而言,$800的定制成本基准与开源流程,为评估开源AI智能体开发与AI相关代币和AI概念股的采用路径提供具体参照,来源: twitter.com/karpathy/status/1980665134415802554。

来源
2025-10-16
00:14
卡帕西发布 $1000 nanochat d32:33 小时完成训练、CORE 0.31、GSM8K 20%,关注 RNDR、AKT、TAO

据 @karpathy 表示,depth-32 的 nanochat d32 以约 $1000 成本、约 33 小时完成训练,并在预训练、SFT 与 RL 各阶段均有指标提升(来源:Karpathy 在 X;Karpathy GitHub nanochat 讨论)。其称该模型 CORE 得分为 0.31,高于 GPT-2 的约 0.26,且 GSM8K 从约 8% 提升至约 20%,对微型模型而言是显著进步(来源:Karpathy 在 X;Karpathy GitHub nanochat 讨论)。他提醒 nanochat 的训练成本为 $100–$1000,且 $100 版本参数量约为 GPT-3 的 1/1000,因而更易出现幻觉与不稳定表现,用户预期需保持克制(来源:Karpathy 在 X)。他还表示已在仓库提供 run1000 sh 等脚本,当前短期托管供测试,后续将优化训练吞吐并可能继续向更大模型扩展(来源:Karpathy 在 X;Karpathy GitHub 仓库)。对于交易者而言,提供 AI 工作负载的去中心化 GPU 网络如 Render(RNDR)、Akash(AKT)与 Bittensor(TAO)是值得关注的标的,因低成本开源训练有利于开发者试验与算力需求叙事(来源:Render Network 文档;Akash Network 文档;Bittensor 文档)。

来源