关于 Karpathy 的快讯列表
| 时间 | 详情 |
|---|---|
|
2025-12-09 03:40 |
Python random.seed 符号位问题:seed(5) 等同 seed(-5),警惕AI与加密量化回测风险
据 @karpathy 所述,CPython 的 random.seed 会对整数种子取绝对值,导致 seed(3) 与 seed(-3) 产生完全相同的随机序列,因实现对 PyLong 参数调用绝对值而丢弃符号位(来源:twitter.com/karpathy/status/1998236299862659485;来源:github.com/python/cpython/blob/main/Modules/_randommodule.c#L321)。Python 文档说明如果 a 是 int 则直接使用,核心生成器为 MT19937,但仅保证相同种子生成相同序列,并未承诺不同种子一定产生不同序列(来源:docs.python.org/3/library/random.html)。Karpathy 指出其在 nanochat 中用正负号区分训练/测试种子,结果导致 train=test 的数据泄漏,带来严重的可复现性与过拟合风险(来源:twitter.com/karpathy/status/1998236299862659485)。对使用 Python 进行策略仿真、Monte Carlo 风险评估或机器学习评测的加密量化团队,应立即排查任何依赖正负号区分种子或默认 seed(n) != seed(-n) 的流程,以避免回测偏差与绩效失真(来源:twitter.com/karpathy/status/1998236299862659485)。建议措施包括避免以符号位区分种子、使用字符串或字节种子(在 version 2 下通过 SHA-512 哈希)、或按 Karpathy 提示显式编码符号位为 2*abs(n)+int(n<0)(来源:docs.python.org/3/library/random.html;来源:twitter.com/karpathy/status/1998236299862659485)。 |
|
2025-11-17 18:56 |
加密交易纪律:Karpathy倡导原则胜于“银河脑”辩解,助力高波动市场的两大可执行策略
据@karpathy称,交易者应以规则化原则为先,避免事后“银河脑”式的自我辩解,并给出两条可执行策略:坚持原则,以及在财务与社交层面持有“正确的包袱”;来源:@karpathy 在 X,2025年11月17日;x.com/VitalikButerin/status/1986906940472238108。 据@karpathy称,采用简单的约束型规则优于灵活的效用计算,有助于在波动期坚持入场标准、仓位上限和明确的禁交易条件;来源:@karpathy 在 X,2025年11月17日。 据@karpathy称,将持仓与长期信念和社交资本对齐,可减少在压力下追逐陌生叙事的冲动,提升加密市场中的执行一致性;来源:@karpathy 在 X,2025年11月17日。 |
|
2025-10-20 18:58 |
Karpathy 解析 LLM 文本扩散(2025):双向注意力相较自回归显著提高训练成本
据 @karpathy 表示,文本扩散可以用带双向注意力的普通 Transformer 实现,通过按噪声日程反复重掩码并重新采样所有 token。来源:@karpathy。 他称,扩散是图像与视频生成的主流范式,而文本以自回归为主,音频两种方式并存。来源:@karpathy。 他补充,去除繁复形式化后可得到简单基线算法,离散扩散在连续情形上更接近流匹配。来源:@karpathy。 他解释,自回归是仅向后注意并追加 token,而扩散是在双向注意下刷新整块 token 画布。来源:@karpathy。 他指出,双向注意力能带来更强的语言模型,但因无法在序列维并行,使训练成本更高。来源:@karpathy。 他还提出,LLM 堆栈中可能进一步在两种范式之间进行插值或泛化。来源:@karpathy。 对交易者而言,关键在于双向文本扩散相对自回归的训练成本权衡,这直接影响对训练效率的评估。来源:@karpathy。 |
|
2025-10-13 15:16 |
Karpathy发布nanochat:用8x H100约4小时、约100美元训练ChatGPT式LLM,为交易者提供清晰GPU成本基准
据@karpathy表示,nanochat是一个从零构建的极简全栈管线,可通过一条脚本在云端GPU上训练并部署简单的ChatGPT式LLM,并在约4小时内通过网页端与模型对话,实现端到端训练与推理流程。来源:@karpathy。 他称该代码库约8,000行,涵盖Rust实现的分词器训练、在FineWeb上的预训练及CORE评估、基于SmolTalk与多选数据的中期训练与工具使用、SFT、基于GRPO在GSM8K上的可选强化学习,以及带KV缓存的推理引擎、Python工具、CLI与类ChatGPT网页端,并生成自动化报告卡。来源:@karpathy。 披露的成本与时长基准为:8卡H100约4小时成本约100美元、约41.6小时成本约1000美元;一个24小时、depth-30的示例可在MMLU取得40分段、ARC-Easy 70分段、GSM8K 20分段。来源:@karpathy。 据此推算,隐含的算力价格约为每H100小时约3.1美元(约100美元对应32个H100小时),较长训练下约为每H100小时约3.0美元(约1000美元对应332.8个H100小时),为交易者提供AI训练支出建模所需的GPU小时成本基准。来源:@karpathy。 他还表示约12小时即可在CORE指标上超过GPT-2,且随训练规模提升能力增强,将nanochat定位为透明的强基线方案、LLM101n的压轴项目并具备研究基座潜力。来源:@karpathy。 对于关注AI基础设施的加密市场参与者,这些成本与性能披露为评估面向开源LLM训练的中心化与去中心化GPU算力需求提供锚点。来源:@karpathy。 |
|
2025-09-25 14:29 |
Karpathy:AI 不会取代放射科医生 - 4 大落地现实、Jevons 悖论与对 AI 加密叙事的启示
据 @karpathy 表示,此前关于计算机视觉将迅速取代放射科医生的预测并未发生,该行业仍在增长而非萎缩。来源:@karpathy 于 X,2025-09-25。 据 @karpathy 称,原因包括基准测试过于狭窄且难以覆盖真实复杂场景、放射科工作远不止图像识别、以及监管、保险与法律责任、扩散与机构惯性等部署现实。来源:@karpathy 于 X,2025-09-25。 据 @karpathy 指出,Jevons 悖论适用:当 AI 工具加速放射科医生时,影像解读总需求可能上升而非下降。来源:@karpathy 于 X,2025-09-25。 据 @karpathy 表示,AI 更可能先作为工具被采用,使工作重心转向监控与监督;由短、机械、独立、封闭且容错的任务构成的岗位更可能更早发生改变。来源:@karpathy 于 X,2025-09-25。 对交易而言,这一框架强调 AI 在高风险、强监管领域的渐进式落地与工作量扩张,对关注算力利用率的 AI 主题资产与加密叙事具有参考价值。来源:@karpathy 于 X,2025-09-25。 完整文章链接由 @karpathy 分享于 Works in Progress。来源:@karpathy 于 X,2025-09-25。 |
|
2025-08-28 18:07 |
Karpathy提出LLM优先接口:5大加密基础设施标的值得关注(RNDR、FIL、AR、GRT、FET)
根据@karpathy,需将人类知识、传感器与执行器从“人类优先、人类可读”转向“LLM优先、LLM可读”,例如每本教材的PDF/EPUB都可映射为完美的机器可读表示,服务于AI智能体。来源:x.com/karpathy/status/1961128638725923119 对交易者而言,这一方向意味着对去中心化、可扩展的机器可读语料存储需求上升,与Filecoin的内容寻址存储与检索模型及Arweave的永久存储特性相契合。来源:x.com/karpathy/status/1961128638725923119;docs.filecoin.io;docs.arweave.org LLM优先流程还需要索引与语义查询层,对应The Graph的子图索引架构以使结构化数据可被应用高效查询。来源:x.com/karpathy/status/1961128638725923119;thegraph.com/docs LLM与智能体工作负载的训练与服务依赖分布式GPU算力,对应Render Network的去中心化GPU市场。来源:x.com/karpathy/status/1961128638725923119;docs.rendernetwork.com 智能体与传感器/执行器的交互需要链上智能体框架与小额支付能力,对应Fetch.ai提供的自治智能体工具链。来源:x.com/karpathy/status/1961128638725923119;docs.fetch.ai |
|
2025-06-19 02:05 |
Andrej Karpathy LLM与Software 2.0研究对加密货币交易和区块链创新的影响分析
根据Andrej Karpathy(@karpathy)的推文及其演讲资料,最新的大型语言模型(LLM)和Software 2.0理念正在加速技术在加密货币和区块链领域的扩散与应用(来源:Karpathy,Twitter,2025年6月19日)。这为加密货币交易者带来AI驱动协议、智能合约自动化和DeFi交易策略等新机遇。Karpathy的相关内容为交易者提供了利用AI技术提升自动化交易、风险管理和发现新型区块链项目的具体思路。 |
|
2025-05-01 15:16 |
Andrej Karpathy分享:Vibe Coding黑客松如何加速Web3应用开发
根据Andrej Karpathy的推文,参加vibe coding黑客松让他能够快速开发出集成认证、支付和部署功能的Web应用,展示了现代开发框架如何帮助非Web开发者实现全栈构建(来源:@karpathy,2025年5月1日Twitter)。这为关注无代码、低代码和Web3基础设施的加密项目及相关代币提供了交易优势,因为更快的开发周期可推动项目快速上线和生态扩张。 |