快讯列表

关于 安德烈·卡帕西 的快讯列表

时间 详情
2025-10-21
15:59
Andrej Karpathy发布nanochat d32:$800合成数据定制LLM身份与脚本开源,AI智能体赛道交易关键信号

据@karpathy称,nanochat现已具备明确身份并可说明自身能力,包括其为由他构建的nanochat d32、成本约$800且在非英语方面较弱,这些均通过合成数据定制实现,来源: x.com/karpathy/status/1980508380860150038。 他发布了一个示例脚本,展示如何生成多样化合成对话并在中期训练或SFT阶段混入,强调保持数据熵以避免重复性,来源: x.com/karpathy/status/1980508380860150038。 他指出基础LLM本无固有个性或自我认知,需通过精心策划的合成数据显式“加装”,来源: x.com/karpathy/status/1980508380860150038。 对交易者而言,$800的定制成本基准与开源流程,为评估开源AI智能体开发与AI相关代币和AI概念股的采用路径提供具体参照,来源: twitter.com/karpathy/status/1980665134415802554。

来源
2025-10-20
22:13
安德烈·卡帕西:DeepSeek-OCR展示像素输入优于文本分词的4大理由—更高效率、更短上下文窗口、双向注意力、取消分词器

据安德烈·卡帕西介绍,DeepSeek-OCR 论文不仅展现出强劲的 OCR 能力,更重要的是凸显将像素而非文本分词作为大模型输入在效率与信息保真上的优势,来源:Andrej Karpathy 于 X,2025年10月20日。 他表示,将纯文本渲染为图片后再输入模型可实现更高的信息压缩,从而缩短上下文窗口并提升效率,来源:Andrej Karpathy 于 X,2025年10月20日。 他补充称,像素输入能保留加粗、颜色等文本格式并同时容纳任意图像,构成更通用的信息流,来源:Andrej Karpathy 于 X,2025年10月20日。 他认为,与自回归注意力相比,输入侧采用图像可默认启用双向注意力,从而更有利于处理能力,来源:Andrej Karpathy 于 X,2025年10月20日。 他主张在输入端删除分词器,原因在于 Unicode 与字节编码的复杂性与安全或越狱风险(如续字节)以及表情符号的语义错配等问题,来源:Andrej Karpathy 于 X,2025年10月20日。 他将 OCR 视为众多“视觉转文本”任务之一,并指出许多“文本转文本”任务可重构为“视觉转文本”,但反向并不普遍成立,来源:Andrej Karpathy 于 X,2025年10月20日。 他提出实用路径为用户消息使用图像而助手回复保持文本,并指出像素级输出并不直观,同时提到想开发仅图像输入版的 nanochat 并引用 vLLM 项目,来源:Andrej Karpathy 于 X,2025年10月20日。

来源
2025-10-09
00:10
安德烈·卡帕西批评RLHF:LLM畏惧异常,呼吁在RL训练中重设奖励机制

根据安德烈·卡帕西在2025年10月9日于Twitter发布的信息,他指出当前强化学习实践让LLM对异常产生过度恐惧,并强调异常是健康开发流程的正常组成部分。卡帕西号召签署其“LLM福利请愿”,以在出现异常时给予更合理的奖励设计。该帖未提及任何加密资产、代币或市场数据,来源未提供直接的市场更新。

来源
2025-09-05
17:38
安德烈·卡帕西力赞 OpenAI GPT-5 Pro 代码生成表现:AI 与加密市场的交易信号

根据 @karpathy,OpenAI 的 GPT-5 Pro 在他用“CC”断断续续尝试约一小时未果后,仅用约10分钟就产出可直接运行的代码,显示其在复杂问题上的强劲定性表现。来源:@karpathy(X,2025年9月5日)。 他补充称让“CC”阅读了 GPT-5 Pro 的结果后,对方写了两段文字表示赞赏,进一步强化了其对 GPT-5 Pro 代码生成质量的正面评价。来源:@karpathy(X,2025年9月5日)。 该帖提供了对 GPT-5 Pro 编码能力的开发者级背书,但未包含任何市场反应、价格表现或产品发布信息,因此交易者应将其视作情绪信号而非量化催化。来源:@karpathy(X,2025年9月5日)。

来源
2025-05-11
00:55
系统提示学习:大型语言模型训练新范式及其对加密市场的影响

根据Andrej Karpathy在推特上的观点,系统提示学习作为大型语言模型(LLM)训练中的新范式,区别于传统的预训练和微调方法(来源:@karpathy,2025年5月11日)。预训练用于知识积累,微调塑造习惯性行为,而系统提示学习则无需更改参数即可实现行为动态调整。对于加密货币交易者来说,这一突破有望加速AI交易机器人的适应能力,提高交易执行效率,进而对市场短期波动产生影响(来源:@karpathy,2025年5月11日)。

来源