根据Andrej Karpathy在推特上的分析，离散扩散模型为文本生成提供了区别于传统自回归方法的全新解决思路（来源：@karpathy, 2025年10月20日）。扩散模型因并行、迭代去噪机制在图像和视频生成领域广泛应用，而文本生成领域则主要依赖自回归方式，即顺序生成。Karpathy指出，去除复杂的数学形式后，离散扩散模型能够以标准Transformer和双向注意力机制实现，支持基于噪声调度的迭代重采样和重掩码。该方法有助于构建更强大的语言模型，尽管会增加训练成本，却能带来更高的灵活性和性能提升。这一趋势为AI行业带来新的商业机会，有望推动大语言模型架构从传统自回归向更高效、强大的扩散模型转型（来源：@karpathy, 2025年10月20日）。