据@karpathy介绍，构建像ChatGPT这样的大语言模型（LLM）需经历数据收集、模型架构设计、大规模训练与部署等关键步骤（来源：@karpathy，X.com）。卡帕西强调，首先要用高质量海量文本进行预训练，并采用Transformer等主流架构，在强大GPU集群上进行分布式训练以获得最佳效果。实际应用中，通过针对特定领域数据进行微调，可显著提升在客服自动化、代码生成、内容创作等业务场景的表现。这一系统方法为企业开发专属AI模型、实现差异化竞争创造了巨大机遇（来源：@karpathy，2024）。

据@ai_darpa报道，过去十年生成式AI经历了深刻变革，包括大规模语言模型、图像生成扩散模型及AI基础设施的提升。Transformer架构成为行业里程碑，生成式AI在内容创作、企业流程自动化等领域广泛应用，推动了AI驱动设计、自动化媒体生产和个性化营销等新商业模式的出现。随着生成式AI技术演进，企业正借助其提升生产力、推动创新并获得竞争优势（来源：https://twitter.com/ai_darpa/status/1992669186758410624）。