据推特用户@godofprompt报道，近期研究显示，AI基准测试结果存在误导性，因为测试题目已被纳入模型训练数据。Scale AI于2024年5月发布证据，指出许多AI模型在基准测试中得分超过95%，主要由于数据污染问题。这一未解决的污染问题引发了业界对模型真实能力的担忧，凸显了优化AI评估方法的必要性。

据Twitter用户God of Prompt指出，Scale AI于2024年5月发布的研究显示，AI模型在基准测试中获得95%以上高分，主要因为测试题目早已包含在训练数据中。这种数据污染现象导致基准测试分数失去参考价值，真实智能水平难以评估。据God of Prompt报道，行业亟需改进AI模型评估标准，以提升可信度。

根据Andrej Karpathy（@karpathy）的观点，AI社区正在积极讨论如何将“slop”（即大语言模型输出中不准确或低质量内容的感知）进行量化和可测量的定义。Karpathy指出，尽管专家可凭直觉估算“slop指数”，但目前尚无统一标准。他提到可以通过LLM小型序列和token预算等方法进行探索。这一趋势为AI企业开发“slop”量化工具带来巨大商机，有助于提升模型评估体系、优化内容过滤，并加速企业级AI应用落地，确保输出质量和可靠性（来源：@karpathy，Twitter，2025年11月22日）。

根据Chris Olah（@ch402）的观点，在人工智能领域进行计算建模时，必须严格评估模拟模型是否真正复现了原始系统的行为和结果（来源：https://twitter.com/ch402/status/1953678098437681501）。这一问题对AI开发者和企业尤为重要，尤其是在部署大语言模型和神经网络时，模型与真实系统之间的差异可能导致性能下降或不可预期的后果。模型拟合度的评估直接关系到AI安全、可解释性以及关键业务场景的应用，是AI解决方案提供商的新兴商业机会。