根据Ethan Mollick在X平台的发文，作为评审的LLM存在显著位置偏置，当交换答案顺序时判断频繁翻转；他引用Lech Mazur发布的“LLM位置偏置基准”，显示在具决定性的样本对中位数翻转率为45%，GPT-5.4最高达66%（据Lech Mazur推文与基准摘要）。据Mollick所述，呈现方式的微小变化会显著影响结论，当前LLM评审流程若无控制措施难以可靠（据Ethan Mollick）。据Lech Mazur建议，通过多轮评审、随机化顺序与结果聚合可缓解方差，适用于企业模型评测与AI产品A/B测试。业务影响：依赖LLM评审的场景（内容打分、代码审阅、排序评估、RLHF数据筛选）应引入随机对照、少数服从多数与校准审计，以降低偏置风险并提升一致性。