大模型评测：别只看榜单

榜单排名很容易引用，也很容易误导。它衡量的是模型在一组固定任务上的平均表现，而你的任务很可能并不在其中。

榜单的三个盲区

题目可能已被训练数据污染；评分方式偏爱某种回答风格；平均分掩盖了你真正在意的那一类任务上的差距。

自己做一次盲测

挑出二十个你日常真实会问的问题，用不同模型各答一遍，隐藏模型名，请自己或同事打分。成本不高，信息量却远超一张排名表。

看什么

准确度之外，还要看稳定性（同一问题多次回答是否一致）、拒答是否合理、遇到不确定时是否坦率承认。

小结

选模型就像选工具：先问“我要做什么”，再问“谁做得好”。