不要只和自己做 benchmark

原始输入

学习：https://gernot-heiser.org/benchmarking-crimes.html#self

直接来源：Gernot Heiser, Systems Benchmarking Crimes — Only evaluate against yourself
访问日期：2026-07-18
学习范围：以 #self 锚点对应的小节为主，并读取相邻的 proper baseline 段落以确定上下文。

“Only evaluate against yourself” 是 improper comparison of benchmark results 的一种。只证明当前系统比自己的旧版本更快，说明内部取得了进步，但没有给读者一个足以判断该进步是否重要、是否有竞争力、是否接近合理上界的外部参照。

正确 baseline 不是固定答案，而是由 claim 决定。它可能是公认标准或当前 state of the art，也可能是理论最优值、硬件极限，或没有受到新机制扰动的原始系统。关键不是“多放一个 competitor”，而是选择读者真正需要的参照来判断 claim。

更隐蔽的问题是“模型和自己比较”：先用若干未充分验证的简化假设建立模型，再为该模型设计方案，最后在包含完全相同假设的模拟系统中评价方案。这个闭环可以产生漂亮结果，却没有检验假设是否对应现实，因此无法支持现实有效性或预测能力。

这条原则的深层含义是：评测必须给方法留下被独立证伪的机会。只在自己定义的问题、假设和评价器中胜出，可能证明内部一致性，但不能自动证明外部有效性。

Heiser 将 only evaluate against yourself 归为 improper comparison 的一种，并认为显著性需要与 accepted standard 比较。
相邻的 proper baseline 小节列出多种可能参照：SOTA、理论最优或硬件极限，以及未扰动系统。
原文区分了明显的“只和自己旧版本比”与更隐蔽的“模型在包含同样假设的模拟器中验证自己”；后者缺少基本现实校验。
本次只精读 #self 及其 baseline 上下文，没有把整篇 benchmarking crimes 列表都视为本次确认内容。

自我比较并非没有价值。它适合 regression testing、ablation、定位单次改动收益和追踪开发进展；问题是让它承担超出其证据范围的 headline claim。
“独立基线”不总是另一个可运行系统。对于某些 claim，理论上界、硬件极限或未扰动系统可能是更正确的参照。
仿真或简化模型在真实系统难以构建、机制需要隔离或上界需要估算时仍然必要；但必须说明假设，并用独立数据、sensitivity 或真实系统进行适当校验。
原文使用了强烈的评审措辞。本次沉淀其研究有效性原则，不自动继承其修辞强度。
用户仅提供链接，因此新增画像条目标记为 暂定，等待后续直接反馈或更多一致证据。

审计 evaluation 时先写清 headline claim，再逐项问：当前 baseline 能否判断该 claim，还是只能证明系统比自己以前更好？
对每个对比标注 baseline 角色：accepted standard、SOTA、unperturbed system、theoretical optimum、hardware limit 或 internal ablation。
内部 baseline 可以保留，但不能替代与当前外部标准的公平比较；若外部比较不可行，需要明确限制并收窄 claim。
对模型或模拟器检查“假设闭环”：问题定义、方法和 evaluator 是否共享了未经现实验证的同一假设？
若存在闭环，要求至少一种独立校验：真实系统测量、未参与建模的数据、不同模型的交叉验证，或关键假设的 sensitivity analysis。
review 时把“只有自我比较且支撑 headline claim”标为 NEEDS EVIDENCE；若导致核心结论无法判断，则升级为 Blocking。