Add simulator fidelity review of Frontier baseline
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
134
docs/simulator-fidelity-frontier-20260711.md
Normal file
134
docs/simulator-fidelity-frontier-20260711.md
Normal file
@@ -0,0 +1,134 @@
|
||||
# Simulator-based tuning 保真度实验总结（Frontier / H20）— 供 review
|
||||
|
||||
日期：2026-07-11。目的：判断现有实验数据是否**严格**支撑"simulator-based
|
||||
tuning 会导致错误的 rank 排序和最终性能 gap"这一论文主张。全部原始材料在
|
||||
`~/phd/replayserve`（见文末指针）；本文只做总结，不新增任何数字。
|
||||
|
||||
## 一句话结论
|
||||
|
||||
在给足模拟器一切有利条件（同模型同硬件的 H20 算子 profile、逐 token 精确的
|
||||
真实 workload、在独立数据上冻结的逐 TP 吞吐校准）之后，Frontier 在预注册判定
|
||||
规则下仍未通过：在真实调优器实测过的 12-cell TP×MNS 面上，模拟器选出的配置
|
||||
比真实最优差 **30.46%**（top-1 real-evaluated regret），关键交互关系只复现
|
||||
3/6。**若按模拟器结果部署，你会选 TP1/MNS64（真实 2.283 req/s/GPU），放弃
|
||||
TP2/MNS32（真实 3.283）——这就是"最终 gap"的操作性含义。**
|
||||
|
||||
## 实验设置（三个不可辩驳性设计）
|
||||
|
||||
- **Ground truth 是真实调优研究本身**：C1 交互研究（dash1 恢复的 store，
|
||||
vLLM 0.20.0，H20，`chat_w20260311_1000` 窗口，scale 0.1），12 个
|
||||
TP{1,2,4}×MNS{8,16,32,64} cell 的 SLO-feasible peak（pass≥0.95，阶梯
|
||||
TTFT 2/4/6s，TPOT 50ms）。每个数字从原始 state.json/engine.log 独立复算。
|
||||
- **EXACT workload**：materialized JSONL（32,606 行，含真实 prompt 文本）
|
||||
逐 token 重建——tokenize 后逐行断言等于 `input_length`（17,710/17,710 全
|
||||
过），chat 模板开销恒为 +8 token 并分解到具体 token ID，block-16 前缀 hash
|
||||
按 vLLM 0.20.0 的 `hash_block_tokens` 源码（vendored、逐字节比对）计算。
|
||||
每个 cell 用它自己实测过的锚点（92 个锚点，选中请求数 92/92 与真实记录
|
||||
相等），不插值、不补网格。
|
||||
- **预注册**：判定规则在任何模拟跑之前冻结于
|
||||
`replayserve/docs/simfid_s2r_protocol.md` §6——(1) 最坏 top-1 regret ≤5%；
|
||||
(2) TP4/MNS16 陷阱 6 条关系全复现；(3) 92 次留一锚点复检全过。四种读法中
|
||||
只有"冻结校准 + 吞吐代理"承载结论，其余为诊断。校准系数
|
||||
a_tp = {TP1: 0.7235, TP2: 0.4681, TP4: 0.3521} 来自独立的 3 配置切片
|
||||
（S2-E），S2-R 数据上不重拟合。
|
||||
|
||||
执行：184 次 Frontier CPU run（92 锚点 × 未校准/校准），184/184 通过、
|
||||
0 失败，sanity 无红旗。
|
||||
|
||||
## 核心证据：12-cell 分数表（req/s/GPU）
|
||||
|
||||
| Cell | 真实 SLO peak | 校准后 sim 吞吐 | 校准后 sim SLO |
|
||||
|---|---:|---:|---:|
|
||||
| tp1_mns8 | 2.100 | 2.173 | 1.717 |
|
||||
| tp1_mns16 | 2.350 | 3.242 | 2.383 |
|
||||
| tp1_mns32 | 2.283 | 4.297 | 2.383 |
|
||||
| tp1_mns64 | 2.283 | **4.357** ← sim 判为全局最优 | 2.383 |
|
||||
| tp2_mns8 | 2.275 | 2.039 | 1.742 |
|
||||
| tp2_mns16 | 2.275 | 2.244 | 2.300 |
|
||||
| tp2_mns32 | **3.283** ← 真实全局最优 | 3.650 | 3.750 |
|
||||
| tp2_mns64 | 3.258 | 3.650 | 3.750 |
|
||||
| tp4_mns8 | 1.283 | 1.545 | 1.321 |
|
||||
| tp4_mns16 | 2.442 | 2.437 | 2.500 |
|
||||
| tp4_mns32 | 2.442 | 2.462 | 2.500 |
|
||||
| tp4_mns64 | 2.442 | 2.462 | 2.500 |
|
||||
|
||||
**失败机理**（不是尺度错，是形状错）：真实 TP1 在 MNS16 后随 SLO 边界饱和
|
||||
（2.35→2.28），sim 认为吞吐随 MNS 单调上升（3.24→4.30→4.36）。逐 TP 校准
|
||||
已消掉尺度误差，负载响应形状仍然错——来源是排队/尾延迟/调度开销，不是算子
|
||||
时间表。佐证：sim TTFT p95 仅为真实的 0.30–0.38，TPOT p95 0.63–0.79
|
||||
（S2-E 持出集）。
|
||||
|
||||
排序质量：校准吞吐读法 τ-b = 0.448（未校准 0.236），成对方向正确率
|
||||
68–73%。远低于可用水平。
|
||||
|
||||
## 什么已被严格证明（本文主张的边界内）
|
||||
|
||||
1. **在被测面上，simulator-only 的吞吐排序会给出 30.46% 的真实 gap**——
|
||||
端到端、预注册、workload 逐 token 精确、同硬件 profile、校准冻结。链条
|
||||
里没有"我们没给模拟器机会"的空隙。
|
||||
2. **未做延迟校准的模拟器做 SLO 判断不可信**：S2-E 直接反例（sim TPOT p95
|
||||
46.43ms vs 真实 71.38ms，横跨 50ms SLO → sim 判可行、真实不可行）；
|
||||
S2-R-b 校准 SLO 读法在 92 锚点上有 21 假可行 / 7 假不可行。
|
||||
3. **覆盖缺口独立于精度成立**：MoE EP>1 无 profile 支持、GMU 惰性、
|
||||
CUDA-graph 未接、scheduler-delay 不可表达——这些 knob 模拟器根本无法
|
||||
评估（replayserve/docs/simfid_inventory.md 旋钮矩阵）。
|
||||
|
||||
## 什么还没被严格证明（review 时请重点判断这三条）
|
||||
|
||||
1. **跨引擎版本 profile**（最大攻击面）：H20 profile 来自 vLLM 0.11.1 时代
|
||||
的对齐工作，ground truth 是 0.20.0。防守方可以说"按 0.20.0 重新 profile
|
||||
就好了"。我们的回应有二：(a) 冻结校准已吸收逐 TP 尺度误差，剩余的是形状
|
||||
误差，其来源（排队/调度/CUDA-graph）不在算子表里；(b) 反身性论证——若
|
||||
每个引擎版本 × 硬件都要重 profile + 重校准，profiling 本身占用同款 GPU
|
||||
跑真实负载，模拟器的成本优势即被churn吃掉。但 (a) 目前是机理论证 +
|
||||
间接证据，不是实验闭环。
|
||||
2. **SLO 门控读法的意外成功**：校准 + SLO 门控（预注册为仅诊断）达到
|
||||
regret 0–0.76%、τ-b 0.967、陷阱 6/6。审稿人可主张"你选错了读法"。
|
||||
我们的回应：该读法建立在错误的逐锚点判定上（21 假可行/7 假不可行），
|
||||
正确性来自误差在逐 cell 峰值处的部分抵消，无法保证泛化；且它是事后
|
||||
观察，预注册规则不允许换读法。**但要诚实：这条把可主张的结论从
|
||||
"模拟器必然错排"弱化为"模拟器排序不可信、必须真实验证"。**
|
||||
3. **单面、单模型、单硬件、单 workload 窗口**：无跨 workload 复制。且论文
|
||||
审稿人点名的多半是 Vidur，我们测的是 Frontier（同类：算子 profile +
|
||||
事件驱动调度模拟；需论证类代表性或列为 limitation）。
|
||||
|
||||
## 建议的论文主张口径（可辩护版本）
|
||||
|
||||
> 不主张"simulator 总是错排"，主张：在我们的真实调优器必须绕开局部陷阱的
|
||||
> 那个交互面上，一个被给足条件的模拟器（同硬件 profile + 吞吐校准 + 精确
|
||||
> workload）在其预注册的最优读法下产生 30% 的部署 gap，且其 SLO 判定在
|
||||
> 无延迟校准时存在跨边界的假可行；因此 simulator-only tuning 的结果不经
|
||||
> 真实评估不可信——而真实评估的成本控制正是 AITuner 的贡献。混合设计
|
||||
> （模拟器粗筛 + 真实终判）是被我们的诊断数据支持的未来方向，且"何时必须
|
||||
> 真实评估"仍由相似度度量回答。
|
||||
|
||||
## 可选补强（按闭环价值排序）
|
||||
|
||||
1. **负载响应形状分析**（零新模拟，复用 184 run + 真实 probe history）：
|
||||
逐 cell 对比归一化吞吐/延迟-锚点曲线。若形状系统性不匹配，则证明任意
|
||||
逐配置尺度校准（= 任意精度的算子 profile）原理上无法恢复排序，直接
|
||||
封死上面第 1 条攻击面的一半。
|
||||
2. **vLLM 0.20.0 重 profile**（需 GPU 时间 + 审批）：实验性封死跨版本
|
||||
质疑，但注意这同时演示了 churn 成本，输赢都有叙事价值。
|
||||
3. **第二个 workload 窗口**（如 coder 或 2200 slot）：复制性。
|
||||
|
||||
## 数据 sanity block
|
||||
|
||||
- 12-cell 真实向量：n=12，min/max=1.283/3.283，8 个 distinct 值。
|
||||
- 校准 sim 吞吐向量：n=12，min/max=1.545/4.357，10 个 distinct。
|
||||
- 执行：n=184，失败 0，请求数 min/max=66/600（34 distinct）。
|
||||
- regret=30.456853% 由 1−2.2833/3.2833 独立复算精确一致；a_tp 三值与
|
||||
S2-E 冻结清单一致；所有比率在 [0,1]；无逐配置全同向量。
|
||||
- 已知异常（保留未修饰）：真实 TP2/MNS32 与 MNS64 的 pass-rate 非单调，
|
||||
但 0.95 可行性截断有序。
|
||||
|
||||
## 材料指针（全部在 ~/phd/replayserve）
|
||||
|
||||
- 最终综合报告：`docs/simfid_s3_fidelity_report.md`
|
||||
- 12-cell 结果与全部指标：`docs/simfid_s2rb_results.md`、
|
||||
`runs/simfid_s2rb/results/metrics.json`
|
||||
- 预注册协议 + 修正案：`docs/simfid_s2r_protocol.md`
|
||||
- 吞吐校准与延迟反例：`docs/simfid_s2e_report.md`
|
||||
- 数据清单与旋钮覆盖矩阵：`docs/simfid_inventory.md`
|
||||
- 全程决策/验收台账：`docs/simfid_campaign_state.md`
|
||||
- 恢复的 EXACT workload：`~/phd/aituner/trace_windows/traces/chat_w20260311_1000.jsonl`
|
||||
Reference in New Issue
Block a user