Conclude Qwen30 admission diagnosis
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# 实验:Qwen30 Fixed-PD TTFT admission diagnosis
|
||||
|
||||
> **状态:** 已批准,运行中
|
||||
> **状态:** 已完成
|
||||
>
|
||||
> 用户要求分析 Frontier 在 Qwen30 Fixed-PD 高压 case 上 56--58% TTFT
|
||||
> selection regret 的根因,并给出简洁结论。
|
||||
@@ -30,7 +30,7 @@
|
||||
|
||||
## 复现信息
|
||||
|
||||
- **Code:** AITuner `feature/sim`;Frontier frozen campaign commit 见原 provenance。
|
||||
- **Code:** AITuner `2970f74d`;Frontier `deadc4a321f0baaa534c6ebd17f974123733cdc2`。
|
||||
- **Environment:** dash0;Frontier replay CPU-only,GPU visibility disabled。
|
||||
- **输入:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pressure-surface-20260719-r1`。
|
||||
- **产物路径:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pd-ttft-diagnosis-20260719-r1`。
|
||||
@@ -38,8 +38,9 @@
|
||||
|
||||
## 结果
|
||||
|
||||
- **观察事实:** 待完成。
|
||||
- **异常:** 待完成。
|
||||
- **含义:** 待完成。
|
||||
- **Claim update:** unchanged
|
||||
- **下一步:** 复跑三项 Frontier state ledger,并核对 request metrics byte-identical。
|
||||
- **观察事实:** Frontier 把 TP2/MNS64 与 TP4/MNS64 的 TPOT 分别高估 8.09× 与 5.61×。按 frozen request execution time 计算,TP2 需要 58.0 个并发槽,未超过 MNS64;TP4 需要 79.8 个,超过 MNS64。真机 TP4 的 E2E-based required-slot upper bound 只有 14.7,MNS16/32/64 三组 periodic logs 的 Waiting max 均为 0。
|
||||
- **关键反事实:** observed Frontier 中 `TP4/MNS32 - TP2/MNS64` TTFT 为 `+27087.0 ms`;减去每请求的 first-scheduling delay 后变为 `-55.4 ms`,与真机 `-71.4 ms` 同方向。TP4/MNS32 的 27.3 秒 simulated TTFT 中,27.18 秒来自首次调度前等待,而不是 prefill execution。
|
||||
- **异常:** 计划中的 state-ledger replay 会重新训练 frozen no-cache predictors;8 分钟后仍停留在 predictor training。由于原 request metrics 已精确提供 TTFT=first-scheduling wait+prefill execution,且 MNS sweep 已构成 controlled intervention,继续 ledger 不改变判定,故主动停止;partial output 保留在产物根目录但不进入结果。
|
||||
- **含义:** H2 supported;H1/H3 对“TP topology 排序从哪里被反转”均 rejected。Frontier 的无排队 prefill 仍预测 TP4 比 TP2 快,错误由 decode service-time 绝对高估使 TP4 独自跨过 admission cap,再经 queue feedback 放大产生。该反事实恢复的是 TP4 topology 方向,不声称恢复 exact MNS winner;现有真机日志也不能把最初的 service-time overprediction 继续归因到某个单独 operator。
|
||||
- **Claim update:** supported
|
||||
- **下一步:** 若研究问题升级为“为什么 TPOT 绝对值高估 4--8×”,需增加真机 stage timing/overlap 证据;它不是解释本次 TTFT selection reversal 所必需。
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
> 2026-07-17|写给未参与项目的读者,可直接作为 presentation 讲稿。历史过程与复现信息见 `../runs/*/` 各 experiment card、`../docs/` 各 campaign 文档。
|
||||
>
|
||||
> **2026-07-19 update:** Qwen235 四类 workload matrix 已完成;Fixed-PD 出现 33.0--37.2% TPOT 与 30.7--34.6% E2E selection regret。当前发现 Q235 simulator 输入的 collective CSV 缺 TP8,并且旧 TP4 profile 未绑定真实 `allreduce_rms` fusion-limit dispatch。active ablation 见 [`experiments/qwen235-tp8-collective-profile-ablation-20260719.md`](experiments/qwen235-tp8-collective-profile-ablation-20260719.md)。
|
||||
> **2026-07-19 update:** Qwen235 Fixed-PD 的错误排序在 exact real state composition 下已经翻正,主因是 simulator closed-loop batch state,而不是 collective。Qwen30 Fixed-PD 的 56--58% TTFT regret 也已定位:Frontier 将 decode service time 高估 4--8×,使 TP4 的 modeled concurrency 越过 MNS admission cap并产生虚假排队;去掉该等待后 Frontier 与真机都判定 TP4 topology 更快。详见 [`experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md`](experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md)。
|
||||
|
||||
## 一眼看懂
|
||||
|
||||
|
||||
Reference in New Issue
Block a user