diff --git a/.research/experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md b/.research/experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md index c3ac4f1..1f3a23b 100644 --- a/.research/experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md +++ b/.research/experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md @@ -1,6 +1,6 @@ # 实验:Qwen30 Fixed-PD TTFT admission diagnosis -> **状态:** 已批准,运行中 +> **状态:** 已完成 > > 用户要求分析 Frontier 在 Qwen30 Fixed-PD 高压 case 上 56--58% TTFT > selection regret 的根因,并给出简洁结论。 @@ -30,7 +30,7 @@ ## 复现信息 -- **Code:** AITuner `feature/sim`;Frontier frozen campaign commit 见原 provenance。 +- **Code:** AITuner `2970f74d`;Frontier `deadc4a321f0baaa534c6ebd17f974123733cdc2`。 - **Environment:** dash0;Frontier replay CPU-only,GPU visibility disabled。 - **输入:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pressure-surface-20260719-r1`。 - **产物路径:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pd-ttft-diagnosis-20260719-r1`。 @@ -38,8 +38,9 @@ ## 结果 -- **观察事实:** 待完成。 -- **异常:** 待完成。 -- **含义:** 待完成。 -- **Claim update:** unchanged -- **下一步:** 复跑三项 Frontier state ledger,并核对 request metrics byte-identical。 +- **观察事实:** Frontier 把 TP2/MNS64 与 TP4/MNS64 的 TPOT 分别高估 8.09× 与 5.61×。按 frozen request execution time 计算,TP2 需要 58.0 个并发槽,未超过 MNS64;TP4 需要 79.8 个,超过 MNS64。真机 TP4 的 E2E-based required-slot upper bound 只有 14.7,MNS16/32/64 三组 periodic logs 的 Waiting max 均为 0。 +- **关键反事实:** observed Frontier 中 `TP4/MNS32 - TP2/MNS64` TTFT 为 `+27087.0 ms`;减去每请求的 first-scheduling delay 后变为 `-55.4 ms`,与真机 `-71.4 ms` 同方向。TP4/MNS32 的 27.3 秒 simulated TTFT 中,27.18 秒来自首次调度前等待,而不是 prefill execution。 +- **异常:** 计划中的 state-ledger replay 会重新训练 frozen no-cache predictors;8 分钟后仍停留在 predictor training。由于原 request metrics 已精确提供 TTFT=first-scheduling wait+prefill execution,且 MNS sweep 已构成 controlled intervention,继续 ledger 不改变判定,故主动停止;partial output 保留在产物根目录但不进入结果。 +- **含义:** H2 supported;H1/H3 对“TP topology 排序从哪里被反转”均 rejected。Frontier 的无排队 prefill 仍预测 TP4 比 TP2 快,错误由 decode service-time 绝对高估使 TP4 独自跨过 admission cap,再经 queue feedback 放大产生。该反事实恢复的是 TP4 topology 方向,不声称恢复 exact MNS winner;现有真机日志也不能把最初的 service-time overprediction 继续归因到某个单独 operator。 +- **Claim update:** supported +- **下一步:** 若研究问题升级为“为什么 TPOT 绝对值高估 4--8×”,需增加真机 stage timing/overlap 证据;它不是解释本次 TTFT selection reversal 所必需。 diff --git a/.research/ongoing.md b/.research/ongoing.md index 7475282..c97e5ce 100644 --- a/.research/ongoing.md +++ b/.research/ongoing.md @@ -2,7 +2,7 @@ > 2026-07-17|写给未参与项目的读者,可直接作为 presentation 讲稿。历史过程与复现信息见 `../runs/*/` 各 experiment card、`../docs/` 各 campaign 文档。 > -> **2026-07-19 update:** Qwen235 四类 workload matrix 已完成;Fixed-PD 出现 33.0--37.2% TPOT 与 30.7--34.6% E2E selection regret。当前发现 Q235 simulator 输入的 collective CSV 缺 TP8,并且旧 TP4 profile 未绑定真实 `allreduce_rms` fusion-limit dispatch。active ablation 见 [`experiments/qwen235-tp8-collective-profile-ablation-20260719.md`](experiments/qwen235-tp8-collective-profile-ablation-20260719.md)。 +> **2026-07-19 update:** Qwen235 Fixed-PD 的错误排序在 exact real state composition 下已经翻正,主因是 simulator closed-loop batch state,而不是 collective。Qwen30 Fixed-PD 的 56--58% TTFT regret 也已定位:Frontier 将 decode service time 高估 4--8×,使 TP4 的 modeled concurrency 越过 MNS admission cap并产生虚假排队;去掉该等待后 Frontier 与真机都判定 TP4 topology 更快。详见 [`experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md`](experiments/qwen30-fixed-pd-ttft-admission-diagnosis-20260719.md)。 ## 一眼看懂 diff --git a/runs/frontier-fidelity-envelope-v1/analyze_qwen30_fixed_pd_ttft_admission.py b/runs/frontier-fidelity-envelope-v1/analyze_qwen30_fixed_pd_ttft_admission.py index 43c83a6..555c7b3 100644 --- a/runs/frontier-fidelity-envelope-v1/analyze_qwen30_fixed_pd_ttft_admission.py +++ b/runs/frontier-fidelity-envelope-v1/analyze_qwen30_fixed_pd_ttft_admission.py @@ -160,8 +160,8 @@ def analyze(campaign_root: Path) -> dict[str, Any]: "verdict": ( "Frontier overpredicts decode service time, so TP4's higher global arrival " "rate crosses the MNS admission cap only in simulation. The resulting first-" - "scheduling queue reverses TTFT ranking; without that queue Frontier itself " - "predicts the correct TP4 winner." + "scheduling queue reverses the TP topology ranking; without that queue " + "Frontier itself predicts TP4 faster than TP2, matching real hardware." ), "boundary": ( "This identifies where the selection error is created, but the frozen real "