47 lines
4.8 KiB
Markdown
47 lines
4.8 KiB
Markdown
# 实验：Qwen30 Fixed-PD TTFT admission diagnosis
|
||
|
||
> **状态：** 已完成
|
||
>
|
||
> 用户要求分析 Frontier 在 Qwen30 Fixed-PD 高压 case 上 56--58% TTFT
|
||
> selection regret 的根因，并给出简洁结论。
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** Frontier 在 capacity knee 附近的配置排序是否会因 state transition error 失效。
|
||
- **目的：** 区分 TP2/TP4 conditional prefill-time 错误、mixed-step composition 错误与 admission queue feedback。
|
||
- **Competing hypotheses：** H1：Frontier 把 TP4 prefill execution 相对 TP2 算慢；H2：decode service time 的绝对误差使 `arrival_rate × residence_time` 越过 MNS cap，首次调度等待被阈值放大；H3：即使固定 admission state，mixed prefill/decode composition 仍反序。
|
||
- **事前预测：** H1 下去掉 queue 后 TP2 仍有更低 prefill time；H2 下去掉 queue 后 TP4 恢复更快，且只有 simulator 的 required concurrency 超过 MNS；H3 下 state-matched stage contrast 仍支持 TP2。
|
||
- **判定规则：** 只有 state ledger/scorer 等价、queue counterfactual 和真机 Running/Waiting 同时支持时才归因 H2；否则保留 H1/H3 并补最小 telemetry。
|
||
|
||
## Setup
|
||
|
||
- **自变量：** config 为 Frontier winner `TP2/MNS64`、real mean winner `TP4/MNS32` 与 real p90 winner `TP4/MNS64`。
|
||
- **控制变量：** Qwen3-30B-A3B BF16、community vLLM 0.20、H20、Fixed-PD 4096→256、1.125 req/s/GPU、MBT8192、piecewise graph、原 measured profiles/collectives 和原 257-request traces全部冻结。
|
||
- **Workload：** uniform open-loop arrival；global rate 随 TP 为 2.25/4.5 req/s；prefix cache off；每个真机 cell 三次 fresh-server。
|
||
- **Baselines：** 完整 12-cell frozen real/sim surface；真机三轮 pooled metrics。
|
||
- **Metrics：** TTFT=`first scheduling delay + prefill execution`；request execution/residence time；`arrival_rate × service_time` 相对 MNS；Running/Waiting；stage ledger composition。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** 三个 scorer-equivalent Frontier state replays；service/admission decomposition；H1--H3 verdict。
|
||
- **Figure prototype：** `../../runs/frontier-fidelity-envelope-v1/qwen30-fixed-pd-ttft-admission-mock.png`；左图区分 TTFT execution 与 queue，右图显示 required concurrency 是否跨越 MNS。
|
||
- **人工 review：** 已批准（用户要求直接分析清楚该 case）。
|
||
- **Review 意见：** 先复用 existing artifacts 和 CPU replay；只有现有真机 periodic queue proxy 不足时才增加 GPU telemetry。
|
||
|
||
## 复现信息
|
||
|
||
- **Code：** AITuner `2970f74d`；Frontier `deadc4a321f0baaa534c6ebd17f974123733cdc2`。
|
||
- **Environment：** dash0；Frontier replay CPU-only，GPU visibility disabled。
|
||
- **输入：** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pressure-surface-20260719-r1`。
|
||
- **产物路径：** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pd-ttft-diagnosis-20260719-r1`。
|
||
- **已知 deviation：** 原真机日志只有 10 秒 periodic Running/Waiting，没有 per-iteration ledger；它可验证 steady queue 是否积压，但不用于细粒度 stage timing。
|
||
|
||
## 结果
|
||
|
||
- **观察事实：** Frontier 把 TP2/MNS64 与 TP4/MNS64 的 TPOT 分别高估 8.09× 与 5.61×。按 frozen request execution time 计算，TP2 需要 58.0 个并发槽，未超过 MNS64；TP4 需要 79.8 个，超过 MNS64。真机 TP4 的 E2E-based required-slot upper bound 只有 14.7，MNS16/32/64 三组 periodic logs 的 Waiting max 均为 0。
|
||
- **关键反事实：** observed Frontier 中 `TP4/MNS32 - TP2/MNS64` TTFT 为 `+27087.0 ms`；减去每请求的 first-scheduling delay 后变为 `-55.4 ms`，与真机 `-71.4 ms` 同方向。TP4/MNS32 的 27.3 秒 simulated TTFT 中，27.18 秒来自首次调度前等待，而不是 prefill execution。
|
||
- **异常：** 计划中的 state-ledger replay 会重新训练 frozen no-cache predictors；8 分钟后仍停留在 predictor training。由于原 request metrics 已精确提供 TTFT=first-scheduling wait+prefill execution，且 MNS sweep 已构成 controlled intervention，继续 ledger 不改变判定，故主动停止；partial output 保留在产物根目录但不进入结果。
|
||
- **含义：** H2 supported；H1/H3 对“TP topology 排序从哪里被反转”均 rejected。Frontier 的无排队 prefill 仍预测 TP4 比 TP2 快，错误由 decode service-time 绝对高估使 TP4 独自跨过 admission cap，再经 queue feedback 放大产生。该反事实恢复的是 TP4 topology 方向，不声称恢复 exact MNS winner；现有真机日志也不能把最初的 service-time overprediction 继续归因到某个单独 operator。
|
||
- **Claim update：** supported
|
||
- **下一步：** 若研究问题升级为“为什么 TPOT 绝对值高估 4--8×”，需增加真机 stage timing/overlap 证据；它不是解释本次 TTFT selection reversal 所必需。
|