Diagnose Qwen30 Fixed-PD admission state
This commit is contained in:
@@ -0,0 +1,45 @@
|
||||
# 实验:Qwen30 Fixed-PD TTFT admission diagnosis
|
||||
|
||||
> **状态:** 已批准,运行中
|
||||
>
|
||||
> 用户要求分析 Frontier 在 Qwen30 Fixed-PD 高压 case 上 56--58% TTFT
|
||||
> selection regret 的根因,并给出简洁结论。
|
||||
|
||||
## Claim 与决策
|
||||
|
||||
- **Parent claim:** Frontier 在 capacity knee 附近的配置排序是否会因 state transition error 失效。
|
||||
- **目的:** 区分 TP2/TP4 conditional prefill-time 错误、mixed-step composition 错误与 admission queue feedback。
|
||||
- **Competing hypotheses:** H1:Frontier 把 TP4 prefill execution 相对 TP2 算慢;H2:decode service time 的绝对误差使 `arrival_rate × residence_time` 越过 MNS cap,首次调度等待被阈值放大;H3:即使固定 admission state,mixed prefill/decode composition 仍反序。
|
||||
- **事前预测:** H1 下去掉 queue 后 TP2 仍有更低 prefill time;H2 下去掉 queue 后 TP4 恢复更快,且只有 simulator 的 required concurrency 超过 MNS;H3 下 state-matched stage contrast 仍支持 TP2。
|
||||
- **判定规则:** 只有 state ledger/scorer 等价、queue counterfactual 和真机 Running/Waiting 同时支持时才归因 H2;否则保留 H1/H3 并补最小 telemetry。
|
||||
|
||||
## Setup
|
||||
|
||||
- **自变量:** config 为 Frontier winner `TP2/MNS64`、real mean winner `TP4/MNS32` 与 real p90 winner `TP4/MNS64`。
|
||||
- **控制变量:** Qwen3-30B-A3B BF16、community vLLM 0.20、H20、Fixed-PD 4096→256、1.125 req/s/GPU、MBT8192、piecewise graph、原 measured profiles/collectives 和原 257-request traces全部冻结。
|
||||
- **Workload:** uniform open-loop arrival;global rate 随 TP 为 2.25/4.5 req/s;prefix cache off;每个真机 cell 三次 fresh-server。
|
||||
- **Baselines:** 完整 12-cell frozen real/sim surface;真机三轮 pooled metrics。
|
||||
- **Metrics:** TTFT=`first scheduling delay + prefill execution`;request execution/residence time;`arrival_rate × service_time` 相对 MNS;Running/Waiting;stage ledger composition。
|
||||
|
||||
## 预期产物与 review
|
||||
|
||||
- **预期数据:** 三个 scorer-equivalent Frontier state replays;service/admission decomposition;H1--H3 verdict。
|
||||
- **Figure prototype:** `../../runs/frontier-fidelity-envelope-v1/qwen30-fixed-pd-ttft-admission-mock.png`;左图区分 TTFT execution 与 queue,右图显示 required concurrency 是否跨越 MNS。
|
||||
- **人工 review:** 已批准(用户要求直接分析清楚该 case)。
|
||||
- **Review 意见:** 先复用 existing artifacts 和 CPU replay;只有现有真机 periodic queue proxy 不足时才增加 GPU telemetry。
|
||||
|
||||
## 复现信息
|
||||
|
||||
- **Code:** AITuner `feature/sim`;Frontier frozen campaign commit 见原 provenance。
|
||||
- **Environment:** dash0;Frontier replay CPU-only,GPU visibility disabled。
|
||||
- **输入:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pressure-surface-20260719-r1`。
|
||||
- **产物路径:** `/home/admin/cpfs/wjh/aituner/qwen30-fixed-pd-ttft-diagnosis-20260719-r1`。
|
||||
- **已知 deviation:** 原真机日志只有 10 秒 periodic Running/Waiting,没有 per-iteration ledger;它可验证 steady queue 是否积压,但不用于细粒度 stage timing。
|
||||
|
||||
## 结果
|
||||
|
||||
- **观察事实:** 待完成。
|
||||
- **异常:** 待完成。
|
||||
- **含义:** 待完成。
|
||||
- **Claim update:** unchanged
|
||||
- **下一步:** 复跑三项 Frontier state ledger,并核对 request metrics byte-identical。
|
||||
Reference in New Issue
Block a user