57 lines
8.4 KiB
Markdown
57 lines
8.4 KiB
Markdown
# 实验 EXP-SIMFID-PHASE-FACTORIAL：prefill-only 是否是 simulator ranking 的容易区间？
|
||
|
||
> **状态：** 已完成（2026-07-17）
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** Frontier 的 config-ranking fidelity 由 workload execution phase 决定；prefill-only 可能比 decode/mixed 更容易由 isolated operator profiles 组合。
|
||
- **目的：** 用跨 model 的 phase factorial 区分 phase-complexity explanation 与 model/runtime/profile-specific explanation。
|
||
- **Competing hypotheses：** H-phase：prefill-only 是低状态反馈的 compatibility envelope，因此 30B prefill-only 也能达到低-regret ranking，而 decode/mixed 更容易失真；H-stack：30B 的失败主要来自 FA3/CUDA-graph/routing/profile composition 等 stack-specific mismatch，因此即使 prefill-only 也可能失败；H-margin：mixed 的 differential 可以错误，但只要 topology margin 足够仍会选对 top set。
|
||
- **事前预测：** 若 H-phase 成立，30B prefill-only 满足 regret ≤5%、Kendall τ-b ≥0.8，并明显优于同模型 mixed；若 H-stack 成立，30B prefill-only 仍过不了 gate；若 H-margin 成立，235B mixed 可保持 top set，但会漏掉 MNS/MBT pair directions。
|
||
- **判定规则：** 30B prefill-only fail → “prefill-only 是充分条件”被否证，下一步优先做 same-model execution-context ablation；30B prefill-only pass 且新增 decode-heavy mixed fail → 支持 phase hypothesis；30B prefill-only 与 235B mixed 都 pass → phase 不能单独解释，转向 margin-aware compatibility envelope。
|
||
|
||
## Setup
|
||
|
||
- **自变量：** model×phase：已有 Qwen3-235B-A22B-FP8 mixed；新增 Qwen3-30B-A3B BF16 prefill-only。
|
||
- **控制变量：** dash0 H20、community vLLM 与各自 frozen Frontier profile、同一 config 内 real/sim 的 request shape、arrival lattice、SLO、prefix policy、MNS/MBT/TP 与随机种子。
|
||
- **30B system context：** community vLLM 0.20.0+cu129，BF16 weights/activation/KV，TP∈{1,2,4}，MNS∈{8,16,32,64}，MBT=8192，chunked prefill on，prefix off；real 保留 runtime 默认 CUDA graph，Frontier profile-only 不做 E2E calibration。
|
||
- **30B workload：** fixed ISL=2048、OSL=1，64 个不同 token-chain prompts，uniform open-loop QPS；fresh server per `(config, rate, round)`，target-rate warmup 与 measured requests 分离。
|
||
- **30B SLO：** TTFT≤1256 ms，至少 61/64 requests 通过；primary score 为最大共同 tested feasible req/s / 实际 TP GPUs。
|
||
- **Boundary refinement rule：** base grid `{4,8,16,32,64}` 先定位每个 TP 的 pass→fail 区间；若除以 TP 后的离散容量产生无法区分的 top tie，则在查看最终 ranking 前追加共同 per-GPU lattice `5/6/7 req/s/GPU`，即 TP1 测 `{5,6,7}`、TP2 测 `{10,12,14}`、TP4 测 `{20,24,28}`。refinement 不替换或删除 base anchors。
|
||
- **235B baseline：** 已冻结 `ISL=2048, OSL=128`、8 configs、68 个 fresh-server anchors；primary sensitivity TTFT≤1256 ms、TPOT≤150 ms。
|
||
- **Baselines：** real community vLLM；Frontier same-stack profile-only；historical Qwen30 mixed profile-only；historical frozen per-TP calibration 只作为 upper bound，不参与本 case 拟合。
|
||
- **Metrics：** top set、worst tie-break regret、Kendall τ-b、exact/non-tied pair direction、anchor confusion、absolute capacity、TTFT p50/p95、real trial variance与GPU-hour。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** 30B frozen simulator surface；real config-rate anchors；两模型 phase comparison table；failure mechanism breakdown。
|
||
- **Figure prototype：** `mock-phase-factorial.png`；x=model×phase，左轴=worst regret，右侧 annotation=τ-b；虚线是 5% regret gate。mock 只表达可区分趋势，不进入结论。
|
||
- **人工 review：** 已批准。用户要求 smoke 通过后推进实验；先做这两个 case，再根据 hypothesis verdict 扩展。
|
||
- **Review 意见：** 不把 existing 235B mixed top-set match 隐藏掉；不把“全 config 并列”算作成功 hit；30B prefill-only 必须使用相同 primary ranking objective。
|
||
|
||
## Benchmark design audit
|
||
|
||
| Risk | Verdict | 处理 |
|
||
|---|---|---|
|
||
| Selective benchmarking | PASS for initial screen | 同时报已有 235B mixed success和内部 pairwise failure；后续 expansion 由预注册 verdict 触发 |
|
||
| Simplified workload | NEEDS EVIDENCE | fixed-shape 只用于 phase isolation，不外推 trace-faithful mixed |
|
||
| Calibration=evaluation | PASS | 新 case 不用 serving E2E 数据拟合 scale |
|
||
| Missing significance | PASS for ranking screen | 96 个 config-rate cells 均做两个独立 fresh-server rounds；两轮都 pass 才算 feasible |
|
||
| Relative-only result | PASS by design | 同时报 req/s/GPU、TTFT distribution、rank/regret |
|
||
|
||
## 复现信息
|
||
|
||
- **Code：** AITuner branch `codex/fidelity-prefix-pilot-20260714`；Frontier upstream `d9cfeb6d8791fbf2f295dd9744c56a666171776e` + frozen known patches。
|
||
- **Environment：** 只使用 dash0 8×H20；Qwen30 venv `/tmp/wjh/venvs/vllm-0.20.0-cu129-profiler-v1`；model `/home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B`。
|
||
- **产物路径：** local/remote `runs/frontier-phase-factorial-v0/`；raw GPU artifacts 由 fleet harvest，condensed JSON/CSV 进入结果目录。
|
||
- **已知 deviation：** 235B 为 FP8/vLLM0.10.2/FlashInfer eager，30B 为 BF16/vLLM0.20/FA3/default CUDA graph；因此跨模型只检验 hypothesis consistency，causal phase claim 最终仍需 same-model phase pair。初始 continuous fleet monitor 未在 fresh-server 间隙保留 controller-level GPU reservation，产生重叠 launch；该 attempt 整体移动到 `invalid-overlap-*`，不进入统计。后续一次试图在“其余 4 卡”上并行 refinement 时，探针再次命中 TP4 fresh-server 空窗，把 4 个 TP1 jobs 放到了同一 GPU set。这四个 jobs 尚未产生 measured result；但当时 TP4/MNS64 已产生的单个 anchor 也按污染处理。两者都整体移到 `invalid-overlap-20260716T1750Z`，TP4/MNS64 从空目录重跑。此后的 barrier waves 不在运行中追加 job；但 Wave 3 的 harvest monitor 在未及时返回 launch 状态时已发射 MNS16/32，紧接的 monitor retry 又在它们的启动空窗发射 MNS64。三者都未产生 measured result，整体移到 `invalid-overlap-20260716T1836Z`。最终 TP4 waves 使用只含本波 jobs 的独立 queue state，不再依赖 pending-job 探针调度。
|
||
|
||
## 结果
|
||
|
||
- **观察事实：** 235B fixed-shape mixed 中 real/sim 的四个 TP4 top configs 完全一致，worst regret=0、τ-b=0.8944；但 20 个 real non-tie pairs 只保持 16 个，10/34 anchors false-infeasible，TP8 MNS×MBT interaction 被漏掉。30B prefill-only 中真机 capacity/GPU 为 TP1=7、TP2=7、TP4=8，Frontier 为 TP1=8、TP2=8、TP4=6；real top set 是四个 TP4 configs，simulator top set 是全部八个 TP1/TP2 configs，无交集。worst regret=12.5%、τ-b=-1.0，32 个 real non-tie pairs 中 0 个同序。96 个 anchor labels 中有 8 个 false-feasible 和 8 个 false-infeasible。
|
||
- **实验成本：** 接受 24 个 fleet jobs、192 个 fresh-server anchors、12,288 个 measured requests 和 4,512 个 warmups，消耗 12.0744 H20-GPU-hours。
|
||
- **异常与排除：** fleet controller 在 fresh-server 空窗期没有保留 GPU reservation，产生了三批重叠 launch。污染 attempt 不进入 accepted artifact root，未产生 measured result 的重叠 jobs 也不被计数；同一波中已产生的 TP4/MNS64 单 anchor 同样按污染丢弃，从空目录重跑。最终 TP4 refinement 使用彼此独立的 queue states。analyzer 按 `(round, filename)` 去重相同 harvest copy，如果 hash 冲突则直接报错。
|
||
- **Interpretation 与剩余 alternatives：** `H-phase` 的强形式（prefill-only 是 fidelity 充分条件）被否证；`H-margin` 与数据更一致。235B 的真机 TP4/TP8 最优 margin 为 2×，足以掩盖内部 residual；30B 的 8-vs-7 margin 被 TP-dependent saturation residual 穿过。但这是跨 stack comparison，不能把差异因果归结为 model size。
|
||
- **Claim update：** “prefill-only 容易，decode/mixed 困难”的强假设被否证。新的可证伪命题是：config-ranking fidelity 取决于 scheduler-state-conditioned action residual 是否大于 real decision margin。
|
||
- **下一步：** 不继续扩展跨模型 phase cases。在 Qwen30 prefill-only 上依次做 measured-collective injection、batch-composition-conditioned pure-prefill attention/step profile、TP1@8/TP2@16/TP4@32 的 scheduler batch/queue/per-step trace 对齐，最后再测 routing/graph。
|