实验 EXP-SIMFID-PHASE-FACTORIAL：prefill-only 是否是 simulator ranking 的容易区间？

状态： 已批准，运行中（用户于 2026-07-17 明确要求先完成 235B mixed 与 30B prefill-only）

Claim 与决策

Parent claim： Frontier 的 config-ranking fidelity 由 workload execution phase 决定；prefill-only 可能比 decode/mixed 更容易由 isolated operator profiles 组合。
目的： 用跨 model 的 phase factorial 区分 phase-complexity explanation 与 model/runtime/profile-specific explanation。
Competing hypotheses： H-phase：prefill-only 是低状态反馈的 compatibility envelope，因此 30B prefill-only 也能达到低-regret ranking，而 decode/mixed 更容易失真；H-stack：30B 的失败主要来自 FA3/CUDA-graph/routing/profile composition 等 stack-specific mismatch，因此即使 prefill-only 也可能失败；H-margin：mixed 的 differential 可以错误，但只要 topology margin 足够仍会选对 top set。
事前预测： 若 H-phase 成立，30B prefill-only 满足 regret ≤5%、Kendall τ-b ≥0.8，并明显优于同模型 mixed；若 H-stack 成立，30B prefill-only 仍过不了 gate；若 H-margin 成立，235B mixed 可保持 top set，但会漏掉 MNS/MBT pair directions。
判定规则： 30B prefill-only fail → “prefill-only 是充分条件”被否证，下一步优先做 same-model execution-context ablation；30B prefill-only pass 且新增 decode-heavy mixed fail → 支持 phase hypothesis；30B prefill-only 与 235B mixed 都 pass → phase 不能单独解释，转向 margin-aware compatibility envelope。

自变量： model×phase：已有 Qwen3-235B-A22B-FP8 mixed；新增 Qwen3-30B-A3B BF16 prefill-only。
控制变量： dash0 H20、community vLLM 与各自 frozen Frontier profile、同一 config 内 real/sim 的 request shape、arrival lattice、SLO、prefix policy、MNS/MBT/TP 与随机种子。
30B system context： community vLLM 0.20.0+cu129，BF16 weights/activation/KV，TP∈{1,2,4}，MNS∈{8,16,32,64}，MBT=8192，chunked prefill on，prefix off；real 保留 runtime 默认 CUDA graph，Frontier profile-only 不做 E2E calibration。
30B workload： fixed ISL=2048、OSL=1，64 个不同 token-chain prompts，uniform open-loop QPS；fresh server per (config, rate, round)，target-rate warmup 与 measured requests 分离。
30B SLO： TTFT≤1256 ms，至少 61/64 requests 通过；primary score 为最大共同 tested feasible req/s / 实际 TP GPUs。
235B baseline： 已冻结 ISL=2048, OSL=128、8 configs、68 个 fresh-server anchors；primary sensitivity TTFT≤1256 ms、TPOT≤150 ms。
Baselines： real community vLLM；Frontier same-stack profile-only；historical Qwen30 mixed profile-only；historical frozen per-TP calibration 只作为 upper bound，不参与本 case 拟合。
Metrics： top set、worst tie-break regret、Kendall τ-b、exact/non-tied pair direction、anchor confusion、absolute capacity、TTFT p50/p95、real trial variance与GPU-hour。

预期数据： 30B frozen simulator surface；real config-rate anchors；两模型 phase comparison table；failure mechanism breakdown。
Figure prototype： mock-phase-factorial.png；x=model×phase，左轴=worst regret，右侧 annotation=τ-b；虚线是 5% regret gate。mock 只表达可区分趋势，不进入结论。
人工 review： 已批准。用户要求 smoke 通过后推进实验；先做这两个 case，再根据 hypothesis verdict 扩展。
Review 意见： 不把 existing 235B mixed top-set match 隐藏掉；不把“全 config 并列”算作成功 hit；30B prefill-only 必须使用相同 primary ranking objective。

Risk	Verdict	处理
Selective benchmarking	PASS for initial screen	同时报已有 235B mixed success和内部 pairwise failure；后续 expansion 由预注册 verdict 触发
Simplified workload	NEEDS EVIDENCE	fixed-shape 只用于 phase isolation，不外推 trace-faithful mixed
Calibration=evaluation	PASS	新 case 不用 serving E2E 数据拟合 scale
Missing significance	NEEDS EVIDENCE until run	boundary anchors做独立 fresh-server repeat，保留 disagreement
Relative-only result	PASS by design	同时报 req/s/GPU、TTFT distribution、rank/regret

Code： AITuner branch codex/fidelity-prefix-pilot-20260714；Frontier upstream d9cfeb6d8791fbf2f295dd9744c56a666171776e + frozen known patches。
Environment： 只使用 dash0 8×H20；Qwen30 venv /tmp/wjh/venvs/vllm-0.20.0-cu129-profiler-v1；model /home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B。
产物路径： local/remote runs/frontier-phase-factorial-v0/；raw GPU artifacts 由 fleet harvest，condensed JSON/CSV 进入结果目录。
已知 deviation： 235B 为 FP8/vLLM0.10.2/FlashInfer eager，30B 为 BF16/vLLM0.20/FA3/default CUDA graph；因此跨模型只检验 hypothesis consistency，causal phase claim 最终仍需 same-model phase pair。

观察事实： 235B fixed-shape mixed 已完成：real/sim TP4 top set exact match，worst regret=0、τ-b=0.8944；但 20 个 real non-tie pairs 只保持 16 个，10/34 anchors false-infeasible，TP8 MNS×MBT interaction 被漏掉。30B prefill-only 待运行。
异常： 无。
Interpretation 与剩余 alternatives： 强版本“mixed 必然失败”已被 235B top-set result 削弱；仍可能存在 phase-dependent error magnitude，由 topology margin 掩盖。
Claim update： unchanged，等待 30B prefill-only。
下一步： freeze 30B simulator surface → guided real anchors → joint verdict；只有判定需要时扩展 decode-heavy 235B 或 trace-shaped 30B prefill。