Add Qwen30 prefill fidelity experiment

runs/frontier-phase-factorial-v0/experiment-card.md

@@ -0,0 +1,54 @@
+# 实验 EXP-SIMFID-PHASE-FACTORIAL：prefill-only 是否是 simulator ranking 的容易区间？
+
+> **状态：** 已批准，运行中（用户于 2026-07-17 明确要求先完成 235B mixed 与 30B prefill-only）
+
+## Claim 与决策
+
+- **Parent claim：** Frontier 的 config-ranking fidelity 由 workload execution phase 决定；prefill-only 可能比 decode/mixed 更容易由 isolated operator profiles 组合。
+- **目的：** 用跨 model 的 phase factorial 区分 phase-complexity explanation 与 model/runtime/profile-specific explanation。
+- **Competing hypotheses：** H-phase：prefill-only 是低状态反馈的 compatibility envelope，因此 30B prefill-only 也能达到低-regret ranking，而 decode/mixed 更容易失真；H-stack：30B 的失败主要来自 FA3/CUDA-graph/routing/profile composition 等 stack-specific mismatch，因此即使 prefill-only 也可能失败；H-margin：mixed 的 differential 可以错误，但只要 topology margin 足够仍会选对 top set。
+- **事前预测：** 若 H-phase 成立，30B prefill-only 满足 regret ≤5%、Kendall τ-b ≥0.8，并明显优于同模型 mixed；若 H-stack 成立，30B prefill-only 仍过不了 gate；若 H-margin 成立，235B mixed 可保持 top set，但会漏掉 MNS/MBT pair directions。
+- **判定规则：** 30B prefill-only fail → “prefill-only 是充分条件”被否证，下一步优先做 same-model execution-context ablation；30B prefill-only pass 且新增 decode-heavy mixed fail → 支持 phase hypothesis；30B prefill-only 与 235B mixed 都 pass → phase 不能单独解释，转向 margin-aware compatibility envelope。
+
+## Setup
+
+- **自变量：** model×phase：已有 Qwen3-235B-A22B-FP8 mixed；新增 Qwen3-30B-A3B BF16 prefill-only。
+- **控制变量：** dash0 H20、community vLLM 与各自 frozen Frontier profile、同一 config 内 real/sim 的 request shape、arrival lattice、SLO、prefix policy、MNS/MBT/TP 与随机种子。
+- **30B system context：** community vLLM 0.20.0+cu129，BF16 weights/activation/KV，TP∈{1,2,4}，MNS∈{8,16,32,64}，MBT=8192，chunked prefill on，prefix off；real 保留 runtime 默认 CUDA graph，Frontier profile-only 不做 E2E calibration。
+- **30B workload：** fixed ISL=2048、OSL=1，64 个不同 token-chain prompts，uniform open-loop QPS；fresh server per `(config, rate, round)`，target-rate warmup 与 measured requests 分离。
+- **30B SLO：** TTFT≤1256 ms，至少 61/64 requests 通过；primary score 为最大共同 tested feasible req/s / 实际 TP GPUs。
+- **235B baseline：** 已冻结 `ISL=2048, OSL=128`、8 configs、68 个 fresh-server anchors；primary sensitivity TTFT≤1256 ms、TPOT≤150 ms。
+- **Baselines：** real community vLLM；Frontier same-stack profile-only；historical Qwen30 mixed profile-only；historical frozen per-TP calibration 只作为 upper bound，不参与本 case 拟合。
+- **Metrics：** top set、worst tie-break regret、Kendall τ-b、exact/non-tied pair direction、anchor confusion、absolute capacity、TTFT p50/p95、real trial variance与GPU-hour。
+
+## 预期产物与 review
+
+- **预期数据：** 30B frozen simulator surface；real config-rate anchors；两模型 phase comparison table；failure mechanism breakdown。
+- **Figure prototype：** `mock-phase-factorial.png`；x=model×phase，左轴=worst regret，右侧 annotation=τ-b；虚线是 5% regret gate。mock 只表达可区分趋势，不进入结论。
+- **人工 review：** 已批准。用户要求 smoke 通过后推进实验；先做这两个 case，再根据 hypothesis verdict 扩展。
+- **Review 意见：** 不把 existing 235B mixed top-set match 隐藏掉；不把“全 config 并列”算作成功 hit；30B prefill-only 必须使用相同 primary ranking objective。
+
+## Benchmark design audit
+
+| Risk | Verdict | 处理 |
+|---|---|---|
+| Selective benchmarking | PASS for initial screen | 同时报已有 235B mixed success和内部 pairwise failure；后续 expansion 由预注册 verdict 触发 |
+| Simplified workload | NEEDS EVIDENCE | fixed-shape 只用于 phase isolation，不外推 trace-faithful mixed |
+| Calibration=evaluation | PASS | 新 case 不用 serving E2E 数据拟合 scale |
+| Missing significance | NEEDS EVIDENCE until run | boundary anchors做独立 fresh-server repeat，保留 disagreement |
+| Relative-only result | PASS by design | 同时报 req/s/GPU、TTFT distribution、rank/regret |
+
+## 复现信息
+
+- **Code：** AITuner branch `codex/fidelity-prefix-pilot-20260714`；Frontier upstream `d9cfeb6d8791fbf2f295dd9744c56a666171776e` + frozen known patches。
+- **Environment：** 只使用 dash0 8×H20；Qwen30 venv `/tmp/wjh/venvs/vllm-0.20.0-cu129-profiler-v1`；model `/home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B`。
+- **产物路径：** local/remote `runs/frontier-phase-factorial-v0/`；raw GPU artifacts 由 fleet harvest，condensed JSON/CSV 进入结果目录。
+- **已知 deviation：** 235B 为 FP8/vLLM0.10.2/FlashInfer eager，30B 为 BF16/vLLM0.20/FA3/default CUDA graph；因此跨模型只检验 hypothesis consistency，causal phase claim 最终仍需 same-model phase pair。
+
+## 结果
+
+- **观察事实：** 235B fixed-shape mixed 已完成：real/sim TP4 top set exact match，worst regret=0、τ-b=0.8944；但 20 个 real non-tie pairs 只保持 16 个，10/34 anchors false-infeasible，TP8 MNS×MBT interaction 被漏掉。30B prefill-only 待运行。
+- **异常：** 无。
+- **Interpretation 与剩余 alternatives：** 强版本“mixed 必然失败”已被 235B top-set result 削弱；仍可能存在 phase-dependent error magnitude，由 topology margin 掩盖。
+- **Claim update：** unchanged，等待 30B prefill-only。
+- **下一步：** freeze 30B simulator surface → guided real anchors → joint verdict；只有判定需要时扩展 decode-heavy 235B 或 trace-shaped 30B prefill。