aituner/runs/frontier-phase-factorial-v0/experiment-card.md

实验 EXP-SIMFID-PHASE-FACTORIAL：prefill-only 是否是 simulator ranking 的容易区间？

状态： 已完成（2026-07-17）

Claim 与决策

• Parent claim： Frontier 的 config-ranking fidelity 由 workload execution phase 决定；prefill-only 可能比 decode/mixed 更容易由 isolated operator profiles 组合。
• 目的： 用跨 model 的 phase factorial 区分 phase-complexity explanation 与 model/runtime/profile-specific explanation。
• Competing hypotheses： H-phase：prefill-only 是低状态反馈的 compatibility envelope，因此 30B prefill-only 也能达到低-regret ranking，而 decode/mixed 更容易失真；H-stack：30B 的失败主要来自 FA3/CUDA-graph/routing/profile composition 等 stack-specific mismatch，因此即使 prefill-only 也可能失败；H-margin：mixed 的 differential 可以错误，但只要 topology margin 足够仍会选对 top set。
• 事前预测： 若 H-phase 成立，30B prefill-only 满足 regret ≤5%、Kendall τ-b ≥0.8，并明显优于同模型 mixed；若 H-stack 成立，30B prefill-only 仍过不了 gate；若 H-margin 成立，235B mixed 可保持 top set，但会漏掉 MNS/MBT pair directions。
• 判定规则： 30B prefill-only fail → “prefill-only 是充分条件”被否证，下一步优先做 same-model execution-context ablation；30B prefill-only pass 且新增 decode-heavy mixed fail → 支持 phase hypothesis；30B prefill-only 与 235B mixed 都 pass → phase 不能单独解释，转向 margin-aware compatibility envelope。

Setup

• 自变量： model×phase：已有 Qwen3-235B-A22B-FP8 mixed；新增 Qwen3-30B-A3B BF16 prefill-only。
• 控制变量： dash0 H20、community vLLM 与各自 frozen Frontier profile、同一 config 内 real/sim 的 request shape、arrival lattice、SLO、prefix policy、MNS/MBT/TP 与随机种子。
• 30B system context： community vLLM 0.20.0+cu129，BF16 weights/activation/KV，TP∈{1,2,4}，MNS∈{8,16,32,64}，MBT=8192，chunked prefill on，prefix off；real 保留 runtime 默认 CUDA graph，Frontier profile-only 不做 E2E calibration。
• 30B workload： fixed ISL=2048、OSL=1，64 个不同 token-chain prompts，uniform open-loop QPS；fresh server per (config, rate, round)，target-rate warmup 与 measured requests 分离。
• 30B SLO： TTFT≤1256 ms，至少 61/64 requests 通过；primary score 为最大共同 tested feasible req/s / 实际 TP GPUs。
• Boundary refinement rule： base grid {4,8,16,32,64} 先定位每个 TP 的 pass→fail 区间；若除以 TP 后的离散容量产生无法区分的 top tie，则在查看最终 ranking 前追加共同 per-GPU lattice 5/6/7 req/s/GPU，即 TP1 测 {5,6,7}、TP2 测 {10,12,14}、TP4 测 {20,24,28}。refinement 不替换或删除 base anchors。
• 235B baseline： 已冻结 ISL=2048, OSL=128、8 configs、68 个 fresh-server anchors；primary sensitivity TTFT≤1256 ms、TPOT≤150 ms。
• Baselines： real community vLLM；Frontier same-stack profile-only；historical Qwen30 mixed profile-only；historical frozen per-TP calibration 只作为 upper bound，不参与本 case 拟合。
• Metrics： top set、worst tie-break regret、Kendall τ-b、exact/non-tied pair direction、anchor confusion、absolute capacity、TTFT p50/p95、real trial variance与GPU-hour。

预期产物与 review

• 预期数据： 30B frozen simulator surface；real config-rate anchors；两模型 phase comparison table；failure mechanism breakdown。
• Figure prototype： mock-phase-factorial.png；x=model×phase，左轴=worst regret，右侧 annotation=τ-b；虚线是 5% regret gate。mock 只表达可区分趋势，不进入结论。
• 人工 review： 已批准。用户要求 smoke 通过后推进实验；先做这两个 case，再根据 hypothesis verdict 扩展。
• Review 意见： 不把 existing 235B mixed top-set match 隐藏掉；不把“全 config 并列”算作成功 hit；30B prefill-only 必须使用相同 primary ranking objective。

Benchmark design audit

Risk	Verdict	处理
Selective benchmarking	PASS for initial screen	同时报已有 235B mixed success和内部 pairwise failure；后续 expansion 由预注册 verdict 触发
Simplified workload	NEEDS EVIDENCE	fixed-shape 只用于 phase isolation，不外推 trace-faithful mixed
Calibration=evaluation	PASS	新 case 不用 serving E2E 数据拟合 scale
Missing significance	PASS for ranking screen	96 个 config-rate cells 均做两个独立 fresh-server rounds；两轮都 pass 才算 feasible
Relative-only result	PASS by design	同时报 req/s/GPU、TTFT distribution、rank/regret

复现信息

• Code： AITuner branch codex/fidelity-prefix-pilot-20260714；Frontier upstream d9cfeb6d8791fbf2f295dd9744c56a666171776e + frozen known patches。
• Environment： 只使用 dash0 8×H20；Qwen30 venv /tmp/wjh/venvs/vllm-0.20.0-cu129-profiler-v1；model /home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B。
• 产物路径： local/remote runs/frontier-phase-factorial-v0/；raw GPU artifacts 由 fleet harvest，condensed JSON/CSV 进入结果目录。
• 已知 deviation： 235B 为 FP8/vLLM0.10.2/FlashInfer eager，30B 为 BF16/vLLM0.20/FA3/default CUDA graph；因此跨模型只检验 hypothesis consistency，causal phase claim 最终仍需 same-model phase pair。初始 continuous fleet monitor 未在 fresh-server 间隙保留 controller-level GPU reservation，产生重叠 launch；该 attempt 整体移动到 invalid-overlap-*，不进入统计。后续一次试图在“其余 4 卡”上并行 refinement 时，探针再次命中 TP4 fresh-server 空窗，把 4 个 TP1 jobs 放到了同一 GPU set。这四个 jobs 尚未产生 measured result；但当时 TP4/MNS64 已产生的单个 anchor 也按污染处理。两者都整体移到 invalid-overlap-20260716T1750Z，TP4/MNS64 从空目录重跑。此后的 barrier waves 不在运行中追加 job；但 Wave 3 的 harvest monitor 在未及时返回 launch 状态时已发射 MNS16/32，紧接的 monitor retry 又在它们的启动空窗发射 MNS64。三者都未产生 measured result，整体移到 invalid-overlap-20260716T1836Z。最终 TP4 waves 使用只含本波 jobs 的独立 queue state，不再依赖 pending-job 探针调度。

结果

• 观察事实： 235B fixed-shape mixed 中 real/sim 的四个 TP4 top configs 完全一致，worst regret=0、τ-b=0.8944；但 20 个 real non-tie pairs 只保持 16 个，10/34 anchors false-infeasible，TP8 MNS×MBT interaction 被漏掉。30B prefill-only 中真机 capacity/GPU 为 TP1=7、TP2=7、TP4=8，Frontier 为 TP1=8、TP2=8、TP4=6；real top set 是四个 TP4 configs，simulator top set 是全部八个 TP1/TP2 configs，无交集。worst regret=12.5%、τ-b=-1.0，32 个 real non-tie pairs 中 0 个同序。96 个 anchor labels 中有 8 个 false-feasible 和 8 个 false-infeasible。
• 实验成本： 接受 24 个 fleet jobs、192 个 fresh-server anchors、12,288 个 measured requests 和 4,512 个 warmups，消耗 12.0744 H20-GPU-hours。
• 异常与排除： fleet controller 在 fresh-server 空窗期没有保留 GPU reservation，产生了三批重叠 launch。污染 attempt 不进入 accepted artifact root，未产生 measured result 的重叠 jobs 也不被计数；同一波中已产生的 TP4/MNS64 单 anchor 同样按污染丢弃，从空目录重跑。最终 TP4 refinement 使用彼此独立的 queue states。analyzer 按 (round, filename) 去重相同 harvest copy，如果 hash 冲突则直接报错。
• Interpretation 与剩余 alternatives： H-phase 的强形式（prefill-only 是 fidelity 充分条件）被否证；H-margin 与数据更一致。235B 的真机 TP4/TP8 最优 margin 为 2×，足以掩盖内部 residual；30B 的 8-vs-7 margin 被 TP-dependent saturation residual 穿过。但这是跨 stack comparison，不能把差异因果归结为 model size。
• Claim update： “prefill-only 容易，decode/mixed 困难”的强假设被否证。新的可证伪命题是：config-ranking fidelity 取决于 scheduler-state-conditioned action residual 是否大于 real decision margin。
• 下一步： 不继续扩展跨模型 phase cases。在 Qwen30 prefill-only 上依次做 measured-collective injection、batch-composition-conditioned pure-prefill attention/step profile、TP1@8/TP2@16/TP4@32 的 scheduler batch/queue/per-step trace 对齐，最后再测 routing/graph。