EXP-SIMFID-ENVELOPE-V1：Frontier best-effort fidelity envelope

状态： 已批准，准备执行（2026-07-17）。用户要求先把 simulator 现有能力跑到最好，并同时覆盖 fixed input/output 与真实 trace replay。

Claim 与可证伪假设

研究问题： 在不使用被评测 config/workload 的 serving E2E calibration 时，Frontier 的 measured operator/collective profiles 与 scheduler state abstraction，是否足以找到真机上的低-regret config？
H-CC： Qwen30 prefill-only 的 TP 排序错误主要来自默认 analytical all-reduce；注入同机、同 TP 的 measured collective 后，已知 2048/1 surface 的 regret 降至不超过 5%，Kendall tau-b 升至至少 0.8。
H-BATCH： 若 H-CC 不足，错误主要来自 pure-prefill attention 只有 batch=1 profile，而 Frontier 在多请求 batch 上使用没有 coverage 的 attn_prefill_mixed 外推；增加 MBT 可达的真实 batch composition 后可恢复排序。
H-STATE： 若 measured collective 与 batch-composition profile 都不能恢复排序，则缺失量位于 isolated operators 之外的 scheduler-state-conditioned step composition；继续增加静态 kernel rows不是有效修复。
成功门槛： worst selected-config regret <=5%、tie-aware Kendall tau-b >=0.8、真机 capacity bracket 不足以反转 top decision，并且没有使用同一 surface 的 E2E scalar calibration。

Simulator ablation（先用已有 ground truth，零新增 GPU 成本）

variant	compute profile	collective	目的
A0	vLLM 0.20 frozen profile-v2	Frontier analytical	已冻结 baseline
A1	同 A0	Frontier 原生 Vidur + measured TP2/TP4 CSV	检查原生 profile consumption；大 payload fallback 保留并计数
A2	同 A0	measured Vidur，cache miss 直接调用已训练 estimator	最小 correctness fix；消除 `>100k elements` 静默 analytical fallback
A3	增加 pure-prefill batch-composition rows	同 A2	检验 batch-composition coverage 是否是剩余误差来源

A1/A2/A3 都重新运行完整 TP∈{1,2,4} × MNS∈{8,16,32,64} surface；TP1 无 all-reduce。所有 simulator variants 在查看新增真机 case 前冻结。A2 是单独标注、带单测的 compatibility patch，不与 Frontier upstream 原生能力混写。

Workload matrix

ID	workload	arrival / prefix	phase role
F0	fixed `ISL=2048, OSL=1`	uniform QPS；distinct prefixes	已有 real ground truth，选择 A0--A3
F1	fixed `ISL=512, OSL=1`	uniform QPS；distinct prefixes	short-prefill、多请求 batch composition
F2	fixed `ISL=2048, OSL=128`	uniform QPS；distinct prefixes	true prefill+decode mixed serving
T1	`thinking_w20260327_1000` eligible trace	原 timestamp/order；exact prompt/output/session/hash；prefix on	production joint distribution 与 cache/scheduler feedback

T1 只排除已经审计的 72 个超 40,960 context rows 和 6 个 zero-output rows，eligible universe 为 15,401/15,479。负载轴只使用 trace 已有、同 session 共享的 sampling_u；入选 request 的 arrival、input/output、prompt、hash 和相对次序不变。真实 runtime 设置 min_tokens=max_tokens=output_length 且 ignore_eos=true，逐请求核对 usage。

固定系统与 config surface

项目	冻结设置
machine	仅 `dash0`，8×NVIDIA H20
model/runtime	`/home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B`；community vLLM 0.20.0+cu129；BF16 weight/activation/KV
simulator	Frontier `d9cfeb6d8791fbf2f295dd9744c56a666171776e` + manifest 中列出的现有 compatibility patches；A2 patch 独立 hash
configs	`TP∈{1,2,4} × MNS∈{8,16,32,64}`；DP=PP=EP=1；MBT=8192；block=16
runtime	chunked prefill on；fixed cases prefix off；T1 prefix on；fresh server per `(config, load, round)`
score	`capacity(c)=max tested offered req/s with joint SLO pass rate >=0.95`；primary `capacity/actual TP GPUs`
SLO	TTFT `<=1000ms + 1000×ISL/8000`；mixed case同时要求 TPOT `<=150ms`；另报告 50/100/180ms sensitivity，不用 sensitivity 改写 primary

F0 沿用已经冻结的 rate lattice与两个 fresh-server rounds。F1/F2 先由冻结 simulator 给出 boundary，再加入共同 per-GPU guard anchors，避免只测 simulator 预测附近而漏掉真实最优。每个 boundary anchor 两个 fresh-server rounds，二者都 pass 才算 feasible。

T1 保持原 600 秒 arrival window。先在 simulator 上冻结 sampling_u bracket；真机只运行 topological guard set {TP1,TP2,TP4} × {MNS8,MNS32,MNS64}，若 top set 或 bracket 仍可能被未测 MNS 反转再补 MNS16。每个入选 source-row vector在 real/sim 两侧必须有相同 digest；至少两个 session-hash folds，若本轮只完成一个 window则明确标为 single-window evidence。

诊断与停止规则

A1 必须报告每次 collective prediction 的 measured-model hit 与 analytical fallback 次数；不能只看最终 rank。
A2 对超过 100k elements 的 payload 必须由单测证明走 estimator；A2 若不改变任何 TP2/TP4 step，立即停止并检查 CLI/config 注入，不进入 GPU。
A3 profile 只覆盖 MBT=8192 可达的 pure-prefill composition：F0 为 1/2/4 × q2048，F1 为 1/2/4/8/16 × q512，TP1/2/4 分别实测；不做无边界的 profile sweep。
若 A3 在 F0 仍不能达到 fidelity gate，先采集 TP1@8, TP2@16, TP4@32 的 per-step batch/queue/component residual；禁止用 per-TP E2E scale把答案拟合正确。
只有 best-effort simulator 在 F0 通过或形成可解释、可定位的失败后，才运行 F1/F2/T1 真机；任一 case 的结论不外推到其它 workload。

预期成本与产物

simulator A1--A3：CPU only，约 1--3 小时总 CPU wall，0 GPU-hour。
attention composition profile：3 张 H20 并行，预计 5--10 分钟，<0.5 H20-GPU-hour。
F1/F2 real boundary：预计合计 12--24 H20-GPU-hours，smoke 后再锁定。
T1 real boundary：600 秒原 arrival window使单 anchor较贵；预计 30--60 H20-GPU-hours，必须在 simulator bracket 和一配置 smoke 后重新 echo 精确预算。
产物：variant/profile manifests、full surfaces、anchor-level request metrics、rank/regret/confusion tables、profile-consumption counters，以及 fixed-vs-trace fidelity summary figure。

Benchmark design audit

风险	处理
selective benchmarking	预先冻结 F0/F1/F2/T1，不因结果删除失败 case
calibration=evaluation	禁止使用同一 surface 的 serving E2E scalar；microprofile GPU 成本单独报告
trace filtering	只做 context/zero-output correctness exclusion和 session-coherent thinning，不按长度筛选
simulator-guided real sampling	使用共同 guard anchors；未闭合 bracket 不能宣布 top match
absolute-vs-rank metric	同时报绝对 capacity/latency、rank、regret、tau-b、pair direction和 SLO confusion
hidden fallback	A1/A2 强制计数 measured-model hit/fallback，并写入 frozen manifest

7.0 KiB Raw Blame History Unescape Escape