Add Frontier fidelity envelope campaign
This commit is contained in:
76
runs/frontier-fidelity-envelope-v1/experiment-card.md
Normal file
76
runs/frontier-fidelity-envelope-v1/experiment-card.md
Normal file
@@ -0,0 +1,76 @@
|
||||
# EXP-SIMFID-ENVELOPE-V1：Frontier best-effort fidelity envelope
|
||||
|
||||
> **状态：** 已批准，准备执行（2026-07-17）。用户要求先把 simulator 现有能力跑到最好，并同时覆盖 fixed input/output 与真实 trace replay。
|
||||
|
||||
## Claim 与可证伪假设
|
||||
|
||||
- **研究问题：** 在不使用被评测 config/workload 的 serving E2E calibration 时，Frontier 的 measured operator/collective profiles 与 scheduler state abstraction，是否足以找到真机上的低-regret config？
|
||||
- **H-CC：** Qwen30 prefill-only 的 TP 排序错误主要来自默认 analytical all-reduce；注入同机、同 TP 的 measured collective 后，已知 `2048/1` surface 的 regret 降至不超过 5%，Kendall tau-b 升至至少 0.8。
|
||||
- **H-BATCH：** 若 H-CC 不足，错误主要来自 pure-prefill attention 只有 batch=1 profile，而 Frontier 在多请求 batch 上使用没有 coverage 的 `attn_prefill_mixed` 外推；增加 MBT 可达的真实 batch composition 后可恢复排序。
|
||||
- **H-STATE：** 若 measured collective 与 batch-composition profile 都不能恢复排序，则缺失量位于 isolated operators 之外的 scheduler-state-conditioned step composition；继续增加静态 kernel rows不是有效修复。
|
||||
- **成功门槛：** worst selected-config regret `<=5%`、tie-aware Kendall tau-b `>=0.8`、真机 capacity bracket 不足以反转 top decision，并且没有使用同一 surface 的 E2E scalar calibration。
|
||||
|
||||
## Simulator ablation（先用已有 ground truth，零新增 GPU 成本）
|
||||
|
||||
| variant | compute profile | collective | 目的 |
|
||||
|---|---|---|---|
|
||||
| A0 | vLLM 0.20 frozen profile-v2 | Frontier analytical | 已冻结 baseline |
|
||||
| A1 | 同 A0 | Frontier 原生 Vidur + measured TP2/TP4 CSV | 检查原生 profile consumption；大 payload fallback 保留并计数 |
|
||||
| A2 | 同 A0 | measured Vidur，cache miss 直接调用已训练 estimator | 最小 correctness fix；消除 `>100k elements` 静默 analytical fallback |
|
||||
| A3 | 增加 pure-prefill batch-composition rows | 同 A2 | 检验 batch-composition coverage 是否是剩余误差来源 |
|
||||
|
||||
A1/A2/A3 都重新运行完整 `TP∈{1,2,4} × MNS∈{8,16,32,64}` surface；TP1 无 all-reduce。所有 simulator variants 在查看新增真机 case 前冻结。A2 是单独标注、带单测的 compatibility patch，不与 Frontier upstream 原生能力混写。
|
||||
|
||||
## Workload matrix
|
||||
|
||||
| ID | workload | arrival / prefix | phase role |
|
||||
|---|---|---|---|
|
||||
| F0 | fixed `ISL=2048, OSL=1` | uniform QPS；distinct prefixes | 已有 real ground truth，选择 A0--A3 |
|
||||
| F1 | fixed `ISL=512, OSL=1` | uniform QPS；distinct prefixes | short-prefill、多请求 batch composition |
|
||||
| F2 | fixed `ISL=2048, OSL=128` | uniform QPS；distinct prefixes | true prefill+decode mixed serving |
|
||||
| T1 | `thinking_w20260327_1000` eligible trace | 原 timestamp/order；exact prompt/output/session/hash；prefix on | production joint distribution 与 cache/scheduler feedback |
|
||||
|
||||
T1 只排除已经审计的 72 个超 40,960 context rows 和 6 个 zero-output rows，eligible universe 为 `15,401/15,479`。负载轴只使用 trace 已有、同 session 共享的 `sampling_u`；入选 request 的 arrival、input/output、prompt、hash 和相对次序不变。真实 runtime 设置 `min_tokens=max_tokens=output_length` 且 `ignore_eos=true`，逐请求核对 usage。
|
||||
|
||||
## 固定系统与 config surface
|
||||
|
||||
| 项目 | 冻结设置 |
|
||||
|---|---|
|
||||
| machine | 仅 `dash0`，8×NVIDIA H20 |
|
||||
| model/runtime | `/home/admin/cpfs/wjh/models/Qwen/Qwen3-30B-A3B`；community vLLM 0.20.0+cu129；BF16 weight/activation/KV |
|
||||
| simulator | Frontier `d9cfeb6d8791fbf2f295dd9744c56a666171776e` + manifest 中列出的现有 compatibility patches；A2 patch 独立 hash |
|
||||
| configs | `TP∈{1,2,4} × MNS∈{8,16,32,64}`；DP=PP=EP=1；MBT=8192；block=16 |
|
||||
| runtime | chunked prefill on；fixed cases prefix off；T1 prefix on；fresh server per `(config, load, round)` |
|
||||
| score | `capacity(c)=max tested offered req/s with joint SLO pass rate >=0.95`；primary `capacity/actual TP GPUs` |
|
||||
| SLO | TTFT `<=1000ms + 1000×ISL/8000`；mixed case同时要求 TPOT `<=150ms`；另报告 50/100/180ms sensitivity，不用 sensitivity 改写 primary |
|
||||
|
||||
F0 沿用已经冻结的 rate lattice与两个 fresh-server rounds。F1/F2 先由冻结 simulator 给出 boundary，再加入共同 per-GPU guard anchors，避免只测 simulator 预测附近而漏掉真实最优。每个 boundary anchor 两个 fresh-server rounds，二者都 pass 才算 feasible。
|
||||
|
||||
T1 保持原 600 秒 arrival window。先在 simulator 上冻结 `sampling_u` bracket；真机只运行 topological guard set `{TP1,TP2,TP4} × {MNS8,MNS32,MNS64}`，若 top set 或 bracket 仍可能被未测 MNS 反转再补 MNS16。每个入选 source-row vector在 real/sim 两侧必须有相同 digest；至少两个 session-hash folds，若本轮只完成一个 window则明确标为 single-window evidence。
|
||||
|
||||
## 诊断与停止规则
|
||||
|
||||
1. A1 必须报告每次 collective prediction 的 measured-model hit 与 analytical fallback 次数；不能只看最终 rank。
|
||||
2. A2 对超过 100k elements 的 payload 必须由单测证明走 estimator；A2 若不改变任何 TP2/TP4 step，立即停止并检查 CLI/config 注入，不进入 GPU。
|
||||
3. A3 profile 只覆盖 MBT=8192 可达的 pure-prefill composition：F0 为 `1/2/4 × q2048`，F1 为 `1/2/4/8/16 × q512`，TP1/2/4 分别实测；不做无边界的 profile sweep。
|
||||
4. 若 A3 在 F0 仍不能达到 fidelity gate，先采集 `TP1@8, TP2@16, TP4@32` 的 per-step batch/queue/component residual；禁止用 per-TP E2E scale把答案拟合正确。
|
||||
5. 只有 best-effort simulator 在 F0 通过或形成可解释、可定位的失败后，才运行 F1/F2/T1 真机；任一 case 的结论不外推到其它 workload。
|
||||
|
||||
## 预期成本与产物
|
||||
|
||||
- simulator A1--A3：CPU only，约 1--3 小时总 CPU wall，0 GPU-hour。
|
||||
- attention composition profile：3 张 H20 并行，预计 5--10 分钟，`<0.5 H20-GPU-hour`。
|
||||
- F1/F2 real boundary：预计合计 12--24 H20-GPU-hours，smoke 后再锁定。
|
||||
- T1 real boundary：600 秒原 arrival window使单 anchor较贵；预计 30--60 H20-GPU-hours，必须在 simulator bracket 和一配置 smoke 后重新 echo 精确预算。
|
||||
- 产物：variant/profile manifests、full surfaces、anchor-level request metrics、rank/regret/confusion tables、profile-consumption counters，以及 fixed-vs-trace fidelity summary figure。
|
||||
|
||||
## Benchmark design audit
|
||||
|
||||
| 风险 | 处理 |
|
||||
|---|---|
|
||||
| selective benchmarking | 预先冻结 F0/F1/F2/T1，不因结果删除失败 case |
|
||||
| calibration=evaluation | 禁止使用同一 surface 的 serving E2E scalar；microprofile GPU 成本单独报告 |
|
||||
| trace filtering | 只做 context/zero-output correctness exclusion和 session-coherent thinning，不按长度筛选 |
|
||||
| simulator-guided real sampling | 使用共同 guard anchors；未闭合 bracket 不能宣布 top match |
|
||||
| absolute-vs-rank metric | 同时报绝对 capacity/latency、rank、regret、tau-b、pair direction和 SLO confusion |
|
||||
| hidden fallback | A1/A2 强制计数 measured-model hit/fallback，并写入 frozen manifest |
|
||||
Reference in New Issue
Block a user