Frontier simulator residual-gap campaign
目标：在已经完成的 1h+ production chat-trace fidelity matrix 上，按信息增益和工程可修性依次关闭三个残余误差源。三个实验严格串行；前一项的产物是后一项的 baseline，不允许同时改多个 profile/component。
冻结基线
- Frontier：
deadc4a321f0baaa534c6ebd17f974123733cdc2 - Profile：
runs/frontier-prefill-kvgrowth-fix-v0/profiles/profile-v5-kvgrowth - Workload：与
docs/assets/frontier-fidelity/full-matrix.csv相同的 7 个 TP×load cells - Real：复用现有每 cell 两次 60-min trial；不重新采集，不做逐 cell E2E calibration
- 指标：TTFT/TPOT/E2E 的 mean/p50/p90/p99；real trial 分别与同一 sim request ID 配对后汇总，不再把两次 real trial pool 成一个分布
- 有效域：TP1 两个 cell 的 simulated waiting p99 已超过原 1 s subcritical gate，必须标成
gate-fail diagnostic，不能继续称为 subcritical evidence
串行任务列表
EXP-1：structured attention-prefill predictor
- 锁定 Frontier/profile/trace provenance
- 审计训练与运行时 feature contract
- 冻结 experiment card、事前判据和 mock figure
- 实现最小 predictor patch：
- standard prefill 只训练
batch_size=1；多请求继续走既有 mixed predictor base(q)使用单请求KV=0profile 的单调分段插值- KV growth 使用非负
KV + q×KV项
- standard prefill 只训练
- 单元测试：exact anchors、q/KV 单调、非负、pickle round-trip
- 离线 ablation：RF-all / RF-single / structured-single；held-out context MAPE
- 7-cell CPU replay
- trial-aware paired verdict 与旧 v5 baseline 对照
Decision：profile gate PASS，trace/merge gate FAIL。TP1/TP2 TTFT mean/p99 绝对误差改善约 7--10 pp；TP4 三个 cell 的 TTFT mean 绝对误差稳定恶化 5.3--5.8 pp。该 patch 保留为机制 ablation，不作为全局默认 predictor。 EXP-2 先执行 entry audit；仅当 structured 分支上的 TP2 chunk residual 仍 ≥10% 才进入 GPU 三臂测量。
Go/no-go：
- profile gate：held-out context MAPE ≤5%，且所有 TP 的 q/KV 单调检查通过
- trace gate：TP1 TTFT mean/p99 的绝对偏差各改善 ≥5 pp；TP2/TP4 任一 TTFT/E2E quantile 不得恶化 >5 pp
- 若 profile gate 不过，不进入 trace replay；若 trace gate 不过，保留 profile diagnosis，回退 patch，不进入 EXP-2
EXP-2：TP2 base-prefill serving-path profile
- 在 EXP-1 冻结输出上重新确认 chunk #1 residual：TP2 是否仍为孤立点
- probe
dash1--dash4；只选择 8 张 H20 全部 idle/healthy 的主机 - 三臂中的 A/C 同形状 profile：
- A：当前 standalone microbenchmark
- C：真实 serving path extract
- q8k smoke 与两个 TP rank 的 component contract
- 注入 q8k ratio，重放 TP2 两个 load cell；其余 profile 冻结
- paired verdict
Decision：mechanism gate PASS，global constant injection FAIL。serving q8k
execute=408.19 ms（real=410 ms），MoE=214.52 ms vs sim=171.12 ms，
解释 80.75% residual。全 prefill-domain constant 1.25366× 会过校正：
subcritical TTFT mean −4.54%→+5.23% 且 E2E mean
+12.70%→+15.55%。保留的工程方向是 TP2 token/routing-conditioned MoE
curve，不合入 constant scale。B arm 合并为该 follow-up curve 的真实 routing
采样，不再为已被 C 直接确认的机制单独占一次 GPU run。
Go/no-go：
- 若 B/C 相对 A 都没有稳定的 ≥10% shift，拒绝“tactic/warmup 或 serving composition”假设，不做 profile 注入
- 若 C 能解释 real chunk residual，TP2 TTFT mean 目标收敛至 ±10%，且 E2E/TPOT 不恶化 >5 pp
EXP-3：decode whole-layer residual × batch curve
- 在 EXP-2 冻结输出上确认 TP4 low-load TPOT/E2E 正偏仍存在
- probe dash1--dash4；补 TP2/TP4 × batch 2/4/6/8 whole-layer grid， b1 复用既有 serving anchor
- 将 whole-layer time 与 component sum 对齐，定位 TP4/b6 collective tail
- 稳定性 gate：TP4/b2 fresh-process CV=
0.067%；TP4/b6 依规则加 r3 - 重放历史 BC-8 knee，检查
TP2<TP4<TP1排序 - 审计 7-cell runtime support；因 batch 最大到 b15 且 TP4/b6 deterministic mean 不稳定，拒绝 b8 constant extrapolation，不做 global injection
- 分层判决：BC-8 排序不升级 event telemetry；绝对残差/MNS/high-batch tail 保留 event/distribution-aware follow-up
Decision：BC-8 engineering fix PASS，global curve merge NO-GO。稳定 TP4/b2
median=4.623 ms；exact b2 injection 使 TP4 P4 sim TPOT
5.864→5.367 ms，完整 MNS16 排序恢复为真实的 TP2<TP4<TP1。
绝对 residual 仍为 +0.918--+1.001 ms，MNS16/32 仍 tie。TP4/b6 的
5.433/10.157/8.634 ms 跨进程均值由 collective tail 主导；1h trace 又访问
b9--b15，故当前只接受 scoped TP4/b2 correction，不接受全局 b2--b8 lookup。
Go/no-go：
- low-load TPOT/E2E mean 绝对偏差各改善 ≥5 pp
- BC-8 topology order 恢复，且原 7-cell TTFT 任一 quantile 不恶化 >5 pp
统一输出格式
每个实验最终报告都分为：
Fact：原始测量与 paired metricInterpretation：支持/反驳哪条机制假设Decision：merge、回退、继续下一实验或停止