aituner/runs/frontier-decode-batch-grid-v0/experiment-card.md

实验 EXP-DECODE-BATCH-GRID：BC-8 是否可由稳定 whole-layer b2--b8 curve 修复

状态： entry gate PASS，待 TP4/b2 GPU smoke

Parent campaign：../frontier-simulator-gap-campaign-v0/README.md

Claim 与决策

• Parent claim： 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23%； 历史 BC-8 knee-right 真机排序为 TP2<TP4<TP1，sim 为 TP2<TP1<TP4。这是当前最明显的 decode/state residual。
• 目的： 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复， 还是必须进入 event-level admission/batch-formation 建模。
• Competing hypotheses：
  • H1：现有 b2 service sample 不稳定或 b>4 常数外推，导致 TP4 residence 被高估；稳定 whole-layer curve 可恢复排序。
  • H2：给定 batch 的 whole-layer curve 已准，错误来自 simulator 与 vLLM batch formation/event semantics 不同。
• 事前预测： 若 H1 成立，TP4/b2 repeat CV≤10%，其 median 比当前进入 BC-8 的 curve 低至少 0.5 ms，注入后 TP4<TP1；若 H2 成立， same-state residual <0.5 ms，但 BC-8 排序仍错。
• 判定规则：
  • 先做 TP4/b2 两个 fresh-process repeats；CV>10% 时追加第三次，取 median，不允许从单次 favorable sample 选值。
  • smoke 稳定后补 TP2/TP4 × b{2,4,6,8}；b>4 不再使用 b4 常数外推。
  • whole-layer 注入只替换 pure-decode service curve，不改变 prefill。
  • BC-8 排序仍错则停止 profile 修补，升级 event-level state telemetry。

Setup

• 自变量： TP {2,4}；pure-decode batch {2,4,6,8}；fresh-process repeat {1,2}，不稳定 cell 追加 repeat 3。
• 控制变量： Qwen3-30B-A3B BF16；H20；vLLM 0.20；context=2048； output=128；graph-on；MNS=16；no prefix caching；同模型/runtime/cache。
• Hardware： dash1--dash4；每轮调度前要求目标主机 8×H20 idle/healthy。每主机同时只启动一个 engine，避免 CPU/JIT contention。
• Metrics： critical-rank execute wall；MoE/attention/collective/other kernels；repeat median/CV；sim same-state residual；BC-8 TPOT 完整排序。
• Baselines：
  • 旧 serving grid：TP4/b2 execute=5.044 ms，单 process 内 population std=1.561 ms，不足以进入判决链。
  • BC-8：real 4.305<4.449<4.876 ms；sim 5.12<5.49<5.86 ms（TP2/TP4/TP1 对应完整排序见结果审计）。

预期产物与 review

• 预期数据： 每 cell trace、request result、runtime/GPU provenance； results/grid.json；BC-8 counterfactual 与 verdict。
• Figure prototype： figure-prototype.png。左图画 b2 repeat instability 与目标 CI，右图画 BC-8 real/sim/corrected 排序。
• 人工 review： campaign 已批准按第三优先级推进。
• Review 意见： 先 TP4/b2 smoke；不在稳定性 gate 前铺完整网格。

复现信息

• Frontier baseline： deadc4a321f0baaa534c6ebd17f974123733cdc2； joint serving-path curves + structured-attention analysis branch。
• Remote： 复用 dash1 的 clean detached experiment worktree；canonical checkout 的用户 dirty changes 不动。
• Known limits： 固定 2048→128 state-matched workload；本实验只支持 decode curve 与 BC-8，不外推到 chat prefill shape 或其它模型。

结果

• Entry gate： PASS。TP4 1h trace TPOT mean 正偏 +10.6%--+23.0%，E2E mean +9.8%--+19.2%；BC-8 完整排序仍错。
• 观察事实： 待 GPU。
• Decision： 待 GPU。