4.0 KiB
4.0 KiB
实验 EXP-DECODE-BATCH-GRID:BC-8 是否可由稳定 whole-layer b2--b8 curve 修复
状态: TP4/b2 stability gate PASS,扩展 full grid
Parent campaign:
../frontier-simulator-gap-campaign-v0/README.md
Claim 与决策
- Parent claim: 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23%;
历史 BC-8 knee-right 真机排序为
TP2<TP4<TP1,sim 为TP2<TP1<TP4。这是当前最明显的 decode/state residual。 - 目的: 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复, 还是必须进入 event-level admission/batch-formation 建模。
- Competing hypotheses:
- H1:现有 b2 service sample 不稳定或 b>4 常数外推,导致 TP4 residence 被高估;稳定 whole-layer curve 可恢复排序。
- H2:给定 batch 的 whole-layer curve 已准,错误来自 simulator 与 vLLM batch formation/event semantics 不同。
- 事前预测: 若 H1 成立,TP4/b2 repeat CV≤10%,其 median 比当前进入
BC-8 的 curve 低至少 0.5 ms,注入后
TP4<TP1;若 H2 成立, same-state residual <0.5 ms,但 BC-8 排序仍错。 - 判定规则:
- 先做 TP4/b2 两个 fresh-process repeats;CV>10% 时追加第三次,取 median,不允许从单次 favorable sample 选值。
- smoke 稳定后补 TP2/TP4 × b{2,4,6,8};b>4 不再使用 b4 常数外推。
- whole-layer 注入只替换 pure-decode service curve,不改变 prefill。
- BC-8 排序仍错则停止 profile 修补,升级 event-level state telemetry。
Setup
- 自变量: TP
{2,4};pure-decode batch{2,4,6,8};fresh-process repeat{1,2},不稳定 cell 追加 repeat 3。 - 控制变量: Qwen3-30B-A3B BF16;H20;vLLM 0.20;context=2048; output=128;graph-on;MNS=16;no prefix caching;同模型/runtime/cache。
- Hardware: dash1--dash4;每轮调度前要求目标主机 8×H20 idle/healthy。每主机同时只启动一个 engine,避免 CPU/JIT contention。
- Metrics: critical-rank execute wall;MoE/attention/collective/other kernels;repeat median/CV;sim same-state residual;BC-8 TPOT 完整排序。
- Baselines:
- 旧 serving grid:TP4/b2 execute=
5.044 ms,单 process 内 population std=1.561 ms,不足以进入判决链。 - BC-8:real
4.305<4.449<4.876 ms;sim5.12<5.49<5.86 ms(TP2/TP4/TP1 对应完整排序见结果审计)。
- 旧 serving grid:TP4/b2 execute=
预期产物与 review
- 预期数据: 每 cell trace、request result、runtime/GPU provenance;
results/grid.json;BC-8 counterfactual 与 verdict。 - Figure prototype:
figure-prototype.png。左图画 b2 repeat instability 与目标 CI,右图画 BC-8 real/sim/corrected 排序。 - 人工 review: campaign 已批准按第三优先级推进。
- Review 意见: 先 TP4/b2 smoke;不在稳定性 gate 前铺完整网格。
复现信息
- Frontier baseline:
deadc4a321f0baaa534c6ebd17f974123733cdc2; joint serving-path curves + structured-attention analysis branch。 - Remote: 复用 dash1 的 clean detached experiment worktree;canonical checkout 的用户 dirty changes 不动。
- Known limits: 固定 2048→128 state-matched workload;本实验只支持 decode curve 与 BC-8,不外推到 chat prefill shape 或其它模型。
结果
- Entry gate: PASS。TP4 1h trace TPOT mean 正偏
+10.6%--+23.0%,E2E mean+9.8%--+19.2%;BC-8 完整排序仍错。 - TP4/b2 smoke: 两个 fresh-process critical-rank execute mean 分别为
4.6263 ms和4.6201 ms,跨 repeat CV=0.067%,稳定性 gate PASS,无需 repeat 3。median=4.6232 ms,比旧样本5.044 ms低0.421 ms;方向支持 H1,但未达到事前>=0.5 ms的强证据阈值。 - 观察事实: 旧 TP4/b2 的高方差主要是测量不稳定;是否足以修复 BC-8 仍须 full b2--b8 curve 与 trace replay。
- Decision: 待 GPU。