5.6 KiB
实验 EXP-DECODE-BATCH-GRID:BC-8 是否可由稳定 whole-layer b2--b8 curve 修复
状态: COMPLETED;BC-8 排序工程修复成立,global curve merge 暂停
Parent campaign:
../frontier-simulator-gap-campaign-v0/README.md
Claim 与决策
- Parent claim: 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23%;
历史 BC-8 knee-right 真机排序为
TP2<TP4<TP1,sim 为TP2<TP1<TP4。这是当前最明显的 decode/state residual。 - 目的: 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复, 还是必须进入 event-level admission/batch-formation 建模。
- Competing hypotheses:
- H1:现有 b2 service sample 不稳定或 b>4 常数外推,导致 TP4 residence 被高估;稳定 whole-layer curve 可恢复排序。
- H2:给定 batch 的 whole-layer curve 已准,错误来自 simulator 与 vLLM batch formation/event semantics 不同。
- 事前预测: 若 H1 成立,TP4/b2 repeat CV≤10%,其 median 比当前进入
BC-8 的 curve 低至少 0.5 ms,注入后
TP4<TP1;若 H2 成立, same-state residual <0.5 ms,但 BC-8 排序仍错。 - 判定规则:
- 先做 TP4/b2 两个 fresh-process repeats;CV>10% 时追加第三次,取 median,不允许从单次 favorable sample 选值。
- smoke 稳定后补 TP2/TP4 × b{2,4,6,8};b>4 不再使用 b4 常数外推。
- whole-layer 注入只替换 pure-decode service curve,不改变 prefill。
- BC-8 排序仍错则停止 profile 修补,升级 event-level state telemetry。
Setup
- 自变量: TP
{2,4};pure-decode batch{2,4,6,8};fresh-process repeat{1,2},不稳定 cell 追加 repeat 3。 - 控制变量: Qwen3-30B-A3B BF16;H20;vLLM 0.20;context=2048; output=128;graph-on;MNS=16;no prefix caching;同模型/runtime/cache。
- Hardware: dash1--dash4;每轮调度前要求目标主机 8×H20 idle/healthy。每主机同时只启动一个 engine,避免 CPU/JIT contention。
- Metrics: critical-rank execute wall;MoE/attention/collective/other kernels;repeat median/CV;sim same-state residual;BC-8 TPOT 完整排序。
- Baselines:
- 旧 serving grid:TP4/b2 execute=
5.044 ms,单 process 内 population std=1.561 ms,不足以进入判决链。 - BC-8:real
4.305<4.449<4.876 ms;sim5.12<5.49<5.86 ms(TP2/TP4/TP1 对应完整排序见结果审计)。
- 旧 serving grid:TP4/b2 execute=
预期产物与 review
- 预期数据: 每 cell trace、request result、runtime/GPU provenance;
results/grid.json;BC-8 counterfactual 与 verdict。 - Figure prototype:
figure-prototype.png。左图画 b2 repeat instability 与目标 CI,右图画 BC-8 real/sim/corrected 排序。 - 人工 review: campaign 已批准按第三优先级推进。
- Review 意见: 先 TP4/b2 smoke;不在稳定性 gate 前铺完整网格。
复现信息
- Frontier baseline:
deadc4a321f0baaa534c6ebd17f974123733cdc2; CPU replay 使用既有 joint serving-path curves,未合入 EXP-1 rejected patch。 - Remote: dash1--dash4 共享 clean detached experiment worktree
ecc559938132851d61bf22daa55cea9658807dfa;canonical checkout 的用户 dirty changes 未改动。 - Known limits: 固定 2048→128 state-matched workload;本实验只支持 decode curve 与 BC-8,不外推到 chat prefill shape 或其它模型。
结果
-
Entry gate: PASS。TP4 1h trace TPOT mean 正偏
+10.6%--+23.0%,E2E mean+9.8%--+19.2%;BC-8 完整排序仍错。 -
TP4/b2 smoke: 两个 fresh-process critical-rank execute mean 分别为
4.6263 ms和4.6201 ms,跨 repeat CV=0.067%,稳定性 gate PASS,无需 repeat 3。median=4.6232 ms,比旧样本5.044 ms低0.421 ms;方向支持 H1,但未达到事前>=0.5 ms的强证据阈值。 -
Full grid:
Cell fresh-process execute mean (ms) median (ms) initial CV TP2/b2 4.761 / 4.730 4.746 0.33% TP2/b4 5.294 / 5.607 5.451 2.87% TP2/b6 6.571 / 6.938 6.754 2.72% TP2/b8 5.967 / 6.309 6.138 2.78% TP4/b2 4.626 / 4.620 4.623 0.07% TP4/b4 4.516 / 4.727 4.622 2.27% TP4/b6 5.433 / 10.157 / 8.634 8.634 30.30% TP4/b8 4.898 / 5.047 4.972 1.50% -
TP4/b6 instability: r2/r3 的 MoE 与 attention 基本不变,均值波动由 同步 collective 长尾造成;三个 run 的 step p50 仍约
5.18--5.49 ms。 依预注册规则追加 r3 并取三次中位数,但该 cell 不能视为稳定 deterministic service constant。 -
BC-8 exact replay: replay 仅访问 b1/b2,因此没有使用 b6 或任何 插值/外推。TP4/b2 whole-layer override 将 TP4 sim TPOT
5.864→5.367 ms,残差+1.414→+0.918 ms(MNS16)和+1.498→+1.001 ms(MNS32);MNS16 完整排序从TP2<TP1<TP4恢复为真实的TP2<TP4<TP1。sim b>1 stage fraction48.15%→37.47%。 -
7-cell support audit: 最新 1h cells 的 decode batch 最大到
b6--b15,而本实验 measured support 只到 b8;TP4/b6 又未通过 deterministic-mean 稳定性。为避免重新引入 b8 constant extrapolation, 不执行全局 7-cell injection,也不把整条 b2--b8 curve 合入默认 predictor。 -
Decision: H1 对 BC-8 成立,排序 gap 属于可工程修复的 TP4/b2 whole-layer service residual;但绝对残差、MNS tie 和高 batch collective tail 仍需 event/distribution-aware 模型。建议先合入受作用域保护的 TP4/b2 correction,再补 b9--b16 与 collective-tail telemetry 后开启 global merge。