69 lines
3.5 KiB
Markdown
69 lines
3.5 KiB
Markdown
# 实验 EXP-DECODE-BATCH-GRID：BC-8 是否可由稳定 whole-layer b2--b8 curve 修复
|
||
|
||
> **状态：** entry gate PASS，待 TP4/b2 GPU smoke
|
||
>
|
||
> Parent campaign：[`../frontier-simulator-gap-campaign-v0/README.md`](../frontier-simulator-gap-campaign-v0/README.md)
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23%；
|
||
历史 BC-8 knee-right 真机排序为 `TP2<TP4<TP1`，sim 为
|
||
`TP2<TP1<TP4`。这是当前最明显的 decode/state residual。
|
||
- **目的：** 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复，
|
||
还是必须进入 event-level admission/batch-formation 建模。
|
||
- **Competing hypotheses：**
|
||
- H1：现有 b2 service sample 不稳定或 b>4 常数外推，导致 TP4 residence
|
||
被高估；稳定 whole-layer curve 可恢复排序。
|
||
- H2：给定 batch 的 whole-layer curve 已准，错误来自 simulator 与 vLLM
|
||
batch formation/event semantics 不同。
|
||
- **事前预测：** 若 H1 成立，TP4/b2 repeat CV≤10%，其 median 比当前进入
|
||
BC-8 的 curve 低至少 0.5 ms，注入后 `TP4<TP1`；若 H2 成立，
|
||
same-state residual <0.5 ms，但 BC-8 排序仍错。
|
||
- **判定规则：**
|
||
- 先做 TP4/b2 两个 fresh-process repeats；CV>10% 时追加第三次，取
|
||
median，不允许从单次 favorable sample 选值。
|
||
- smoke 稳定后补 TP2/TP4 × b{2,4,6,8}；b>4 不再使用 b4 常数外推。
|
||
- whole-layer 注入只替换 pure-decode service curve，不改变 prefill。
|
||
- BC-8 排序仍错则停止 profile 修补，升级 event-level state telemetry。
|
||
|
||
## Setup
|
||
|
||
- **自变量：** TP `{2,4}`；pure-decode batch `{2,4,6,8}`；fresh-process
|
||
repeat `{1,2}`，不稳定 cell 追加 repeat 3。
|
||
- **控制变量：** Qwen3-30B-A3B BF16；H20；vLLM 0.20；context=2048；
|
||
output=128；graph-on；MNS=16；no prefix caching；同模型/runtime/cache。
|
||
- **Hardware：** dash1--dash4；每轮调度前要求目标主机 8×H20
|
||
idle/healthy。每主机同时只启动一个 engine，避免 CPU/JIT contention。
|
||
- **Metrics：** critical-rank execute wall；MoE/attention/collective/other
|
||
kernels；repeat median/CV；sim same-state residual；BC-8 TPOT 完整排序。
|
||
- **Baselines：**
|
||
- 旧 serving grid：TP4/b2 execute=`5.044 ms`，单 process 内
|
||
population std=`1.561 ms`，不足以进入判决链。
|
||
- BC-8：real `4.305<4.449<4.876 ms`；sim
|
||
`5.12<5.49<5.86 ms`（TP2/TP4/TP1 对应完整排序见结果审计）。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** 每 cell trace、request result、runtime/GPU provenance；
|
||
`results/grid.json`；BC-8 counterfactual 与 verdict。
|
||
- **Figure prototype：** `figure-prototype.png`。左图画 b2 repeat instability
|
||
与目标 CI，右图画 BC-8 real/sim/corrected 排序。
|
||
- **人工 review：** campaign 已批准按第三优先级推进。
|
||
- **Review 意见：** 先 TP4/b2 smoke；不在稳定性 gate 前铺完整网格。
|
||
|
||
## 复现信息
|
||
|
||
- **Frontier baseline：** `deadc4a321f0baaa534c6ebd17f974123733cdc2`；
|
||
joint serving-path curves + structured-attention analysis branch。
|
||
- **Remote：** 复用 dash1 的 clean detached experiment worktree；canonical
|
||
checkout 的用户 dirty changes 不动。
|
||
- **Known limits：** 固定 2048→128 state-matched workload；本实验只支持
|
||
decode curve 与 BC-8，不外推到 chat prefill shape 或其它模型。
|
||
|
||
## 结果
|
||
|
||
- **Entry gate：** PASS。TP4 1h trace TPOT mean 正偏
|
||
`+10.6%--+23.0%`，E2E mean `+9.8%--+19.2%`；BC-8 完整排序仍错。
|
||
- **观察事实：** 待 GPU。
|
||
- **Decision：** 待 GPU。
|