103 lines
5.6 KiB
Markdown
103 lines
5.6 KiB
Markdown
# 实验 EXP-DECODE-BATCH-GRID：BC-8 是否可由稳定 whole-layer b2--b8 curve 修复
|
||
|
||
> **状态：** COMPLETED；BC-8 排序工程修复成立，global curve merge 暂停
|
||
>
|
||
> Parent campaign：[`../frontier-simulator-gap-campaign-v0/README.md`](../frontier-simulator-gap-campaign-v0/README.md)
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23%；
|
||
历史 BC-8 knee-right 真机排序为 `TP2<TP4<TP1`，sim 为
|
||
`TP2<TP1<TP4`。这是当前最明显的 decode/state residual。
|
||
- **目的：** 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复，
|
||
还是必须进入 event-level admission/batch-formation 建模。
|
||
- **Competing hypotheses：**
|
||
- H1：现有 b2 service sample 不稳定或 b>4 常数外推，导致 TP4 residence
|
||
被高估；稳定 whole-layer curve 可恢复排序。
|
||
- H2：给定 batch 的 whole-layer curve 已准，错误来自 simulator 与 vLLM
|
||
batch formation/event semantics 不同。
|
||
- **事前预测：** 若 H1 成立，TP4/b2 repeat CV≤10%，其 median 比当前进入
|
||
BC-8 的 curve 低至少 0.5 ms，注入后 `TP4<TP1`；若 H2 成立，
|
||
same-state residual <0.5 ms，但 BC-8 排序仍错。
|
||
- **判定规则：**
|
||
- 先做 TP4/b2 两个 fresh-process repeats；CV>10% 时追加第三次，取
|
||
median，不允许从单次 favorable sample 选值。
|
||
- smoke 稳定后补 TP2/TP4 × b{2,4,6,8}；b>4 不再使用 b4 常数外推。
|
||
- whole-layer 注入只替换 pure-decode service curve，不改变 prefill。
|
||
- BC-8 排序仍错则停止 profile 修补，升级 event-level state telemetry。
|
||
|
||
## Setup
|
||
|
||
- **自变量：** TP `{2,4}`；pure-decode batch `{2,4,6,8}`；fresh-process
|
||
repeat `{1,2}`，不稳定 cell 追加 repeat 3。
|
||
- **控制变量：** Qwen3-30B-A3B BF16；H20；vLLM 0.20；context=2048；
|
||
output=128；graph-on；MNS=16；no prefix caching；同模型/runtime/cache。
|
||
- **Hardware：** dash1--dash4；每轮调度前要求目标主机 8×H20
|
||
idle/healthy。每主机同时只启动一个 engine，避免 CPU/JIT contention。
|
||
- **Metrics：** critical-rank execute wall；MoE/attention/collective/other
|
||
kernels；repeat median/CV；sim same-state residual；BC-8 TPOT 完整排序。
|
||
- **Baselines：**
|
||
- 旧 serving grid：TP4/b2 execute=`5.044 ms`，单 process 内
|
||
population std=`1.561 ms`，不足以进入判决链。
|
||
- BC-8：real `4.305<4.449<4.876 ms`；sim
|
||
`5.12<5.49<5.86 ms`（TP2/TP4/TP1 对应完整排序见结果审计）。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** 每 cell trace、request result、runtime/GPU provenance；
|
||
`results/grid.json`；BC-8 counterfactual 与 verdict。
|
||
- **Figure prototype：** `figure-prototype.png`。左图画 b2 repeat instability
|
||
与目标 CI，右图画 BC-8 real/sim/corrected 排序。
|
||
- **人工 review：** campaign 已批准按第三优先级推进。
|
||
- **Review 意见：** 先 TP4/b2 smoke；不在稳定性 gate 前铺完整网格。
|
||
|
||
## 复现信息
|
||
|
||
- **Frontier baseline：** `deadc4a321f0baaa534c6ebd17f974123733cdc2`；
|
||
CPU replay 使用既有 joint serving-path curves，未合入 EXP-1 rejected patch。
|
||
- **Remote：** dash1--dash4 共享 clean detached experiment worktree
|
||
`ecc559938132851d61bf22daa55cea9658807dfa`；canonical checkout 的用户
|
||
dirty changes 未改动。
|
||
- **Known limits：** 固定 2048→128 state-matched workload；本实验只支持
|
||
decode curve 与 BC-8，不外推到 chat prefill shape 或其它模型。
|
||
|
||
## 结果
|
||
|
||
- **Entry gate：** PASS。TP4 1h trace TPOT mean 正偏
|
||
`+10.6%--+23.0%`，E2E mean `+9.8%--+19.2%`；BC-8 完整排序仍错。
|
||
- **TP4/b2 smoke：** 两个 fresh-process critical-rank execute mean 分别为
|
||
`4.6263 ms` 和 `4.6201 ms`，跨 repeat CV=`0.067%`，稳定性 gate
|
||
PASS，无需 repeat 3。median=`4.6232 ms`，比旧样本 `5.044 ms` 低
|
||
`0.421 ms`；方向支持 H1，但未达到事前 `>=0.5 ms` 的强证据阈值。
|
||
- **Full grid：**
|
||
|
||
| Cell | fresh-process execute mean (ms) | median (ms) | initial CV |
|
||
|---|---:|---:|---:|
|
||
| TP2/b2 | 4.761 / 4.730 | 4.746 | 0.33% |
|
||
| TP2/b4 | 5.294 / 5.607 | 5.451 | 2.87% |
|
||
| TP2/b6 | 6.571 / 6.938 | 6.754 | 2.72% |
|
||
| TP2/b8 | 5.967 / 6.309 | 6.138 | 2.78% |
|
||
| TP4/b2 | 4.626 / 4.620 | 4.623 | 0.07% |
|
||
| TP4/b4 | 4.516 / 4.727 | 4.622 | 2.27% |
|
||
| TP4/b6 | 5.433 / 10.157 / 8.634 | 8.634 | 30.30% |
|
||
| TP4/b8 | 4.898 / 5.047 | 4.972 | 1.50% |
|
||
|
||
- **TP4/b6 instability：** r2/r3 的 MoE 与 attention 基本不变，均值波动由
|
||
同步 collective 长尾造成；三个 run 的 step p50 仍约 `5.18--5.49 ms`。
|
||
依预注册规则追加 r3 并取三次中位数，但该 cell 不能视为稳定 deterministic
|
||
service constant。
|
||
- **BC-8 exact replay：** replay 仅访问 b1/b2，因此没有使用 b6 或任何
|
||
插值/外推。TP4/b2 whole-layer override 将 TP4 sim TPOT
|
||
`5.864→5.367 ms`，残差 `+1.414→+0.918 ms`（MNS16）和
|
||
`+1.498→+1.001 ms`（MNS32）；MNS16 完整排序从
|
||
`TP2<TP1<TP4` 恢复为真实的 `TP2<TP4<TP1`。sim b>1 stage fraction
|
||
`48.15%→37.47%`。
|
||
- **7-cell support audit：** 最新 1h cells 的 decode batch 最大到
|
||
`b6--b15`，而本实验 measured support 只到 b8；TP4/b6 又未通过
|
||
deterministic-mean 稳定性。为避免重新引入 b8 constant extrapolation，
|
||
不执行全局 7-cell injection，也不把整条 b2--b8 curve 合入默认 predictor。
|
||
- **Decision：** H1 对 BC-8 成立，排序 gap 属于可工程修复的 TP4/b2
|
||
whole-layer service residual；但绝对残差、MNS tie 和高 batch collective
|
||
tail 仍需 event/distribution-aware 模型。建议先合入受作用域保护的 TP4/b2
|
||
correction，再补 b9--b16 与 collective-tail telemetry 后开启 global merge。
|