80 lines
4.1 KiB
Markdown
80 lines
4.1 KiB
Markdown
# 实验 EXP-TP2-PREFILL-SERVING：TP2 base-prefill residual 是否来自 serving-path MoE
|
||
|
||
> **状态：** GPU smoke harness 已冻结，待远端执行
|
||
>
|
||
> Parent campaign：[`../frontier-simulator-gap-campaign-v0/README.md`](../frontier-simulator-gap-campaign-v0/README.md)
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** structured predictor 后，单请求 q8k/ctx0 的 TP2 sim chunk
|
||
仍为 356 ms，而 real anchor 为 410 ms（−13.1%）；TP4 为 231.3 vs
|
||
231 ms。剩余量是 TP2 独有的 base serving-path residual。
|
||
- **目的：** 判断约 54 ms/chunk 是否可由 TP2 prefill MoE 的
|
||
tactic/warmup/routing/serving composition 工程修复。
|
||
- **Competing hypotheses：**
|
||
- H1：standalone grouped-GEMM 在 TP2 的 q8k expert shape 上过于乐观；
|
||
warm real-routing 或 serving-path trace 会比当前 171.1 ms/chunk 高 ≥10%。
|
||
- H2：MoE 三臂接近，残差位于其它 whole-layer/host/event path。
|
||
- **事前预测：** 若 H1 成立，serving-path MoE 增量接近 54 ms，并且只注入
|
||
TP2 row 后 chunk0 residual 降至 ≤5%；若 H2 成立，三臂差异 <10%。
|
||
- **判定规则：**
|
||
- 先用一个 TP2 q8k smoke 验证 prefill execute annotation 与 kernel
|
||
component 可提取。
|
||
- B/C 相对 A 都无稳定 ≥10% shift → 停止 profile 注入，转 whole-layer。
|
||
- C 解释 ≥70% 的 54 ms residual → 注入 TP2，重放两个 TP2 trace cell。
|
||
|
||
## Setup
|
||
|
||
- **自变量：**
|
||
- A：当前 Frontier standalone profile/predictor，TP2 q8k/ctx0
|
||
`moe_grouped_gemm=171.118 ms/chunk`。
|
||
- B：相同 expert GEMM shapes，充分 warmup/autotune，使用 serving trace
|
||
抽取的 routing allocation。
|
||
- C：vLLM 0.20 graph-aligned serving path 的 q8k prefill execute，按最慢
|
||
TP rank 汇总 MoE kernels。
|
||
- **控制变量：** Qwen3-30B-A3B BF16；H20；TP2/EP1；q8k/ctx0；同模型、
|
||
runtime、FlashInfer workspace、CUDA/driver；TP4 仅作 control anchor。
|
||
- **Hardware：** 只用 `dash1`--`dash4`；运行前要求目标主机 8×H20 全部
|
||
idle/healthy。每个 arm fresh process，避免 profiler one-shot 与 tactic cache
|
||
交叉污染。
|
||
- **Smoke contract：** q8192→2，TP2，8192 max batched tokens；同一 fresh
|
||
process 先执行 2 次 profiler-off warmup，再 profile 1 次请求。每个 rank
|
||
选择 duration 最大的 `execute_*` annotation 作为 prefill window，critical
|
||
path 取 wall 最大的 rank。
|
||
- **Metrics：** chunk execute wall；MoE/attention/collective/other kernel ms；
|
||
最慢 rank；独立 process repeat；注入后的 chunk residual 与 TTFT/E2E。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** `results/entry-audit.json`；三臂 trace/provenance；component
|
||
对照；TP2 counterfactual replay。
|
||
- **Figure prototype：** `figure-prototype.png`；左图为 TP2/TP4 q8k chunk
|
||
real vs sim，右图为三臂 MoE 事前预测。
|
||
- **人工 review：** campaign 已批准；entry gate 已通过。
|
||
- **Review 意见：** 先单 TP2 smoke；只有 annotation 与 component contract
|
||
通过才扩为 repeat/control，不先铺满 GPU 网格。
|
||
|
||
## 复现信息
|
||
|
||
- **Code：** 当前 aituner worktree；serving profiler 复用
|
||
`runs/frontier-component-residual-v0` 的 vLLM/Kineto harness。
|
||
- **Environment：** vLLM 0.20.0；H20；remote repo
|
||
`/home/admin/cpfs/wjh/aituner/aituner`。
|
||
- **产物路径：** 本目录。
|
||
- **已知 deviation：** real 410/231 ms 是已冻结的 pure-prefill chunk anchor；
|
||
本实验不重新声称它来自当前 1h trace 的在线 batch。
|
||
|
||
## 结果
|
||
|
||
- **Entry audit：** PASS。TP2 q8k/ctx0 structured sim=`356.25 ms`，
|
||
real=`410 ms`，bias=`−13.11%`；TP4=`231.33 vs 231 ms`。TP2
|
||
component ledger 中 MoE=`171.12 ms`，若单独解释 residual 需增至约
|
||
`224.9 ms`（+31.4%）。
|
||
- **观察事实：** 待 GPU。
|
||
- **Fleet preflight（2026-07-23）：** dash1--dash4 均为 8×H20；32 张卡
|
||
`memory.used=0 MiB`、`utilization=0%`，无 compute process。dry-run 选择
|
||
`dash1:[0,1]`，正式 job 已 pin 到 dash1。
|
||
- **含义：** 待 GPU。
|
||
- **Claim update：** unchanged。
|
||
- **下一步：** probe fleet；运行 TP2 serving-path prefill smoke。
|