46 lines
4.2 KiB
Markdown
46 lines
4.2 KiB
Markdown
# 实验：Qwen235 Fixed-PD state-matched decode diagnosis
|
||
|
||
> **状态：** 已批准，执行中
|
||
>
|
||
> 本 card 记录 Qwen235 Fixed-PD 在真实 collective profile 后仍保留 30%+ selection regret 的下一层判因实验。
|
||
|
||
## Claim 与决策
|
||
|
||
- **Parent claim：** Qwen235 Fixed-PD 的错误排序来自 action-conditioned decode residual，而不是缺失的 TP8 all-reduce profile。
|
||
- **目的：** 区分 simulator 错在 state distribution，还是相同 state 下的 conditional execution-time composition。
|
||
- **Competing hypotheses：** H1：Frontier 生成的 decode batch/context/graph state 与真机不同；H2：state 对齐后 Frontier 仍把 TP8/EP8 预测得更快，误差位于 MoE/EP、graph 或 attention 的 conditional stage model。
|
||
- **事前预测：** 真机 config contrast 为 `TP8-TP4=+6.95 ms/token`，A1 simulator 为 `-20.07 ms/token`。若 H1 成立，用真实 state 重加权后 contrast 应翻正；若 H2 成立，matched-state contrast 仍为负。
|
||
- **判定规则：** 先比较 frozen-real coarse state 与 full-ledger Frontier state。state 明显不匹配则补 iteration telemetry；state 支持重叠且 matched-state predictor 仍反序，才进入 stage breakdown。任何 stage 只有在 measured substitution 能使 winner 翻转时才称为 decision-bearing root cause。
|
||
|
||
## Setup
|
||
|
||
- **自变量：** state source（frozen real / Frontier）；后续 matched-state replay 中固定 decode batch、context-length、graph bucket 与 routing load。
|
||
- **控制变量：** Qwen235 FP8、vLLM 0.20.0、H20、Fixed-PD 4096→256、0.2 req/s/GPU、MBT8192、MNS64、TP4/EP1 与 TP8/EP8、Frontier commit、r2 operator profiles、A1 measured collective CSV 全部冻结。
|
||
- **选择 MNS64：** A1 中 MNS64/128 的 TTFT/TPOT/E2E 完全相同；先去掉不提供判别力的重复维度。
|
||
- **第一阶段：** CPU-only 重放原 A1 commands，只打开 `frontier_stage_batch_ledger` 与 individual batch metrics；验证 request metrics 与原 A1 bitwise/score 等价。真机先复用 3 次 frozen server logs 的 10 秒 Running/Waiting/KV samples，明确标为 coarse proxy，不冒充 per-iteration batch。
|
||
- **第二阶段触发条件：** coarse proxy 不足以判断或 state mismatch 显著时，短窗口重跑真机并采集 per-iteration `decode_batch_size/context_length_hist/cudagraph bucket`；否则进入 matched-state whole-decode-step。
|
||
- **Metrics：** decode batch/token distribution、prefill fraction、scheduler steps/s、graph bucket/padding、queue/KV proxy；configuration contrast `TP8-TP4`；stage measured-substitution 后的 winner。
|
||
|
||
## 预期产物与 review
|
||
|
||
- **预期数据：** 两个 Frontier full-ledger replays；三次真机日志的 coarse state summary；state overlap/reweighting verdict；必要时的 short-window iteration telemetry。
|
||
- **Figure prototype：** `../../runs/frontier-fidelity-envelope-v1/qwen235-state-matched-diagnosis-mock.png`。左图对比 real/sim state；右图展示 H1 与 H2 下 matched-state contrast 的可区分方向。全部数值标为 schematic/mock。
|
||
- **人工 review：** 已批准（用户在分析方案后要求“推进”）。
|
||
- **Review 意见：** 先做最便宜的 state audit，不直接启动完整 Nsight sweep；每一步只在能改变下一决策时升级证据成本。
|
||
|
||
## 复现信息
|
||
|
||
- **Code：** AITuner `feature/sim`；运行 commit 待冻结。Frontier `6e8e0d845bceff11b0b62cb29df3a1a93411fdd4`。
|
||
- **Environment：** dash0；Frontier replay CPU-only；后续真机才使用 4/8×H20。
|
||
- **输入：** `/home/admin/cpfs/wjh/aituner/qwen235-collective-profile-ablation-20260719-r1/sim/fixed-pd` 与 frozen real campaign `/home/admin/cpfs/wjh/aituner/qwen235-v020-fourcase-20260719-r1/real/fixed-pd`。
|
||
- **产物路径：** `/home/admin/cpfs/wjh/aituner/qwen235-fixed-pd-state-diagnosis-20260719-r1`。
|
||
- **已知 deviation：** frozen real logs 的 Running 指标是 10 秒采样的 active-request proxy，不是 scheduler iteration ledger；不能单独支持 matched-state causal claim。
|
||
|
||
## 结果
|
||
|
||
- **观察事实：** 待运行。
|
||
- **异常：** 待运行。
|
||
- **含义：** 待运行。
|
||
- **Claim update：** unchanged
|
||
- **下一步：** 运行两项 CPU state replay 与 coarse real-state analysis。
|