Add Qwen235 state replay diagnosis

This commit is contained in:
2026-07-19 18:31:47 +08:00
parent 10567da523
commit 5927b6bfc3
5 changed files with 476 additions and 0 deletions

View File

@@ -0,0 +1,45 @@
# 实验Qwen235 Fixed-PD state-matched decode diagnosis
> **状态:** 已批准,执行中
>
> 本 card 记录 Qwen235 Fixed-PD 在真实 collective profile 后仍保留 30%+ selection regret 的下一层判因实验。
## Claim 与决策
- **Parent claim** Qwen235 Fixed-PD 的错误排序来自 action-conditioned decode residual而不是缺失的 TP8 all-reduce profile。
- **目的:** 区分 simulator 错在 state distribution还是相同 state 下的 conditional execution-time composition。
- **Competing hypotheses** H1Frontier 生成的 decode batch/context/graph state 与真机不同H2state 对齐后 Frontier 仍把 TP8/EP8 预测得更快,误差位于 MoE/EP、graph 或 attention 的 conditional stage model。
- **事前预测:** 真机 config contrast 为 `TP8-TP4=+6.95 ms/token`A1 simulator 为 `-20.07 ms/token`。若 H1 成立,用真实 state 重加权后 contrast 应翻正;若 H2 成立matched-state contrast 仍为负。
- **判定规则:** 先比较 frozen-real coarse state 与 full-ledger Frontier state。state 明显不匹配则补 iteration telemetrystate 支持重叠且 matched-state predictor 仍反序,才进入 stage breakdown。任何 stage 只有在 measured substitution 能使 winner 翻转时才称为 decision-bearing root cause。
## Setup
- **自变量:** state sourcefrozen real / Frontier后续 matched-state replay 中固定 decode batch、context-length、graph bucket 与 routing load。
- **控制变量:** Qwen235 FP8、vLLM 0.20.0、H20、Fixed-PD 4096→256、0.2 req/s/GPU、MBT8192、MNS64、TP4/EP1 与 TP8/EP8、Frontier commit、r2 operator profiles、A1 measured collective CSV 全部冻结。
- **选择 MNS64** A1 中 MNS64/128 的 TTFT/TPOT/E2E 完全相同;先去掉不提供判别力的重复维度。
- **第一阶段:** CPU-only 重放原 A1 commands只打开 `frontier_stage_batch_ledger` 与 individual batch metrics验证 request metrics 与原 A1 bitwise/score 等价。真机先复用 3 次 frozen server logs 的 10 秒 Running/Waiting/KV samples明确标为 coarse proxy不冒充 per-iteration batch。
- **第二阶段触发条件:** coarse proxy 不足以判断或 state mismatch 显著时,短窗口重跑真机并采集 per-iteration `decode_batch_size/context_length_hist/cudagraph bucket`;否则进入 matched-state whole-decode-step。
- **Metrics** decode batch/token distribution、prefill fraction、scheduler steps/s、graph bucket/padding、queue/KV proxyconfiguration contrast `TP8-TP4`stage measured-substitution 后的 winner。
## 预期产物与 review
- **预期数据:** 两个 Frontier full-ledger replays三次真机日志的 coarse state summarystate overlap/reweighting verdict必要时的 short-window iteration telemetry。
- **Figure prototype** `../../runs/frontier-fidelity-envelope-v1/qwen235-state-matched-diagnosis-mock.png`。左图对比 real/sim state右图展示 H1 与 H2 下 matched-state contrast 的可区分方向。全部数值标为 schematic/mock。
- **人工 review** 已批准(用户在分析方案后要求“推进”)。
- **Review 意见:** 先做最便宜的 state audit不直接启动完整 Nsight sweep每一步只在能改变下一决策时升级证据成本。
## 复现信息
- **Code** AITuner `feature/sim`;运行 commit 待冻结。Frontier `6e8e0d845bceff11b0b62cb29df3a1a93411fdd4`
- **Environment** dash0Frontier replay CPU-only后续真机才使用 4/8×H20。
- **输入:** `/home/admin/cpfs/wjh/aituner/qwen235-collective-profile-ablation-20260719-r1/sim/fixed-pd` 与 frozen real campaign `/home/admin/cpfs/wjh/aituner/qwen235-v020-fourcase-20260719-r1/real/fixed-pd`
- **产物路径:** `/home/admin/cpfs/wjh/aituner/qwen235-fixed-pd-state-diagnosis-20260719-r1`
- **已知 deviation** frozen real logs 的 Running 指标是 10 秒采样的 active-request proxy不是 scheduler iteration ledger不能单独支持 matched-state causal claim。
## 结果
- **观察事实:** 待运行。
- **异常:** 待运行。
- **含义:** 待运行。
- **Claim update** unchanged
- **下一步:** 运行两项 CPU state replay 与 coarse real-state analysis。