4.2 KiB
4.2 KiB
实验:Qwen235 Fixed-PD state-matched decode diagnosis
状态: 已批准,执行中
本 card 记录 Qwen235 Fixed-PD 在真实 collective profile 后仍保留 30%+ selection regret 的下一层判因实验。
Claim 与决策
- Parent claim: Qwen235 Fixed-PD 的错误排序来自 action-conditioned decode residual,而不是缺失的 TP8 all-reduce profile。
- 目的: 区分 simulator 错在 state distribution,还是相同 state 下的 conditional execution-time composition。
- Competing hypotheses: H1:Frontier 生成的 decode batch/context/graph state 与真机不同;H2:state 对齐后 Frontier 仍把 TP8/EP8 预测得更快,误差位于 MoE/EP、graph 或 attention 的 conditional stage model。
- 事前预测: 真机 config contrast 为
TP8-TP4=+6.95 ms/token,A1 simulator 为-20.07 ms/token。若 H1 成立,用真实 state 重加权后 contrast 应翻正;若 H2 成立,matched-state contrast 仍为负。 - 判定规则: 先比较 frozen-real coarse state 与 full-ledger Frontier state。state 明显不匹配则补 iteration telemetry;state 支持重叠且 matched-state predictor 仍反序,才进入 stage breakdown。任何 stage 只有在 measured substitution 能使 winner 翻转时才称为 decision-bearing root cause。
Setup
- 自变量: state source(frozen real / Frontier);后续 matched-state replay 中固定 decode batch、context-length、graph bucket 与 routing load。
- 控制变量: Qwen235 FP8、vLLM 0.20.0、H20、Fixed-PD 4096→256、0.2 req/s/GPU、MBT8192、MNS64、TP4/EP1 与 TP8/EP8、Frontier commit、r2 operator profiles、A1 measured collective CSV 全部冻结。
- 选择 MNS64: A1 中 MNS64/128 的 TTFT/TPOT/E2E 完全相同;先去掉不提供判别力的重复维度。
- 第一阶段: CPU-only 重放原 A1 commands,只打开
frontier_stage_batch_ledger与 individual batch metrics;验证 request metrics 与原 A1 bitwise/score 等价。真机先复用 3 次 frozen server logs 的 10 秒 Running/Waiting/KV samples,明确标为 coarse proxy,不冒充 per-iteration batch。 - 第二阶段触发条件: coarse proxy 不足以判断或 state mismatch 显著时,短窗口重跑真机并采集 per-iteration
decode_batch_size/context_length_hist/cudagraph bucket;否则进入 matched-state whole-decode-step。 - Metrics: decode batch/token distribution、prefill fraction、scheduler steps/s、graph bucket/padding、queue/KV proxy;configuration contrast
TP8-TP4;stage measured-substitution 后的 winner。
预期产物与 review
- 预期数据: 两个 Frontier full-ledger replays;三次真机日志的 coarse state summary;state overlap/reweighting verdict;必要时的 short-window iteration telemetry。
- Figure prototype:
../../runs/frontier-fidelity-envelope-v1/qwen235-state-matched-diagnosis-mock.png。左图对比 real/sim state;右图展示 H1 与 H2 下 matched-state contrast 的可区分方向。全部数值标为 schematic/mock。 - 人工 review: 已批准(用户在分析方案后要求“推进”)。
- Review 意见: 先做最便宜的 state audit,不直接启动完整 Nsight sweep;每一步只在能改变下一决策时升级证据成本。
复现信息
- Code: AITuner
feature/sim;运行 commit 待冻结。Frontier6e8e0d845bceff11b0b62cb29df3a1a93411fdd4。 - Environment: dash0;Frontier replay CPU-only;后续真机才使用 4/8×H20。
- 输入:
/home/admin/cpfs/wjh/aituner/qwen235-collective-profile-ablation-20260719-r1/sim/fixed-pd与 frozen real campaign/home/admin/cpfs/wjh/aituner/qwen235-v020-fourcase-20260719-r1/real/fixed-pd。 - 产物路径:
/home/admin/cpfs/wjh/aituner/qwen235-fixed-pd-state-diagnosis-20260719-r1。 - 已知 deviation: frozen real logs 的 Running 指标是 10 秒采样的 active-request proxy,不是 scheduler iteration ledger;不能单独支持 matched-state causal claim。
结果
- 观察事实: 待运行。
- 异常: 待运行。
- 含义: 待运行。
- Claim update: unchanged
- 下一步: 运行两项 CPU state replay 与 coarse real-state analysis。