Files
aituner/.research/experiments/qwen235-fixed-pd-state-matched-diagnosis-20260719.md

4.2 KiB
Raw Blame History

实验Qwen235 Fixed-PD state-matched decode diagnosis

状态: 已批准,执行中

本 card 记录 Qwen235 Fixed-PD 在真实 collective profile 后仍保留 30%+ selection regret 的下一层判因实验。

Claim 与决策

  • Parent claim Qwen235 Fixed-PD 的错误排序来自 action-conditioned decode residual而不是缺失的 TP8 all-reduce profile。
  • 目的: 区分 simulator 错在 state distribution还是相同 state 下的 conditional execution-time composition。
  • Competing hypotheses H1Frontier 生成的 decode batch/context/graph state 与真机不同H2state 对齐后 Frontier 仍把 TP8/EP8 预测得更快,误差位于 MoE/EP、graph 或 attention 的 conditional stage model。
  • 事前预测: 真机 config contrast 为 TP8-TP4=+6.95 ms/tokenA1 simulator 为 -20.07 ms/token。若 H1 成立,用真实 state 重加权后 contrast 应翻正;若 H2 成立matched-state contrast 仍为负。
  • 判定规则: 先比较 frozen-real coarse state 与 full-ledger Frontier state。state 明显不匹配则补 iteration telemetrystate 支持重叠且 matched-state predictor 仍反序,才进入 stage breakdown。任何 stage 只有在 measured substitution 能使 winner 翻转时才称为 decision-bearing root cause。

Setup

  • 自变量: state sourcefrozen real / Frontier后续 matched-state replay 中固定 decode batch、context-length、graph bucket 与 routing load。
  • 控制变量: Qwen235 FP8、vLLM 0.20.0、H20、Fixed-PD 4096→256、0.2 req/s/GPU、MBT8192、MNS64、TP4/EP1 与 TP8/EP8、Frontier commit、r2 operator profiles、A1 measured collective CSV 全部冻结。
  • 选择 MNS64 A1 中 MNS64/128 的 TTFT/TPOT/E2E 完全相同;先去掉不提供判别力的重复维度。
  • 第一阶段: CPU-only 重放原 A1 commands只打开 frontier_stage_batch_ledger 与 individual batch metrics验证 request metrics 与原 A1 bitwise/score 等价。真机先复用 3 次 frozen server logs 的 10 秒 Running/Waiting/KV samples明确标为 coarse proxy不冒充 per-iteration batch。
  • 第二阶段触发条件: coarse proxy 不足以判断或 state mismatch 显著时,短窗口重跑真机并采集 per-iteration decode_batch_size/context_length_hist/cudagraph bucket;否则进入 matched-state whole-decode-step。
  • Metrics decode batch/token distribution、prefill fraction、scheduler steps/s、graph bucket/padding、queue/KV proxyconfiguration contrast TP8-TP4stage measured-substitution 后的 winner。

预期产物与 review

  • 预期数据: 两个 Frontier full-ledger replays三次真机日志的 coarse state summarystate overlap/reweighting verdict必要时的 short-window iteration telemetry。
  • Figure prototype ../../runs/frontier-fidelity-envelope-v1/qwen235-state-matched-diagnosis-mock.png。左图对比 real/sim state右图展示 H1 与 H2 下 matched-state contrast 的可区分方向。全部数值标为 schematic/mock。
  • 人工 review 已批准(用户在分析方案后要求“推进”)。
  • Review 意见: 先做最便宜的 state audit不直接启动完整 Nsight sweep每一步只在能改变下一决策时升级证据成本。

复现信息

  • Code AITuner feature/sim;运行 commit 待冻结。Frontier 6e8e0d845bceff11b0b62cb29df3a1a93411fdd4
  • Environment dash0Frontier replay CPU-only后续真机才使用 4/8×H20。
  • 输入: /home/admin/cpfs/wjh/aituner/qwen235-collective-profile-ablation-20260719-r1/sim/fixed-pd 与 frozen real campaign /home/admin/cpfs/wjh/aituner/qwen235-v020-fourcase-20260719-r1/real/fixed-pd
  • 产物路径: /home/admin/cpfs/wjh/aituner/qwen235-fixed-pd-state-diagnosis-20260719-r1
  • 已知 deviation frozen real logs 的 Running 指标是 10 秒采样的 active-request proxy不是 scheduler iteration ledger不能单独支持 matched-state causal claim。

结果

  • 观察事实: 待运行。
  • 异常: 待运行。
  • 含义: 待运行。
  • Claim update unchanged
  • 下一步: 运行两项 CPU state replay 与 coarse real-state analysis。