aituner/runs/frontier-tp2-prefill-serving-v0/experiment-card.md

实验 EXP-TP2-PREFILL-SERVING：TP2 base-prefill residual 是否来自 serving-path MoE

状态： 完成；机制 PASS，global constant injection FAIL

Parent campaign：../frontier-simulator-gap-campaign-v0/README.md

Claim 与决策

• Parent claim： structured predictor 后，单请求 q8k/ctx0 的 TP2 sim chunk 仍为 356 ms，而 real anchor 为 410 ms（−13.1%）；TP4 为 231.3 vs 231 ms。剩余量是 TP2 独有的 base serving-path residual。
• 目的： 判断约 54 ms/chunk 是否可由 TP2 prefill MoE 的 tactic/warmup/routing/serving composition 工程修复。
• Competing hypotheses：
  • H1：standalone grouped-GEMM 在 TP2 的 q8k expert shape 上过于乐观； warm real-routing 或 serving-path trace 会比当前 171.1 ms/chunk 高 ≥10%。
  • H2：MoE 三臂接近，残差位于其它 whole-layer/host/event path。
• 事前预测： 若 H1 成立，serving-path MoE 增量接近 54 ms，并且只注入 TP2 row 后 chunk0 residual 降至 ≤5%；若 H2 成立，三臂差异 <10%。
• 判定规则：
  • 先用一个 TP2 q8k smoke 验证 prefill execute annotation 与 kernel component 可提取。
  • B/C 相对 A 都无稳定 ≥10% shift → 停止 profile 注入，转 whole-layer。
  • C 解释 ≥70% 的 54 ms residual → 注入 TP2，重放两个 TP2 trace cell。

Setup

• 自变量：
  • A：当前 Frontier standalone profile/predictor，TP2 q8k/ctx0 moe_grouped_gemm=171.118 ms/chunk。
  • B：相同 expert GEMM shapes，充分 warmup/autotune，使用 serving trace 抽取的 routing allocation。
  • C：vLLM 0.20 graph-aligned serving path 的 q8k prefill execute，按最慢 TP rank 汇总 MoE kernels。
• 控制变量： Qwen3-30B-A3B BF16；H20；TP2/EP1；q8k/ctx0；同模型、 runtime、FlashInfer workspace、CUDA/driver；TP4 仅作 control anchor。
• Hardware： 只用 dash1--dash4；运行前要求目标主机 8×H20 全部 idle/healthy。每个 arm fresh process，避免 profiler one-shot 与 tactic cache 交叉污染。
• Smoke contract： q8192→2，TP2，8192 max batched tokens；同一 fresh process 先执行 2 次 profiler-off warmup，再 profile 1 次请求。每个 rank 选择 duration 最大的 execute_* annotation 作为 prefill window，critical path 取 wall 最大的 rank。
• Metrics： chunk execute wall；MoE/attention/collective/other kernel ms； 最慢 rank；独立 process repeat；注入后的 chunk residual 与 TTFT/E2E。

预期产物与 review

• 预期数据： results/entry-audit.json；三臂 trace/provenance；component 对照；TP2 counterfactual replay。
• Figure prototype： figure-prototype.png；左图为 TP2/TP4 q8k chunk real vs sim，右图为三臂 MoE 事前预测。
• 人工 review： campaign 已批准；entry gate 已通过。
• Review 意见： 先单 TP2 smoke；只有 annotation 与 component contract 通过才扩为 repeat/control，不先铺满 GPU 网格。

复现信息

• Code： 当前 aituner worktree；serving profiler 复用 runs/frontier-component-residual-v0 的 vLLM/Kineto harness。
• Environment： vLLM 0.20.0；H20；remote repo /home/admin/cpfs/wjh/aituner/aituner。
• 产物路径： 本目录。
• 已知 deviation： real 410/231 ms 是已冻结的 pure-prefill chunk anchor； 本实验不重新声称它来自当前 1h trace 的在线 batch。
• 远端 checkout deviation： dash1 的 canonical checkout 在 main 且 存在大量无关 dirty/staged changes，不能安全 pull。正式 job 使用同一 Git repository 从 origin/feature/sim commit 建立的相邻 detached worktree /home/admin/cpfs/wjh/aituner/aituner-frontier-tp2-prefill-serving-v0； 不修改 canonical checkout。
• Fleet sync deviation： dash1 未安装 rsync。fleet mandatory sync 使用 scp 一个已校验为空的 /tmp/frontier-tp2-prefill-serving-v0-empty-sync 目录；实验代码仍只来自上述 Git worktree。
• FlashInfer cache deviation： v0 使用空 workspace 冷构建 fused_moe_90，约 8 分钟仅完成 4/181 objects，且尚未发请求，因此主动 终止（exit 141）。v1 改用此前 component profile 在同一 dash1、同一 FlashInfer 0.6.8.post1/sm90a 构建的 /tmp/frontier-component-flashinfer-v4；仍保留 2 次 profiler-off serving warmup，所有计时发生在 warmup 后。

结果

• Entry audit： PASS。TP2 q8k/ctx0 structured sim=356.25 ms， real=410 ms，bias=−13.11%；TP4=231.33 vs 231 ms。TP2 component ledger 中 MoE=171.12 ms，若单独解释 residual 需增至约 224.9 ms（+31.4%）。
• 观察事实：
  • TP2 q8192 profile execute=408.19 ms，冻结 real anchor=410 ms； 两个 TP rank 分别为 408.19/407.34 ms。
  • critical-rank attention=99.67 ms，sim attention execution=100.24 ms； serving MoE=214.52 ms，sim MoE=171.12 ms。
  • MoE delta=43.41 ms，解释 total residual 的 80.75%；MoE-only counterfactual total=399.65 ms（相对 real −2.52%）。三个事前 smoke gate 全部 PASS。
  • 但把 q8k ratio 1.25366× 用作所有 TP2 prefill shape 的常数 scale 后，ρ=0.0025 的 TTFT mean −4.54%→+5.23%、p99 −7.67%→+0.89%，E2E mean +12.70%→+15.55%；ρ=0.005 的 TTFT mean −7.08%→+3.13%，E2E mean +5.02%→+9.14%。
• Fleet preflight（2026-07-23）： dash1--dash4 均为 8×H20；32 张卡 memory.used=0 MiB、utilization=0%，无 compute process。dry-run 选择 dash1:[0,1]，正式 job 已 pin 到 dash1。
• 含义： TP2 base residual 的主要机制确实是 serving-path MoE，而不是 attention 或 real-anchor 噪声；但单个 q8k 点不能外推成全 prefill-domain constant calibration。
• Claim update： “TP2 prefill MoE 尚有明显工程可优化 gap”得到支持； “用一个 TP2 常数 scale 即可修复 trace fidelity”被否定。
• 下一步： 将后续工程项收窄为 TP2 token/routing-conditioned serving MoE curve（至少 q2k/q4k/q8k 与真实 routing allocation），不合入当前 global scale；campaign 继续实验 3。