Files
aituner/runs/frontier-tp2-prefill-serving-v0/experiment-card.md

4.6 KiB
Raw Blame History

实验 EXP-TP2-PREFILL-SERVINGTP2 base-prefill residual 是否来自 serving-path MoE

状态: GPU smoke harness 已冻结,待远端执行

Parent campaign../frontier-simulator-gap-campaign-v0/README.md

Claim 与决策

  • Parent claim structured predictor 后,单请求 q8k/ctx0 的 TP2 sim chunk 仍为 356 ms而 real anchor 为 410 ms13.1%TP4 为 231.3 vs 231 ms。剩余量是 TP2 独有的 base serving-path residual。
  • 目的: 判断约 54 ms/chunk 是否可由 TP2 prefill MoE 的 tactic/warmup/routing/serving composition 工程修复。
  • Competing hypotheses
    • H1standalone grouped-GEMM 在 TP2 的 q8k expert shape 上过于乐观; warm real-routing 或 serving-path trace 会比当前 171.1 ms/chunk 高 ≥10%。
    • H2MoE 三臂接近,残差位于其它 whole-layer/host/event path。
  • 事前预测: 若 H1 成立serving-path MoE 增量接近 54 ms并且只注入 TP2 row 后 chunk0 residual 降至 ≤5%;若 H2 成立,三臂差异 <10%。
  • 判定规则:
    • 先用一个 TP2 q8k smoke 验证 prefill execute annotation 与 kernel component 可提取。
    • B/C 相对 A 都无稳定 ≥10% shift → 停止 profile 注入,转 whole-layer。
    • C 解释 ≥70% 的 54 ms residual → 注入 TP2重放两个 TP2 trace cell。

Setup

  • 自变量:
    • A当前 Frontier standalone profile/predictorTP2 q8k/ctx0 moe_grouped_gemm=171.118 ms/chunk
    • B相同 expert GEMM shapes充分 warmup/autotune使用 serving trace 抽取的 routing allocation。
    • CvLLM 0.20 graph-aligned serving path 的 q8k prefill execute按最慢 TP rank 汇总 MoE kernels。
  • 控制变量: Qwen3-30B-A3B BF16H20TP2/EP1q8k/ctx0同模型、 runtime、FlashInfer workspace、CUDA/driverTP4 仅作 control anchor。
  • Hardware 只用 dash1--dash4;运行前要求目标主机 8×H20 全部 idle/healthy。每个 arm fresh process避免 profiler one-shot 与 tactic cache 交叉污染。
  • Smoke contract q8192→2TP28192 max batched tokens同一 fresh process 先执行 2 次 profiler-off warmup再 profile 1 次请求。每个 rank 选择 duration 最大的 execute_* annotation 作为 prefill windowcritical path 取 wall 最大的 rank。
  • Metrics chunk execute wallMoE/attention/collective/other kernel ms 最慢 rank独立 process repeat注入后的 chunk residual 与 TTFT/E2E。

预期产物与 review

  • 预期数据: results/entry-audit.json;三臂 trace/provenancecomponent 对照TP2 counterfactual replay。
  • Figure prototype figure-prototype.png;左图为 TP2/TP4 q8k chunk real vs sim右图为三臂 MoE 事前预测。
  • 人工 review campaign 已批准entry gate 已通过。
  • Review 意见: 先单 TP2 smoke只有 annotation 与 component contract 通过才扩为 repeat/control不先铺满 GPU 网格。

复现信息

  • Code 当前 aituner worktreeserving profiler 复用 runs/frontier-component-residual-v0 的 vLLM/Kineto harness。
  • Environment vLLM 0.20.0H20remote repo /home/admin/cpfs/wjh/aituner/aituner
  • 产物路径: 本目录。
  • 已知 deviation real 410/231 ms 是已冻结的 pure-prefill chunk anchor 本实验不重新声称它来自当前 1h trace 的在线 batch。
  • 远端 checkout deviation dash1 的 canonical checkout 在 main 且 存在大量无关 dirty/staged changes不能安全 pull。正式 job 使用同一 Git repository 从 origin/feature/sim commit 建立的相邻 detached worktree /home/admin/cpfs/wjh/aituner/aituner-frontier-tp2-prefill-serving-v0 不修改 canonical checkout。
  • Fleet sync deviation dash1 未安装 rsync。fleet mandatory sync 使用 scp 一个已校验为空的 /tmp/frontier-tp2-prefill-serving-v0-empty-sync 目录;实验代码仍只来自上述 Git worktree。

结果

  • Entry audit PASS。TP2 q8k/ctx0 structured sim=356.25 ms real=410 msbias=13.11%TP4=231.33 vs 231 ms。TP2 component ledger 中 MoE=171.12 ms,若单独解释 residual 需增至约 224.9 ms+31.4%)。
  • 观察事实: 待 GPU。
  • Fleet preflight2026-07-23 dash1--dash4 均为 8×H2032 张卡 memory.used=0 MiButilization=0%,无 compute process。dry-run 选择 dash1:[0,1],正式 job 已 pin 到 dash1。
  • 含义: 待 GPU。
  • Claim update unchanged。
  • 下一步: probe fleet运行 TP2 serving-path prefill smoke。