Files
aituner/runs/frontier-decode-batch-grid-v0/experiment-card.md

5.6 KiB
Raw Blame History

实验 EXP-DECODE-BATCH-GRIDBC-8 是否可由稳定 whole-layer b2--b8 curve 修复

状态: COMPLETEDBC-8 排序工程修复成立global curve merge 暂停

Parent campaign../frontier-simulator-gap-campaign-v0/README.md

Claim 与决策

  • Parent claim 最新 1h trace 中 TP4 的 TPOT/E2E 仍稳定正偏约 10--23% 历史 BC-8 knee-right 真机排序为 TP2<TP4<TP1sim 为 TP2<TP1<TP4。这是当前最明显的 decode/state residual。
  • 目的: 判断 BC-8 是 b2--b8 whole-layer service curve 可工程修复, 还是必须进入 event-level admission/batch-formation 建模。
  • Competing hypotheses
    • H1现有 b2 service sample 不稳定或 b>4 常数外推,导致 TP4 residence 被高估;稳定 whole-layer curve 可恢复排序。
    • H2给定 batch 的 whole-layer curve 已准,错误来自 simulator 与 vLLM batch formation/event semantics 不同。
  • 事前预测: 若 H1 成立TP4/b2 repeat CV≤10%,其 median 比当前进入 BC-8 的 curve 低至少 0.5 ms注入后 TP4<TP1;若 H2 成立, same-state residual <0.5 ms但 BC-8 排序仍错。
  • 判定规则:
    • 先做 TP4/b2 两个 fresh-process repeatsCV>10% 时追加第三次,取 median不允许从单次 favorable sample 选值。
    • smoke 稳定后补 TP2/TP4 × b{2,4,6,8}b>4 不再使用 b4 常数外推。
    • whole-layer 注入只替换 pure-decode service curve不改变 prefill。
    • BC-8 排序仍错则停止 profile 修补,升级 event-level state telemetry。

Setup

  • 自变量: TP {2,4}pure-decode batch {2,4,6,8}fresh-process repeat {1,2},不稳定 cell 追加 repeat 3。
  • 控制变量: Qwen3-30B-A3B BF16H20vLLM 0.20context=2048 output=128graph-onMNS=16no prefix caching同模型/runtime/cache。
  • Hardware dash1--dash4每轮调度前要求目标主机 8×H20 idle/healthy。每主机同时只启动一个 engine避免 CPU/JIT contention。
  • Metrics critical-rank execute wallMoE/attention/collective/other kernelsrepeat median/CVsim same-state residualBC-8 TPOT 完整排序。
  • Baselines
    • 旧 serving gridTP4/b2 execute=5.044 ms,单 process 内 population std=1.561 ms,不足以进入判决链。
    • BC-8real 4.305<4.449<4.876 mssim 5.12<5.49<5.86 msTP2/TP4/TP1 对应完整排序见结果审计)。

预期产物与 review

  • 预期数据: 每 cell trace、request result、runtime/GPU provenance results/grid.jsonBC-8 counterfactual 与 verdict。
  • Figure prototype figure-prototype.png。左图画 b2 repeat instability 与目标 CI右图画 BC-8 real/sim/corrected 排序。
  • 人工 review campaign 已批准按第三优先级推进。
  • Review 意见: 先 TP4/b2 smoke不在稳定性 gate 前铺完整网格。

复现信息

  • Frontier baseline deadc4a321f0baaa534c6ebd17f974123733cdc2 CPU replay 使用既有 joint serving-path curves未合入 EXP-1 rejected patch。
  • Remote dash1--dash4 共享 clean detached experiment worktree ecc559938132851d61bf22daa55cea9658807dfacanonical checkout 的用户 dirty changes 未改动。
  • Known limits 固定 2048→128 state-matched workload本实验只支持 decode curve 与 BC-8不外推到 chat prefill shape 或其它模型。

结果

  • Entry gate PASS。TP4 1h trace TPOT mean 正偏 +10.6%--+23.0%E2E mean +9.8%--+19.2%BC-8 完整排序仍错。

  • TP4/b2 smoke 两个 fresh-process critical-rank execute mean 分别为 4.6263 ms4.6201 ms,跨 repeat CV=0.067%,稳定性 gate PASS无需 repeat 3。median=4.6232 ms,比旧样本 5.044 ms0.421 ms;方向支持 H1但未达到事前 >=0.5 ms 的强证据阈值。

  • Full grid

    Cell fresh-process execute mean (ms) median (ms) initial CV
    TP2/b2 4.761 / 4.730 4.746 0.33%
    TP2/b4 5.294 / 5.607 5.451 2.87%
    TP2/b6 6.571 / 6.938 6.754 2.72%
    TP2/b8 5.967 / 6.309 6.138 2.78%
    TP4/b2 4.626 / 4.620 4.623 0.07%
    TP4/b4 4.516 / 4.727 4.622 2.27%
    TP4/b6 5.433 / 10.157 / 8.634 8.634 30.30%
    TP4/b8 4.898 / 5.047 4.972 1.50%
  • TP4/b6 instability r2/r3 的 MoE 与 attention 基本不变,均值波动由 同步 collective 长尾造成;三个 run 的 step p50 仍约 5.18--5.49 ms。 依预注册规则追加 r3 并取三次中位数,但该 cell 不能视为稳定 deterministic service constant。

  • BC-8 exact replay replay 仅访问 b1/b2因此没有使用 b6 或任何 插值/外推。TP4/b2 whole-layer override 将 TP4 sim TPOT 5.864→5.367 ms,残差 +1.414→+0.918 msMNS16+1.498→+1.001 msMNS32MNS16 完整排序从 TP2<TP1<TP4 恢复为真实的 TP2<TP4<TP1。sim b>1 stage fraction 48.15%→37.47%

  • 7-cell support audit 最新 1h cells 的 decode batch 最大到 b6--b15,而本实验 measured support 只到 b8TP4/b6 又未通过 deterministic-mean 稳定性。为避免重新引入 b8 constant extrapolation 不执行全局 7-cell injection也不把整条 b2--b8 curve 合入默认 predictor。

  • Decision H1 对 BC-8 成立,排序 gap 属于可工程修复的 TP4/b2 whole-layer service residual但绝对残差、MNS tie 和高 batch collective tail 仍需 event/distribution-aware 模型。建议先合入受作用域保护的 TP4/b2 correction再补 b9--b16 与 collective-tail telemetry 后开启 global merge。