Record TP2 prefill serving-path verdict
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# 实验 EXP-TP2-PREFILL-SERVING:TP2 base-prefill residual 是否来自 serving-path MoE
|
||||
|
||||
> **状态:** GPU smoke harness 已冻结,待远端执行
|
||||
> **状态:** 完成;机制 PASS,global constant injection FAIL
|
||||
>
|
||||
> Parent campaign:[`../frontier-simulator-gap-campaign-v0/README.md`](../frontier-simulator-gap-campaign-v0/README.md)
|
||||
|
||||
@@ -84,10 +84,26 @@
|
||||
real=`410 ms`,bias=`−13.11%`;TP4=`231.33 vs 231 ms`。TP2
|
||||
component ledger 中 MoE=`171.12 ms`,若单独解释 residual 需增至约
|
||||
`224.9 ms`(+31.4%)。
|
||||
- **观察事实:** 待 GPU。
|
||||
- **观察事实:**
|
||||
- TP2 q8192 profile execute=`408.19 ms`,冻结 real anchor=`410 ms`;
|
||||
两个 TP rank 分别为 `408.19/407.34 ms`。
|
||||
- critical-rank attention=`99.67 ms`,sim attention execution=`100.24 ms`;
|
||||
serving MoE=`214.52 ms`,sim MoE=`171.12 ms`。
|
||||
- MoE delta=`43.41 ms`,解释 total residual 的 `80.75%`;MoE-only
|
||||
counterfactual total=`399.65 ms`(相对 real `−2.52%`)。三个事前 smoke
|
||||
gate 全部 PASS。
|
||||
- 但把 q8k ratio `1.25366×` 用作所有 TP2 prefill shape 的常数 scale
|
||||
后,ρ=0.0025 的 TTFT mean `−4.54%→+5.23%`、p99
|
||||
`−7.67%→+0.89%`,E2E mean `+12.70%→+15.55%`;ρ=0.005 的
|
||||
TTFT mean `−7.08%→+3.13%`,E2E mean `+5.02%→+9.14%`。
|
||||
- **Fleet preflight(2026-07-23):** dash1--dash4 均为 8×H20;32 张卡
|
||||
`memory.used=0 MiB`、`utilization=0%`,无 compute process。dry-run 选择
|
||||
`dash1:[0,1]`,正式 job 已 pin 到 dash1。
|
||||
- **含义:** 待 GPU。
|
||||
- **Claim update:** unchanged。
|
||||
- **下一步:** probe fleet;运行 TP2 serving-path prefill smoke。
|
||||
- **含义:** TP2 base residual 的主要机制确实是 serving-path MoE,而不是
|
||||
attention 或 real-anchor 噪声;但单个 q8k 点不能外推成全 prefill-domain
|
||||
constant calibration。
|
||||
- **Claim update:** “TP2 prefill MoE 尚有明显工程可优化 gap”得到支持;
|
||||
“用一个 TP2 常数 scale 即可修复 trace fidelity”被否定。
|
||||
- **下一步:** 将后续工程项收窄为 TP2 token/routing-conditioned serving
|
||||
MoE curve(至少 q2k/q4k/q8k 与真实 routing allocation),不合入当前
|
||||
global scale;campaign 继续实验 3。
|
||||
|
||||
Reference in New Issue
Block a user