Close BC8 decode curve counterfactual

This commit is contained in:
2026-07-23 18:08:00 +08:00
parent ecc5599381
commit cf610003ed
11 changed files with 1666 additions and 7 deletions

View File

@@ -0,0 +1,46 @@
# Frontier residual-gap 三实验判决
## EXP-1 structured attention-prefill
- **Fact** held-out context MAPE 为 TP1/2/4 `0.84/1.60/3.01%`profile
gate PASS7-cell 中 TP1/TP2 TTFT 绝对误差改善约 7--10 pp但 TP4
TTFT mean 稳定恶化 5.3--5.8 pp。
- **Interpretation** structured feature contract 正确,但旧 TP4 的好结果含
error cancellation单独替换 attention 会暴露其它正偏。
- **Decision** 不合入默认 predictor保留为机制 ablation。
## EXP-2 TP2 prefill serving-path
- **Fact** q8k TP2 serving execute=`408.19 ms`real anchor=`410 ms`
MoE=`214.52 ms` vs sim=`171.12 ms`,解释 `80.75%` residual。全域
`1.25366×` 常数注入使 subcritical TTFT mean `-4.54%→+5.23%`
E2E mean `+12.70%→+15.55%`
- **Interpretation** TP2 residual 的主机制是 serving-path MoE composition
但 correction 随 token/routing state 变化,不是常数。
- **Decision** 机制 PASS、constant merge FAIL工程项为 TP2
token/routing-conditioned MoE curve。
## EXP-3 decode whole-layer batch grid
- **Fact** TP4/b2 fresh-process=`4.626/4.620 ms`CV=`0.067%`
median=`4.623 ms`。BC-8 exact b2 replay 将 TP4 sim TPOT
`5.864→5.367 ms`,排序恢复 `TP2<TP4<TP1`;残差仍
`+0.918--+1.001 ms`。TP4/b6 三次均值 `5.433/10.157/8.634 ms`
差异来自 collective tail。
- **Interpretation** BC-8 topology gap 可由稳定 TP4/b2 whole-layer
service correction 工程修复;高 batch 需要分布式 collective-tail 模型,
不能当确定性 lookup。
- **Decision** scoped TP4/b2 correction PASSglobal b2--b8 merge NO-GO。
1h trace 会访问 b9--b15下一步补 b9--b16 与 collective-tail telemetry。
## 总结
三个明显 gap 中:
1. **可直接工程化:** BC-8 的 scoped TP4/b2 whole-layer correction。
2. **可工程化但需条件曲线:** TP2 prefill 的 token/routing-conditioned MoE。
3. **不应直接合入:** structured attention 全局替换、prefill 常数 scale、
decode 全局 deterministic b2--b8 lookup。
剩余新机制工作集中在 MNS/admission event semantics、TP4 high-batch
collective-tail distribution以及 b9--b16 profile support。