47 lines
2.2 KiB
Markdown
47 lines
2.2 KiB
Markdown
# Frontier residual-gap 三实验判决
|
||
|
||
## EXP-1 structured attention-prefill
|
||
|
||
- **Fact：** held-out context MAPE 为 TP1/2/4 `0.84/1.60/3.01%`，profile
|
||
gate PASS；7-cell 中 TP1/TP2 TTFT 绝对误差改善约 7--10 pp，但 TP4
|
||
TTFT mean 稳定恶化 5.3--5.8 pp。
|
||
- **Interpretation：** structured feature contract 正确，但旧 TP4 的好结果含
|
||
error cancellation；单独替换 attention 会暴露其它正偏。
|
||
- **Decision：** 不合入默认 predictor，保留为机制 ablation。
|
||
|
||
## EXP-2 TP2 prefill serving-path
|
||
|
||
- **Fact：** q8k TP2 serving execute=`408.19 ms`（real anchor=`410 ms`）；
|
||
MoE=`214.52 ms` vs sim=`171.12 ms`，解释 `80.75%` residual。全域
|
||
`1.25366×` 常数注入使 subcritical TTFT mean `-4.54%→+5.23%`，
|
||
E2E mean `+12.70%→+15.55%`。
|
||
- **Interpretation：** TP2 residual 的主机制是 serving-path MoE composition，
|
||
但 correction 随 token/routing state 变化，不是常数。
|
||
- **Decision：** 机制 PASS、constant merge FAIL；工程项为 TP2
|
||
token/routing-conditioned MoE curve。
|
||
|
||
## EXP-3 decode whole-layer batch grid
|
||
|
||
- **Fact：** TP4/b2 fresh-process=`4.626/4.620 ms`，CV=`0.067%`，
|
||
median=`4.623 ms`。BC-8 exact b2 replay 将 TP4 sim TPOT
|
||
`5.864→5.367 ms`，排序恢复 `TP2<TP4<TP1`；残差仍
|
||
`+0.918--+1.001 ms`。TP4/b6 三次均值 `5.433/10.157/8.634 ms`，
|
||
差异来自 collective tail。
|
||
- **Interpretation：** BC-8 topology gap 可由稳定 TP4/b2 whole-layer
|
||
service correction 工程修复；高 batch 需要分布式 collective-tail 模型，
|
||
不能当确定性 lookup。
|
||
- **Decision：** scoped TP4/b2 correction PASS；global b2--b8 merge NO-GO。
|
||
1h trace 会访问 b9--b15，下一步补 b9--b16 与 collective-tail telemetry。
|
||
|
||
## 总结
|
||
|
||
三个明显 gap 中：
|
||
|
||
1. **可直接工程化：** BC-8 的 scoped TP4/b2 whole-layer correction。
|
||
2. **可工程化但需条件曲线：** TP2 prefill 的 token/routing-conditioned MoE。
|
||
3. **不应直接合入：** structured attention 全局替换、prefill 常数 scale、
|
||
decode 全局 deterministic b2--b8 lookup。
|
||
|
||
剩余新机制工作集中在 MNS/admission event semantics、TP4 high-batch
|
||
collective-tail distribution，以及 b9--b16 profile support。
|