2.2 KiB
2.2 KiB
Frontier residual-gap 三实验判决
EXP-1 structured attention-prefill
- Fact： held-out context MAPE 为 TP1/2/4
0.84/1.60/3.01%，profile gate PASS；7-cell 中 TP1/TP2 TTFT 绝对误差改善约 7--10 pp，但 TP4 TTFT mean 稳定恶化 5.3--5.8 pp。 - Interpretation： structured feature contract 正确，但旧 TP4 的好结果含 error cancellation；单独替换 attention 会暴露其它正偏。
- Decision： 不合入默认 predictor，保留为机制 ablation。
EXP-2 TP2 prefill serving-path
- Fact： q8k TP2 serving execute=
408.19 ms（real anchor=410 ms）； MoE=214.52 msvs sim=171.12 ms，解释80.75%residual。全域1.25366×常数注入使 subcritical TTFT mean-4.54%→+5.23%， E2E mean+12.70%→+15.55%。 - Interpretation： TP2 residual 的主机制是 serving-path MoE composition， 但 correction 随 token/routing state 变化，不是常数。
- Decision： 机制 PASS、constant merge FAIL；工程项为 TP2 token/routing-conditioned MoE curve。
EXP-3 decode whole-layer batch grid
- Fact： TP4/b2 fresh-process=
4.626/4.620 ms，CV=0.067%， median=4.623 ms。BC-8 exact b2 replay 将 TP4 sim TPOT5.864→5.367 ms，排序恢复TP2<TP4<TP1；残差仍+0.918--+1.001 ms。TP4/b6 三次均值5.433/10.157/8.634 ms， 差异来自 collective tail。 - Interpretation： BC-8 topology gap 可由稳定 TP4/b2 whole-layer service correction 工程修复；高 batch 需要分布式 collective-tail 模型， 不能当确定性 lookup。
- Decision： scoped TP4/b2 correction PASS；global b2--b8 merge NO-GO。 1h trace 会访问 b9--b15，下一步补 b9--b16 与 collective-tail telemetry。
总结
三个明显 gap 中：
- 可直接工程化： BC-8 的 scoped TP4/b2 whole-layer correction。
- 可工程化但需条件曲线： TP2 prefill 的 token/routing-conditioned MoE。
- 不应直接合入： structured attention 全局替换、prefill 常数 scale、 decode 全局 deterministic b2--b8 lookup。
剩余新机制工作集中在 MNS/admission event semantics、TP4 high-batch collective-tail distribution，以及 b9--b16 profile support。