Record structured attention experiment verdict

runs/frontier-attn-structured-v0/experiment-card.md

@@ -0,0 +1,82 @@
+# 实验 EXP-ATTN-STRUCTURED：结构化 predictor 能否关闭大 KV 端的 RF 欠拟合
+
+> **状态：** 已完成（profile gate PASS；global merge gate FAIL）
+>
+> Parent campaign：[`../frontier-simulator-gap-campaign-v0/README.md`](../frontier-simulator-gap-campaign-v0/README.md)
+
+## Claim 与决策
+
+- **Parent claim：** profile-v5 已补齐 chunked-prefill KV-context 测量，但当前 RF 仍在 TP1/2/4 的新网格上产生约 12%--14% self-fit MAPE，并在 TP1 真实 trace 中留下 −13% 到 −22% TTFT 偏差。
+- **目的：** 检查该 residual 是否来自可工程修复的 predictor representation，而不是 profile 数据或 serving path。
+- **Competing hypotheses：**
+  - H1：standard prefill 模型错误混入 pure multi-request rows，且 RF 对连续 attention scaling 作阶梯平滑；使用单请求数据和结构化 `base(q)+KV×(a+bq)` 可关闭残余。
+  - H2：残余主要来自未建模的 serving-path 组件；替换 predictor 不会改善 7-cell trace fidelity。
+- **事前预测：**
+  - H1：held-out context MAPE ≤5%，TP1 TTFT mean/p99 绝对偏差至少改善 5 pp。
+  - H2：profile gate 失败，或 profile gate 通过但 trace TTFT 几乎不动。
+- **判定规则：**
+  - profile gate：TP1/2/4 held-out context MAPE 均 ≤5%；q/KV 单调且预测非负。
+  - trace gate：两个 TP1 cell 的 TTFT mean/p99 |bias| 各改善 ≥5 pp；TP2/TP4 任一 TTFT/E2E quantile 不恶化 >5 pp。
+  - profile gate 失败即停止；trace gate 失败则回退 patch，不进入 EXP-2。
+
+## Setup
+
+- **自变量：**
+  - A：现有 RF，standard prefill 全部非 true-mixed rows。
+  - B：现有 RF，但仅 `batch_size=1`。
+  - C：仅 `batch_size=1` 的 structured predictor：
+    - `base(q)`：KV=0 profile 的单调分段线性插值；
+    - growth：非负 least-squares `KV×(a+bq)`。
+- **控制变量：** attention/linear/MoE/collective profile、trace、prefix cache、scheduler、graph mode、KV blocks、MNS、全部 argv。
+- **System context：** Qwen3-30B-A3B BF16；H20；Frontier `deadc4a3`；TP1/2/4；MNS16；chunk 8192；prefix caching。
+- **Workload 或 trace：** 现有 7-cell 60-min production chat trace matrix；real 侧每 cell 两个 trial。
+- **Baselines：** `docs/assets/frontier-fidelity/full-matrix.csv` 的 sim-v5。
+- **Metrics：**
+  - profile：grid fit MAPE、leave-one-context MAPE/max error、q/KV monotonicity；
+  - trace：request-ID paired bias；每个 real trial 单独计算后报告 mean 与 trial interval；
+  - queue validity：waiting p99，TP1 超过 1 s 的 cell 标为 diagnostic。
+
+## 预期产物与 review
+
+- **预期数据：** `results/predictor-ablation.{json,csv}`、`replay/<cell>/`、`results/paired-verdict.json`。
+- **Figure prototype：** `figure-prototype.png`；左图为 q8k 随 KV 增长的 actual/RF/structured，右图为 7-cell TTFT bias 的事前期望。
+- **人工 review：** 已按 campaign 顺序批准执行。
+- **Review 意见：** 只改 standard single-request predictor；不得改 mixed predictor 或任何 profile row。
+
+## 复现信息
+
+- **Code：** Frontier base `deadc4a321f0baaa534c6ebd17f974123733cdc2`；实验 patch 将保存为 `frontier-structured-attn.patch` 并记录 SHA256。
+- **Environment：** 本地 CPU replay；Python dependency roots 复用 `runs/frontier-collective-joint-v0/counterfactual/joint-r2/manifest.json`。
+- **产物路径：** 本目录。
+- **已知 deviation：** milestone 文档将 7-cell 口径称为“逐 request paired”，但旧脚本实际 pool 两个 real trial 后比较 quantile；本实验会修正分析口径，不改旧结果文件。
+
+## 预分析事实
+
+- 现有训练代码使用 `["kv_cache_size", "prefill_chunk_size_squared"]` 与 RF grid search。
+- runtime cache 注释明确 standard model 是 per-request；多请求 prefill 在模型存在时走 `attn_prefill_mixed`。
+- profile-v5 的 standard 训练集每 TP 有 29 行，其中单请求 23 行；有 4 组相同 `(KV,q²)` feature 对应多个 pure-batch 标签。
+- 初步 structured candidate 的 leave-one-context MAPE：TP1 0.84%、TP2 1.61%、TP4 3.01%；max error 分别 2.04%、3.47%、5.49%。这些是实现前的临时计算，须由版本化脚本复现后才进入结果。
+
+## 结果
+
+- **观察事实：**
+  - structured held-out-context MAPE 为 TP1/2/4=`0.84%/1.60%/3.01%`；
+    当前 RF 为 `44.40%/44.20%/43.54%`。单调/非负 gate 通过。
+  - TP1 两点 TTFT mean bias `−13.5/−17.7% → −6.3/−9.5%`，p99
+    `−16.8/−22.1% → −8.6/−14.4%`。
+  - TP2 两点 TTFT mean bias `−11.2/−14.1% → −4.5/−7.1%`，p99
+    `−17.3/−19.4% → −7.7/−9.0%`。
+  - TP4 三点 TTFT mean bias `+2.5/+2.9/−0.1% → +7.8/+8.4/+6.0%`；
+    三点均使绝对误差恶化 `5.3--5.8 pp`，触发预设回归 gate。
+  - validity 重新审计：TP1 两点 waiting p99=`1.34/1.89 s`；TP2
+    ρ=.005=`1.17 s`，均标为 `GATE_FAIL_DIAGNOSTIC`。其余四点通过。
+- **异常：** TP4 ρ=.005 的 TPOT p99 从 `+31.2%` 变为 `+36.6%`，
+  表明该 tail 对 prefill/mixed-decode 相位敏感，不是本 patch 能关闭的稳定
+  decode predictor 偏差。
+- **含义：** H1 的 representation 机制得到支持，但“全局替换 RF 可直接提升
+  7-cell fidelity”被反驳。TP4 原先接近零的 mean TTFT 含有 predictor
+  欠拟合与其它正向 residual 的误差抵消；单独修正 attention 会揭开后者。
+- **Claim update：** structured predictor 是明确的工程候选，但必须与 TP4
+  residual 联合收敛后才可 merge；当前 patch 只保留为 ablation。
+- **下一步：** EXP-2 先重算 structured 分支的 TP2 chunk-level residual；
+  仅 residual ≥10% 才运行 GPU serving-path 三臂 profile。