docs: T15 GQA results + evolution row (模型架构) + README build-journey row

Backfill docs/14-gqa.md gate table (dash5 numbers); add T15 evolution row +
cumulative 模型架构 line; README build-journey T15 row + Phase 2 prose + doc
index range (00..14).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
2026-06-18 01:44:58 +08:00
parent 39df0b40c1
commit 2ff4573a31
3 changed files with 22 additions and 4 deletions

View File

@@ -162,6 +162,19 @@ broadcast opfwd/bwd 各一发 kernel最简且能单独 grad-check。
**对 xtrain 自身逐 token 一致**BF16 推理 vs f32 训练,与 v1v8 同款判据)。这是 GQA 真正落地的证明:
训练侧的分组、导出的分组、推理侧 xserv 的 repeat_kv 分组三方对齐。
## 实测结果dash5
## 实测结果dash5 1× / 2× RTX 5090
> 待 dash5 实跑回填gate 表 + 数字)。
**硬闸门全绿:**
| 闸门 | 结果 |
|---|---|
| ① repeat_kv grad-check**多组 q 头梯度求和到一个 kv 头**group=3 | **过** — din max_rel **2.05e-4**group=1 identity 双向**逐位**fwd/bwd |Δ|=0 |
| GQA flash==composedmodel 级 8h/2kvlogits/loss/每参数梯度) | fp32: loss rel **0.0**、logits 3.0e-4、grad **4.1e-5**bf16: loss 9.0e-5、logits mean 2.9e-3/p99 1.0e-2、grad scaled-mean 8.9e-3 |
| group=1 对 MHA**逐位一致**(回归保护) | **过** — logits + loss + 全部梯度 |Δ|=0 |
| ② PyTorch GQA 对拍 B>1composed & flashrepeat_interleave 分组对齐) | composed: loss **1.74e-8**/logits 2.04e-5/25 grad 进 rtolflash: loss 1.74e-8/logits 2.28e-5/25 grad 进 rtol |
| ③ 小 GQA 配置短训收敛8h/2kv/hd32/4L/ffn1024600 步) | train **10.90→3.15** 无 NaN、gnorm 稳 ~1.2、采样连贯英文(~200K tok/s |
| ④ **xserv 闭环真 GQA**(导出 `num_key_value_heads=2 < num_attention_heads=8`xserv 加载 `heads=8/2 kv`,贪心) | "One day"/"The little" 两 prompt **逐 token 一致**"Once upon a time" 在 `...Lily's mommy ` 处 BF16 漂移晚分叉said vs came——与 v1/v2/v3/T14 同款判据 |
| ⑤ 回归套autograd 23含 repeat_kv 2/ structural 5 / batched / bf16 / flash 2 / **gqa 4** / overfit 27/27 / recompute 2 / dropout 6 / grad_accum 3 / checkpoint-roundtrip / AdamW(host 对 torch 4.8e-6) / DDP 3(`--test-threads=1`, loss 5.67e-7+跨 rank 一致) / GEMM / tensor | **全绿** |
| ⑤ MHA 默认 export md5v3 ckpt 用 T15 代码重导 safetensors | **逐位一致** `b04fc9f9a0c9af04c47d9ca649aea12e`(与 registry/T14 同)→ 默认kv=headsexport 零漂移 |
> **诚实记录**:闭环 2/3 prompt 完全 token-identical、1/3 在 BF16 漂移点晚分叉——这恰证明 GQA 分组**正确**:若 kv→q 头映射错attention 会从第一个生成 token 起就崩(不会是深处近-tie 的晚分叉。GQA 把 K/V 在显存里物化成满头 `[B·nh,S,hd]`broadcast-op 方案的代价)——本规模可接受kernel-内 GQA省这份显存 follow-up未为凑绿放宽任何容差