Add code long-context attention profiling grid

This commit is contained in:
2026-07-23 23:58:49 +08:00
parent 1d9182f305
commit 288f7b239f
5 changed files with 196 additions and 9 deletions

View File

@@ -67,10 +67,15 @@ strict decode-only 必须同时具备:
### G2`max_model_len` data gate
候选 cap 固定为 `40960/65536/98304/131072/262144`,选能 **100% 覆盖选中窗口 `ISL+OSL`** 的最小值。规则:
source-window audit 先用 `40960/65536/98304/131072/262144` 给出完整
窗口上界;真实 server 则使用能 **100% 覆盖该 rho 实际 paired requests
`ISL+OSL`** 的最小 16-token 对齐值。规则:
- 若 max≤131072主路径使用 131072 或更小的审计推荐值
- 若存在 >131072 请求,不允许悄悄过滤。优先验证 262144若 runtime 不可行,必须预注册过滤比例,并把 claim 改为“≤131072 子群”;
- sampling 只按 session-coherent `sampling_u`,不得按 token length 过滤
- full source window 的 cap 用于记录 workload envelope不强迫低 rho cell
为未被抽中的 outlier 预留 KV capacity
- 若某 paired cell max≤131072使用 131072 或更小的对齐值;超过
131072 时按该 cell 实际 max 向上对齐,而不是直接跳到 262144
- Frontier 的 trace max tokens、predictor max tokens/request、vLLM `--max-model-len` 三处使用同一个 manifest 值。
### G3prompt 与 prefix fidelity
@@ -87,7 +92,7 @@ strict decode-only 必须同时具备:
现有 profile-v5 的 KV context 上界约 32k对 code 不足。根据 development window 的 uncached-ISL 分布生成 profile-v6-code-longctx
- full chunk`q8k`context 至少覆盖 32k/48k/64k/80k/96k/112k/120k
- full chunk`q8k`context 至少覆盖 40k/56k/72k/88k/104k/120k/128k
- tail chunk从真实 `ISL mod 8192` 的 p50/p90 选择 24k/46k 代表点;
- TP1/2/4 分开采集,复测 `q1ks8k/q8ks32k` anchor
- 每点至少两次 fresh-process repeatCV≤5%anchor drift≤10%
@@ -203,3 +208,23 @@ mode-specific
- code trace 来自 GLM5.1 业务serving model 是 Qwen3-30B若无原 prompt text测试只能保持 shape/prefix 结构,不能证明内容相关 routing fidelity
- `max_model_len=128k/256k` 解决的是接入上界,不自动解决 32k 以上 profile 外推;
- strict decode-only 只测 decode engine完整 PD 分离还需要单独建模 prefill、KV transfer、backpressure 与 KV-ready arrival。
## 执行记录2026-07-23
- fleet probedash1dash4 均为 8×H2032 张卡 memory.used=0、
utilization=0、无 compute process、uncorrected ECC=0
- 两个 formatted trace 都严格满足 512-token source hash contract
- 05132,108,130 个有效请求、6090 个 zero-usage source 行;稳定
development window=`[3480,7140)`61min、1,078,928 请求;
- 05291,977,423 个有效请求、6031 个 zero-usage source 行;冻结为
held-out稳定候选 window=`[2640,6240)`
- development windowISL p50/p90/p99/max =
20,051/88,224/125,803/202,371OSL p50/p90/p99/max =
78/758/6449/131,072`ISL+OSL max=202,745`
- full-window 131072 coverage=99.399%262144 coverage=100%。但
session sampling 的候选 `rho<=0.0032` 实际 max total=137,016因此
primary server cap 将按最终 cell max 对齐,不为未抽中的 202k outlier
直接预留 262k
- source 无 Qwen-aligned prompt/token IDs。raw canonical prompt 使用 GLM
token contract不能同时保持 Qwen token content 与 trace ISL本 campaign
采用 synthetic Qwen tokens 保持 length/hash/prefix shape并降级内容 claim。