Add code long-context attention profiling grid
This commit is contained in:
@@ -67,10 +67,15 @@ strict decode-only 必须同时具备:
|
||||
|
||||
### G2:`max_model_len` data gate
|
||||
|
||||
候选 cap 固定为 `40960/65536/98304/131072/262144`,选能 **100% 覆盖选中窗口 `ISL+OSL`** 的最小值。规则:
|
||||
source-window audit 先用 `40960/65536/98304/131072/262144` 给出完整
|
||||
窗口上界;真实 server 则使用能 **100% 覆盖该 rho 实际 paired requests
|
||||
的 `ISL+OSL`** 的最小 16-token 对齐值。规则:
|
||||
|
||||
- 若 max≤131072,主路径使用 131072 或更小的审计推荐值;
|
||||
- 若存在 >131072 请求,不允许悄悄过滤。优先验证 262144;若 runtime 不可行,必须预注册过滤比例,并把 claim 改为“≤131072 子群”;
|
||||
- sampling 只按 session-coherent `sampling_u`,不得按 token length 过滤;
|
||||
- full source window 的 cap 用于记录 workload envelope,不强迫低 rho cell
|
||||
为未被抽中的 outlier 预留 KV capacity;
|
||||
- 若某 paired cell max≤131072,使用 131072 或更小的对齐值;超过
|
||||
131072 时按该 cell 实际 max 向上对齐,而不是直接跳到 262144;
|
||||
- Frontier 的 trace max tokens、predictor max tokens/request、vLLM `--max-model-len` 三处使用同一个 manifest 值。
|
||||
|
||||
### G3:prompt 与 prefix fidelity
|
||||
@@ -87,7 +92,7 @@ strict decode-only 必须同时具备:
|
||||
|
||||
现有 profile-v5 的 KV context 上界约 32k,对 code 不足。根据 development window 的 uncached-ISL 分布生成 profile-v6-code-longctx:
|
||||
|
||||
- full chunk:`q8k`,context 至少覆盖 32k/48k/64k/80k/96k/112k/120k;
|
||||
- full chunk:`q8k`,context 至少覆盖 40k/56k/72k/88k/104k/120k/128k;
|
||||
- tail chunk:从真实 `ISL mod 8192` 的 p50/p90 选择 2–4k/4–6k 代表点;
|
||||
- TP1/2/4 分开采集,复测 `q1ks8k/q8ks32k` anchor;
|
||||
- 每点至少两次 fresh-process repeat;CV≤5%,anchor drift≤10%;
|
||||
@@ -203,3 +208,23 @@ mode-specific:
|
||||
- code trace 来自 GLM5.1 业务,serving model 是 Qwen3-30B;若无原 prompt text,测试只能保持 shape/prefix 结构,不能证明内容相关 routing fidelity;
|
||||
- `max_model_len=128k/256k` 解决的是接入上界,不自动解决 32k 以上 profile 外推;
|
||||
- strict decode-only 只测 decode engine;完整 PD 分离还需要单独建模 prefill、KV transfer、backpressure 与 KV-ready arrival。
|
||||
|
||||
## 执行记录(2026-07-23)
|
||||
|
||||
- fleet probe:dash1–dash4 均为 8×H20;32 张卡 memory.used=0、
|
||||
utilization=0、无 compute process、uncorrected ECC=0;
|
||||
- 两个 formatted trace 都严格满足 512-token source hash contract;
|
||||
- 0513:2,108,130 个有效请求、6090 个 zero-usage source 行;稳定
|
||||
development window=`[3480,7140)`,61min、1,078,928 请求;
|
||||
- 0529:1,977,423 个有效请求、6031 个 zero-usage source 行;冻结为
|
||||
held-out,稳定候选 window=`[2640,6240)`;
|
||||
- development window:ISL p50/p90/p99/max =
|
||||
20,051/88,224/125,803/202,371;OSL p50/p90/p99/max =
|
||||
78/758/6449/131,072;`ISL+OSL max=202,745`;
|
||||
- full-window 131072 coverage=99.399%,262144 coverage=100%。但
|
||||
session sampling 的候选 `rho<=0.0032` 实际 max total=137,016,因此
|
||||
primary server cap 将按最终 cell max 对齐,不为未抽中的 202k outlier
|
||||
直接预留 262k;
|
||||
- source 无 Qwen-aligned prompt/token IDs。raw canonical prompt 使用 GLM
|
||||
token contract,不能同时保持 Qwen token content 与 trace ISL;本 campaign
|
||||
采用 synthetic Qwen tokens 保持 length/hash/prefix shape,并降级内容 claim。
|
||||
|
||||
Reference in New Issue
Block a user