Record code-trace calibration and canary gates

This commit is contained in:
2026-07-24 02:03:11 +08:00
parent d5bb9745f8
commit 14ed991059
18 changed files with 1698 additions and 7 deletions

View File

@@ -1,18 +1,34 @@
# Frontier code-trace campaign handoff
本目录已经准备好无 GPU 的 data preflight、512→16 参数化映射、prefill-only 转换和 `max_model_len` 显式适配。当前没有启动或探测 `dash1``dash4`
Phase A code prefill+decode 已开始执行。data/profile/max-length gate 和
Frontier rho calibration 已完成TP2/TP4 paired 10min real canary 正在
运行。61min full paired inputs 与 code prefill-only calibration cache
均已物化,尚未越过 canary gate 启动正式 1h real matrix。
完整设计与 gate 见 [`experiment-card.md`](experiment-card.md)。
## 当前已知阻塞
## 当前资产与下一步
本机 `/home/gahow/ali-trace/trace-glm5.1-formatted/` 不存在。仓库历史记录的远端路径是:
- development window0513 `[3480,7140)`61min
- held-out window0529 `[2640,6240)`,只在 development 判据冻结后使用;
- profile`profiles/profile-v6-code-longctx/`,覆盖 TP1/2/4 和 131072
KV context
- full paired inputsCPFS
`runs/frontier-code-trace-v0/inputs/full-r0p{0002,0004,0008,0016}-v1/`
- compact provenance`results/calibration-summary.json`
`results/paired-input-manifests/`
- 下一步:完成 paired canary 分析;若 real 零失败、digest/hit ratio
对齐且 queue 不发散,启动 TP4
`rho={0.0002,0.0008,0.0016}` 与 TP2
`rho={0.0002,0.0004,0.0008}` 的 1h jobs。
source trace 的远端位置是:
```text
/home/admin/cpfs/wjh/ali-trace/trace-glm5.1-formatted/
```
有机器后先确认用户给出的 `~/ali-trace/...` 是否解析到同一目录,再运行以下命令
以下命令保留为从 source 重新构建时的复现入口
## 1. 审计所有 1h+ code source
@@ -103,11 +119,21 @@ bash runs/frontier-s3-real-v0/run_full_real.sh RHO_LABEL tp4_mns16 1 PORT
- synthetic prompt 默认拒绝,只有在 experiment card 明确降级 claim 后才设为 `true`
- runner 会在启动前扫描 paired requests若任何 `ISL+OSL` 超 cap 立即失败。
正式 full job 前,先按 experiment card 的 G4 补 32k128k attention profile再做 TP4→TP2 的 p50/p99/max 单请求与 5min canary。
长上下文 server 必须同时设置
`VLLM_ALLOW_LONG_MAX_MODEL_LEN=1`
`--hf-overrides '{"max_position_embeddings":MAX_MODEL_LEN}'`runner 已在
`ALLOW_LONG_CONTEXT_SERVER=true` 时自动处理。长上下文默认使用 host-local
vLLM compile cache并按 topology 复用 FlashInfer workspace启动 compile
不进入 workload latency。
## 6. decode-only
当前 materializer 故意不提供 `decode_only` 选项。严格 decode-only 需要 initial-KV state而不是把 prompt 改短。只有 real `DecodeBenchConnector`(或等价能力)与 Frontier initial-KV contract 都通过 G7 后,才创建 decode-only jobs。
当前 materializer 故意不提供 `decode_only` 选项。已安装 vLLM 0.20.0
包含 `DecodeBenchConnector`,但它在首次 admission 后同步填 dummy KV
fill time 必须与 KV-ready arrival 分离。Frontier `Request` 支持
`num_processed_tokens`,当前 trace generator 尚未从 CSV 注入该值。
只有 real 首步无 prefill、sim ledger 首步为 decode 的 C0 gate 通过后,
才创建 strict decode-only jobs。
## 本地验证