Record code-trace canary fidelity gates

runs/frontier-code-trace-v0/experiment-card.md

@@ -1,8 +1,8 @@
 # EXP-CODE-TRACE：从 chat 1h trace 扩展到 code 与 phase-separated replay
 
-> **状态：RUNNING（Phase A code P+D）。** A0 数据/profile 与 A1 TP4
-> max-length smoke 已完成；A2 paired canary 正在运行；A3 sim calibration
-> 已冻结 topology-specific rho。只使用 `dash1`--`dash4`，禁止使用 `dash0`。
+> **状态：RUNNING（Phase A code P+D）。** A0 数据/profile、A1
+> max-length smoke、A2 paired canary 与 A3 sim calibration 已完成；
+> A4 第一批 61min real jobs 正在 `dash1`--`dash4` 运行。禁止使用 `dash0`。
 
 ## 目标与成功定义
 
@@ -17,10 +17,10 @@
 
 | 项目 | 当前结论 | 下一 gate |
 |---|---|---|
-| code P+D 数据 | 61min development window、long-context profile-v6、四个 paired full 输入已冻结 | paired canary real-vs-sim |
-| TP4 负载 | low/mid/near-knee=`rho 0.0002/0.0008/0.0016`；三点均亚临界 | canary 通过后启动 1h |
-| TP2 负载 | low/mid/near-knee=`rho 0.0002/0.0004/0.0008`；`0.0016` 明确过载 | TP2 canary/KV gate |
-| code prefill-only | `rho<=0.0032` 的 paired remap cache 已生成，OSL 全为 1 | 独立 sim rho calibration |
+| code P+D 数据 | 61min development window、long-context profile-v6、四个 paired full 输入已冻结 | 第一批 1h real 运行中 |
+| TP4 负载 | low/mid/near-knee=`rho 0.0002/0.0008/0.0016`；paired canary 的 TTFT/E2E、KV、batch 通过 | 三个 load 的 trial 1 运行中 |
+| TP2 负载 | `rho 0.0004` canary 暴露 TTFT p90 `-32.1%` bad case | 只跑 `rho 0.0002` 1h diagnostic，暂不铺满 |
+| code prefill-only | TP2 已冻结 `rho 0.0004/0.0008/0.0016`，`0.0032` 过载；TP4 到 `0.0032` 仍亚临界 | TP4 追加更高 rho 边界 |
 | strict decode-only | vLLM 0.20.0 有 `DecodeBenchConnector`；Frontier trace generator 尚不能注入 initial computed tokens | C0 contract canary，未进入正式结果 |
 
 ## 三种 workload mode 的冻结定义
@@ -173,9 +173,10 @@ tail driver 分解共同决定，不能只用一个 drain 秒数。
 
 若某 topology 的 near-knee 过载，像现有 chat TP2/ρ0.01 一样排除，不为凑齐矩阵强跑。
 
-当前状态：A0 完成；A1 的 TP4 完成、TP2 由 paired canary 同时验证；
-A2 运行中；A3 完成；A4 的 paired input 已物化但尚未在 canary gate
-前启动。
+当前状态：A0–A3 完成。A4 第一批为 TP4
+`rho={0.0002,0.0008,0.0016}` trial 1，以及 TP2 `rho=0.0002`
+trial 1 diagnostic；其余 TP2 cell 等该 diagnostic 验证 canary bad case
+后再决定是否扩展。
 
 ### Phase B：chat/code prefill-only
 
@@ -308,3 +309,38 @@ mode-specific：
   FlashInfer JIT 的 apparatus cost。它发生在 readiness 前，不进入 TTFT；
   runner commit `d5bb974` 改为长上下文默认使用 host-local vLLM cache，
   并按 topology 复用 FlashInfer workspace。
+- 第一轮 paired real canary 的 3 次旧 client 运行都只在同一个
+  `106709+197` 请求失败，根因是 `return_token_ids` 把 100k+ prompt
+  vector 放进单条 SSE event，超过 aiohttp 默认 512KiB line limit。
+  commit `e1f2557` 把 exact client read buffer 提到 8MiB；700KiB
+  单-event runtime 对照和随后 TP4×2、TP2×1 的 53/53 replay 均通过。
+- TP4 canary 的 real-vs-sim prefix hit ratio =
+  `0.239908/0.239973`；pure-decode batch max 都为 4，
+  `share(b>1)=15.87%/15.69%`（real 两 trial）vs `16.35%`（sim）。
+  TTFT mean/p50/p90/p95/p99 bias =
+  `-8.3/-4.1/-8.8/-13.1/-6.3%`，E2E =
+  `+2.2/+6.1/+11.0/+1.4/-1.3%`。长 drain 的同一
+  `61976+21361` 请求 real=92.61/92.34s、sim=91.37s，不是 backlog。
+- TP4 若把 OSL=4 请求纳入 TPOT，mean/p99 bias 会被单个
+  `~213ms/token` 样本放大到 `-29.9%/-71.5%`；OSL≥8 后
+  mean/p50/p90/p95/p99 bias =
+  `+8.7/+8.2/+0.6/+13.4/+3.7%`。因此 raw TPOT 仍保留，但正式报告必须
+  同时给 OSL threshold sensitivity，不能把短输出的三段 inter-token
+  interval 当作稳定 decode service。
+- TP4 canary 两 trial 的 real SLO pass rate 都是 `50/53=94.34%`，
+  sim 为 `52/53=98.11%`，在 95% feasibility threshold 上发生翻转；
+  这由两个临界 TTFT 请求和上述 OSL=4 请求共同造成，作为明确 bad case
+  进入 1h 检验，不能被总体 latency gap 掩盖。
+- TP2 canary 的 cache/batch/drain 仍对齐，但 TTFT p90 bias=`-32.1%`，
+  E2E p90/p95=`-18.4%/-23.8%`。因此先只启动 low-rho 1h diagnostic，
+  不直接铺满 TP2 六个正式 jobs。
+- code prefill-only 已完成 10-cell Frontier calibration。TP2
+  `rho=0.0032` drain=1384.59s、waiting p50=751.01s，明确过载；
+  `0.0004/0.0008/0.0016` 冻结为 low/mid/near-knee。TP4 到
+  `rho=0.0032` 仍只有 9.09s drain，暂称 highest-tested，追加更高 rho
+  后才冻结 near-knee。compact table 在
+  `results/prefill-only-calibration-summary.json`。
+- 2026-07-23 18:37 UTC 启动 A4 wave 1：dash1=`TP4/rho0.0002/t1`、
+  dash3=`TP4/rho0.0008/t1`、dash4=`TP4/rho0.0016/t1`、
+  dash2=`TP2/rho0.0002/t1 diagnostic`；四台启动前再次确认 8×H20
+  memory/utilization=0、无 compute process、uncorrected ECC=0。