# CollectiveSpec P2：logical-plan 对照的审计与停止门槛

## 决策

**不启动正式的 P1/P2 SLO-goodput sweep，也不把 `compact-vs-padded` 作为
CollectiveSpec 的研究主线。**

原因不是这条机制一定没有工程收益，而是它的核心研究主张已经无法排除公开工作的
覆盖：

- [DSpark](https://arxiv.org/html/2607.05147) 已明确采用每请求的动态 verification
  length，并把逻辑 sequence tracking 与物理 execution 解耦、flatten variable-length
  token；
- SGLang 的 [DSpark 集成说明](https://www.lmsys.org/blog/2026-07-06-dspark-sglang/)
  已公开 `static`、`compact` 与 `cap-accept` 三种 verify mode。其中 `cap-accept`
  执行完整 block、但只提交 compact window，且说明其输出与 `compact` 相同。这正是
  “同一语义下 full/padded 与 compact”的 counterfactual；
- 该实现还公开了 DP attention 下各 rank 使用最大 graph tier 的处理。因此，仅在
  vLLM/H20 上再复现 compact 比 padded 快，只是环境复现，不是新的系统贡献。

P0 还独立否定了原来的 liveness 动机：目标 runtime 已经以 scalar DP metadata 协调
不同 DP replica 的物理 shape；异构 verifier candidate 没有引起运行期 collective
错误。故不能再把“必须新增 canonical header 才能避免死锁”作为论文 premise。

## 术语：什么必须相同

### Logical plan（也称 semantic plan）

logical plan 是一次 speculative verification **应当计算和提交什么**的不可变记录；它
不包含 padding、CUDA graph tier、物理 rank 行数、worker PID 或耗时。每一个 verifier
epoch 的最小条目为：

```text
(global_epoch, dp_rank, ordered request id,
 logical_output_offset_before, scheduled_seq_len,
 available_candidate_token_ids, requested_k, effective_k,
 visible_candidate_token_ids_hash)
```

请求层还必须固定 `client_request_id`、server request id、prompt/body hash、arrival、DP
assignment、提交顺序、temperature/seed 与预期 completion length。最终还要逐请求验证
output token-id hash、completion length、finish reason、usage，以及 endpoint semantic
transcript hash（content/reasoning/tool-call 的 canonical JSON）。

这里的关键是 `k_i` 的 key 必须是
`(server_request_id, logical_output_offset_before)`，而不是只有 request id：同一请求会
经历多个 verification epoch。只有两个 cell 的这些事实都相同，才称为 *same logical
plan*。

### Compact vs. padded：只是同一 plan 的两个 lowering

给定同一组 non-dummy logical entries：

- **PaddedSync-semantic**：保留这些 entries，但为同步域插入 masked dummy rows，使各
  DP peer 的 physical shape 对齐；
- **CompactSync**：保留完全相同的 entries、candidate 和 commit semantics，用 ragged
  packing / split vector 执行真实 rows，不计算 dummy rows。

因此 `static K=3` 不能当作 padded 对照：它改变了每个请求可见 candidate prefix，改变了
logical algorithm，而不是只改变 physical lowering。真实 physical-row 公式也不能简单
写成 `N * (1 + max k_i)`；普通 decode、TP alignment 和 CUDA-graph alignment 都要从
runner 的 row map 分开计数。

## 当前 P0 对 P2 的限制

P0 heterogeneous policy 按 vLLM **随机生成的 server request id** 哈希，而 client 没有
发送 `X-Request-Id`。所以即使 trace 和 seed 相同，两个 cell 的每个 request/epoch 的
`k_i` 也不可保证相同；日志只有 aggregate digest/histogram，也没有 per-row candidate
token、assignment 或最终 token-id hash。P0 因而不能充当 same-logical-plan 的 P2 A/B。

P0 的 padding 上界也已校正。66 个 target epoch 中 62 个 raw DP counts 不等：

```text
raw logical rows                 6,276
local non-DP-aligned rows        6,536
PaddedSync physical rows         7,024
DP-global-max attributable rows    488  (= 6.95% of physical rows)
```

此前的 748 / 10.65% 将 260 行本地 TP/CUDA-graph alignment 混入 DP max padding。即使
488 行都可回收，它仍只是 **target verifier row-count 的上界**：EAGLE3 仍按 Kmax=3
完成 drafter 工作，也没有测得 EP bytes、collective critical path 或 E2E SLO-goodput。

## 若未来重新打开，先补齐的测量契约

不应先实现 compact lowering。先添加只用于 audit 的 telemetry：

1. client 对每个请求发送固定 `X-Request-Id`、`X-Data-Parallel-Rank` 和
   `return_token_ids=true`；记录 response id、prompt/output token-id hash、semantic
   transcript hash 和 finish reason；
2. scheduler 作为 semantic ledger 的唯一 writer，记录 per-epoch ordered entries、候选
   token、requested/effective K、logical cursor 与 sampled token hash；
3. worker 只记录物理事实：每 rank physical rows、DP/TP/graph padding 的原因、packed row
   map；若要主张 EP 收益，额外记录 DeepEP all-to-all split vector、bytes、duration 和
   rank wait；
4. 汇总器先给出第一个 semantic/output diff，任一 mismatch 即标为 invalid，禁止读取
   性能数字。

最小 reproducibility smoke（仅在发现 topology gap 后执行）是 fresh engine 上的 16 个
decode-only requests、每个 64 output tokens、temperature=0、DP0/DP1 各 8 个、显式
`{0,3}` alternating manifest。先连续跑两次 **同一个** padded cell；只有 ledger 和逐请求
token hash 全等，才允许运行 padded/compact mechanism probe。`return_token_ids` 会改变 SSE
负担，故最终 latency cell 必须关掉该字段、改以 scheduler-side hash 审计。

## 唯一尚可证伪的拓扑假设

公开材料没有证明、也没有否定下列特殊情形：**独立 standard-DP scheduler 共享同一个 EP
all-to-all domain** 时，DP global-max graph tier 之外仍有 EP split-vector / collective
ordinal 的关键路径浪费。这不能从“论文没有写”推断为新颖性。

只有一次短的 topology reconnaissance 观测到该额外瓶颈，才重新进行文献审计并考虑下列
顺序严格的 gates：

1. 与 SGLang-style DP global-max tier / current runtime 相比，compact plan 降低实际 EP
   bytes、split imbalance 或 collective critical-path time；仅少几个 rows 不够；
2. 在相同 semantic plan、token-exact 输出和无 tail-latency 退化下，至少三次 fresh-engine
   paired runs 显示 E2E SLO-goodput 增益 >=10%；
3. topology ablation 支持因果归因：DP=1 或 EP 不跨 DP 时收益消失或显著缩小，而
   DP×shared-EP 时出现；
4. 重新完成与 DSpark/SGLang 的逐项差异审计，证明贡献是 topology-aware collective
   scheduling，而不是已有 ragged packing。

任一 gate 不成立即结束 CollectiveSpec；不以 controller/K/queue knob 调优替代证据。

## 如果 gate 重开时的固定环境与 setup

下列是 P0 实际使用、后续必须 provenance-pin 的环境，而不是当前已启动的实验：

| 项目 | 固定值 |
|---|---|
| host / accelerator | `dash0`，8 × NVIDIA H20 |
| target / draft | Qwen3-235B-A22B FP8；EAGLE3，Kmax=3 |
| parallelism | TP=4，DP=2，EP=8；`VLLM_MOE_USE_DEEPEP=1` |
| engine | dash0 live installed vLLM wheel；记录 wheel metadata、import path、launch command 与 commit；不能以本地 checkout API 代替 |
| execution | `FULL_DECODE_ONLY` CUDA graphs、FP8 KV cache、block size 64、`max-num-batched-tokens=1024`、`max-num-seqs=192`、max model len 262144 |
| workload | immutable materialized `thinking_w20260327_1000` 的 decode-only window；机制 smoke 使用固定 burst，E2E 使用完整、session-closure 状态明确的 trace |
| reproducibility | fresh engine per cell、temperature=0、固定 seed、固定 request ids/DP assignment、prefix-cache state 从空开始、ABBA cell order |
| SLO（若进入 E2E） | 预注册 TPOT <= 40 ms、pass rate >= 0.95；同时报告 completion success、p50/p95/p99、deadline failures 与 output equivalence |

remote source 必须从 Git 同步到
`/home/admin/cpfs/wjh/collectivespec-pilot/20260713T054328Z/source`，并记录运行时实际
source revision；任何远端 job 启动前在 artifact 中写明 resolved command、模型/trace path、
预计 GPU 时间和结果目录。

## 审计数据健全性

- 新增实验数：n=0；本文件不报告任何新的性能数字。
- 已复核的 P0 target epochs：n=66；两个 DP rank 的 raw row values 共 n=132，
  min=1、max=77、distinct=35；physical rows 则 n=66，min=4、max=80、distinct=14。
  原始 JSONL 可复核，不以 aggregate 值伪造每 epoch 分布。
- 已用 aggregate row totals：n=4，min=488，max=7,024，distinct=4；均为非负。校正后的
  关系 `6,276 <= 6,536 <= 7,024` 成立，且 `7,024 - 6,536 = 488`。
- 外部材料覆盖判断区分为“论文明确描述”“官方公开实现明确描述”和“未公开拓扑细节”；
  未从缺失的 EP 细节推导新颖性或性能收益。