90 lines
6.2 KiB
Markdown
90 lines
6.2 KiB
Markdown
# Qwen235B T0 fixed-shape smoke report
|
||
|
||
日期：2026-07-16。状态：real 与 profile-closed Frontier smoke complete；不是 config-rank evaluation。
|
||
|
||
## Setup
|
||
|
||
| 项目 | 设置 |
|
||
|---|---|
|
||
| host | `dash0`，仅 GPU 0--3；GPU 4--7 始终空闲 |
|
||
| model | `Qwen/Qwen3-235B-A22B-FP8` |
|
||
| runtime | community vLLM 0.10.2、torch 2.8.0、Transformers 4.55.2 |
|
||
| config | TP4/DP1、MNS64、MBT8192、block16、26,101 KV blocks/GPU |
|
||
| execution | FlashInfer、eager、BF16 KV、prefix/spec/CUDA graph off |
|
||
| workload | exact prompt token IDs；ISL=2,048、OSL=128；single 和两个同时到达 requests |
|
||
| SLO | TTFT ≤1,256 ms、TPOT ≤40 ms，joint pass |
|
||
| GPU cost | 02:33:48--02:36:01 UTC，133 s × 4 H20 = 0.148 H20-hours |
|
||
|
||
vLLM 报告每卡 model weights 约55.13 GiB、KV capacity 417,616 tokens，以及 `num_gpu_blocks=26101`。这与此前输入 Frontier 的 TP4 KV capacity 一致。
|
||
|
||
## Real result
|
||
|
||
| load | request | usage | TTFT | TPOT | E2E | joint pass |
|
||
|---|---:|---|---:|---:|---:|---:|
|
||
| single | 0 | 2,048+128 | 586.23 ms | 136.18 ms | 17,881.30 ms | no |
|
||
| concurrency=2 | 0 | 2,048+128 | 186.09 ms | 124.87 ms | 16,045.24 ms | no |
|
||
| concurrency=2 | 1 | 2,048+128 | 434.29 ms | 123.78 ms | 16,154.03 ms | no |
|
||
|
||
所有 response 的 usage completion tokens 和逐 chunk token IDs 都是128；不是 EOS 提前退出或 client length-hint 误差。artifact SHA256 全部通过 harvest 后复验。
|
||
|
||
单请求已经违反40 ms TPOT，说明该 SLO 对 community/eager controlled stack 在最低负载下不可行。concurrency=2 的 batching 将平均 TPOT 改善到124.33 ms，但仍不足以通过。这是 pilot finding，不应用于事后挑选一个恰好产生所需 ranking 的阈值。
|
||
|
||
## Frontier result
|
||
|
||
Frontier 使用冻结的 best-effort source：
|
||
|
||
```text
|
||
upstream commit: d9cfeb6d8791fbf2f295dd9744c56a666171776e
|
||
source/config tree SHA256: 172fc7ae19c40e67030208ff488d0d5d90764888ed76a7a543be6037ba62dc11
|
||
profile root: profiles-best-effort-final-v2
|
||
TP4/DP1/MoE-TP4/EP1, MNS64, MBT8192, block16, 26101 blocks
|
||
```
|
||
|
||
simulator 正确加载1个请求，执行2,048-token prefill，并提交第一个 decode token。下一轮成为 pure-decode batch 时失败：
|
||
|
||
```text
|
||
Skipping eager attn_decode training: no standard decode rows
|
||
ValueError: attention decode prediction cache not found for cluster monolithic
|
||
```
|
||
|
||
profile audit 确认 final attention CSV 有726 rows，但 `is_prefill` 只有 `True`。另外两个已有 Qwen235 attention files 也只有 prefill rows。由于没有产生完整 request metrics，本文不报告 simulator TTFT/TPOT，也不把 crash 当成 SLO failure。使用 dummy/fallback latency 会把缺失 measurement coverage 隐藏成虚假的 simulator prediction。
|
||
|
||
## Profile closure 与 rerun
|
||
|
||
在 `dash0` 单张 H20 上，用同一 vLLM 0.10.2/FlashInfer stack 测量 TP4、batch `{1,2}`、KV `{2048,2176}` 的4个 CUDA-event decode-attention points；4/4 rows 的 `attn_decode.median` 非空。它们与原726个 prefill rows 按完全相同的55-column schema 合并到新的 immutable profile root，未覆盖原 profile，也未加入 dummy 或 E2E calibration。
|
||
|
||
同一 Frontier smoke 随后精确完成1/2个请求：
|
||
|
||
| load | request | TTFT | TPOT | E2E |
|
||
|---|---:|---:|---:|---:|
|
||
| single | 0 | 267.67 ms | 88.27 ms | 11,478.45 ms |
|
||
| concurrency=2 | 0 | 470.66 ms | 90.54 ms | 11,969.73 ms |
|
||
| concurrency=2 | 1 | 470.66 ms | 90.54 ms | 11,969.73 ms |
|
||
|
||
请求数、ISL/OSL 与 real contract 完全一致，所有 latency 均有限且非负，representation gate 因而通过。absolute TPOT error 并非固定比例：single 低估约35%，concurrency=2 低估约27%。这组数据只能证明 simulator 现在能表达该 state path，不能证明 config rank 正确。
|
||
|
||
steady-QPS 下还会出现 prefill+decode true-mixed batches，因此 full surface 没有沿用4-row smoke profile。后续完整 closure 覆盖 TP4/TP8 各81个 standard-decode 与108个 true-mixed points；合并后的 attention root 共1,104 rows，并已确认 `attn_decode_in_mixed` 从每个 TP 的108个真实 samples 训练。
|
||
|
||
## Interpretation
|
||
|
||
Change：首次把原 prefill-only compatibility envelope用于有真实 decode tokens 的最简单 fixed-shape case。
|
||
|
||
Expected effect：如果 profiles 和 execution model 已闭合，Frontier 应至少产生同一 config 的 TTFT/TPOT，之后才能讨论绝对 gap 或 rank。
|
||
|
||
Verification：real exact-token streaming run；Frontier 同 config/blocks/profile run；profile CSV 与完整 traceback 审计。
|
||
|
||
Result：real serving 成功；原 Frontier compatibility envelope 在 pure-decode attention 处断裂；补齐最小 measurement coverage 后 smoke 通过，但出现27%--35%的 TPOT absolute error。因此此前的 prefill rank-match 仍不能支持“Frontier 已足够解决 Qwen235 mixed config selection”的外推，必须看完整 config response surface。
|
||
|
||
Remaining risk：完整 profile 已加入 mixed-attention coverage，但 MoE decode routing context、EP8 communication、batch-dependent TPOT 和 simulator/real action ranking 仍需由 full surface 检验；smoke 只关闭第一个必要缺口，并未证明它是唯一缺口。
|
||
|
||
## Evidence
|
||
|
||
- Real single request：[single.json](fleet-artifacts/qwen235b-t0-tp4-smoke-20260716-v1-20260716T023346844896Z/artifacts/artifacts/t0-smoke-20260716/results/single.json)
|
||
- Real concurrency=2：[concurrency2.json](fleet-artifacts/qwen235b-t0-tp4-smoke-20260716-v1-20260716T023346844896Z/artifacts/artifacts/t0-smoke-20260716/results/concurrency2.json)
|
||
- Server log：[server.log](fleet-artifacts/qwen235b-t0-tp4-smoke-20260716-v1-20260716T023346844896Z/artifacts/artifacts/t0-smoke-20260716/logs/server.log)
|
||
- Frontier command：[command.json](frontier-smoke-failure/single/command.json)
|
||
- Frontier traceback：[stdout.log](frontier-smoke-failure/single/stdout.log)
|
||
- Frontier trace：[trace.csv](frontier-smoke-failure/single/trace.csv)
|
||
- Minimal decode profile coverage：[coverage.json](fleet-artifacts/qwen235b-decode-attention-profile-20260716-v1-20260716T030929269383Z/artifacts/artifacts/decode-attention-profile-20260716/provenance/coverage.json)
|
||
- Full attention profile coverage：[coverage.json](fleet-artifacts/qwen235b-t0-full-attention-profile-20260716-v1-20260716T032536186518Z/artifacts/artifacts/t0-full-attention-profile-20260716/provenance/coverage.json)
|