# Background ## Hardware spec ![[250326-153847.png]] | | memory | bandwidth | FP32 TFLOPs | TF32 TFLOPS | FP16 TFLOPs | FP8 TFLOPs (FP16 Accumulate) | inter bandwidth | | -------- | ------ | --------- | ----------- | ------------- | ----------- | ---------------------------- | ---------------------------------------- | | M3-Ultra | 512 GB | 800 GB/s | 43 | NA | 114.688 | NA | thunderbolt5-15 GB/s (max: 6 links * 15) | | 4090 | 24 GB | 1.01 TB/s | 82.6 | 82.6 / 165.2 | 82.58 | 660.6 / 1321.2 | | | 5090 | 32 GB | 1.79 TB/s | 104.8 | 104.8 / 209.5 | 419 / 838 | 838 / 1676 | | | H20-HGX | 96 GB | 4 TB/s | 44 | 74 | 148 | 296 | | | H100-SXM | 80 GB | 3.35 TB/s | 67 | 495 / 989 | 990 / 1979 | 1979 / 3958 | | | A100-SXM | 80 GB | 2039 GB/s | 19.5 | 156 / 312 | 312 / 624 | NA | | ## M3-Ultra - 算力 对于 DeepSeek-V3/R1 的架构，prefill per token 需 0.0763 TFLOPs。假设 M3-Ultra 能吃满 80% 的算力，则单卡 M3-Ultra 至多做 1195 tokens/s 的 prefill。 在平均 seq_len 为 2k tokens 时，做一次 decode 需要 0.1055 TFLOPs。假设此时 M3-Ultra 能吃满 30% 的算力，则至多做 324 tokens/s，如果 batch_size = 16，对每个用户可以达到 20tps（TPOT = 50 ms），满足 SLO。即使 seq_len 达到 8k，也能提供 10tps，满足基本使用需求。 | seq_len | TFLOPs/token | TPS for a batch (30% utilization) | | ------- | ------------ | --------------------------------- | | 256 | 0.075 | 455.825 | | 512 | 0.079 | 430.848 | | 1024 | 0.088 | 388.296 | | 2048 | 0.105 | 324.247 | | 4096 | 0.140 | 243.813 | | 8192 | 0.210 | 162.963 | | 16384 | 0.349 | 97.981 | - 访存 每次激活 37 B，使用 FP8 的参数，需要 load 37 GB，假设 800 GB/s 的带宽能吃满 85%，54.41 ms 的参数访存时间。TPS 从 20 降至 10. - 通信 MLA 部分单 token all_reduce 需要 0.000814438 GB。Decode 阶段，bsz=64，15 GB/s bandwidth，利用率 50%，则耗时为 6.95 ms。bsz=16，则耗时为 1.74ms。从 50 ms 的 decode，考虑带宽开销后变为 51.74 ms，此时为每个用户可提供 19.32 tps。 - KV cache load seq_len=4096, bsz=16，KV load 的开销为 6.7 ms，以访存计算，可达到每用户 149 tps。考虑 TPOT=50ms，加上通信开销与 KV cache load 开销后，在 60ms 以内，每用户可达到 16.7 tps - KV cache 存储 FP16 保存时，单 token 需要 68.62 KB。bsz=16，平均 input+output=8k tokens，则共需 8.58 GB。对于最大支持 512 GB 的 M3-Ultra 来说就是洒洒水啦～ 综合考虑以上部分，假设输入的 batch 为 16 reqs * 4k context，在单卡 M3-Ultra 上进行推理，output 下一个 token 的耗时为： - load model params：37 GB / (800 GB/s * 0.85) = 54.41 ms - load KV cache: 6.7 ms - 计算：(0.105 / (114 * 0.3)) * 16 = 49.12 ms 可做到对每个请求达到 110.23ms / token ～ 9 TPS ## KTransformers 假设使用单卡 4090，report 的性能数据：286 tokens/s prefill，14 tokens/s decode TBD: - 理论计算 KT 的性能 On-demand quantization, Module injection, Operator placement 核心 feature： - 写一个 yaml 即可匹配模型的指定部分，将这部分参数 offload 至 CPU 进行计算 - 算子注入框架，将指定模块的算子进行替换 # References - [DeepSeek-V3/R1推理效率分析(v0.15)](https://mp.weixin.qq.com/s/-KWSFpjiTggFP4Y_jJa1oA) - [GPU specs database](https://www.techpowerup.com/gpu-specs/) - [M3 Ultra is a slightly weakened 3090 w/ 512GB](https://www.reddit.com/r/LocalLLaMA/comments/1j4jpij/m3_ultra_is_a_slightly_weakened_3090_w_512gb/) --- # Backup ### KTransformers 假设使用单卡 4090，report 的性能数据：286 tokens/s prefill，14 tokens/s decode TBD: 理论计算 KT 的性能 On-demand quantization, Module injection, Operator placement 核心 feature： - 写一个 yaml 即可匹配模型的指定部分，将这部分参数 offload 至 CPU 进行计算 - 算子注入框架，将指定模块的算子进行替换 ## 模型情况 DeepSeek-V3，[计算参考](https://zhuanlan.zhihu.com/p/24954705040)。 每个专家 44,040,192B，router 参数量 1,835,264B，每层 load 8 个 experts，8 * 44,040,192 + 1,835,264 = 354,156,800B，每层约 load 0.35GB 参数。共 58 层（前 3 层为 dense）。每层参数走 PCIe 5.0 * 8，则耗时为 11ms。 算力需求： $$8 \cdot 7168^2 + 2 \cdot 14336 \cdot L^2 + 473432064 \cdot L$$ 114 TFLOPs fp16 算力下，decode 吃满算力可做 ~4k tokens in a batch。 ## 各层算力需求计算 ### MLA ![[250326-153847-1.png]] $$ \begin{aligned} o_{t, i} &= \sum_{j = 1}^{t} \mathrm{Softmax}_j(\frac{q_{t, i}^T k_{j, i}}{\sqrt{d_h + d_h^R}})v_{j, i}^C \\ &= \sum_{j = 1}^{t} \mathrm{Softmax}_j(\frac{[q_{t, i}^C; q_{t, i}^R]^T [k_{j, i}^C; k_j^R]}{\sqrt{d_h + d_h^R}})v_{j, i}^C \\ &= \sum_{j = 1}^{t} \mathrm{Softmax}_j(\frac{[W_i^{UQ}c_t^{Q}; q_{t, i}^R]^T [W_i^{UK}c_j^{KV}; k_j^R]}{\sqrt{d_h + d_h^R}})v_{j, i}^C \\ &= \sum_{j = 1}^{t} \mathrm{Softmax}_j(\frac{[W_i^{UQ}c_t^{Q}; q_{t, i}^R]^T [W_i^{UK}\textcolor{blue}{c_j^{KV}}; \textcolor{blue}{k_j^R}]}{\sqrt{d_h + d_h^R}})(W_i^{UV}\textcolor{blue}{c_j^{KV}}) \\ \end{aligned} $$ $$ \begin{aligned} u_{t, i} &= W^O_i \cdot o_{t, i} \\ &= W^O_i \sum_{j = 1}^{t} \mathrm{Softmax}_j(\frac{[W_i^{UQ}c_t^{Q}; q_{t, i}^R]^T [W_i^{UK}\textcolor{blue}{c_j^{KV}}; \textcolor{blue}{k_j^R}]}{\sqrt{d_h + d_h^R}})(W_i^{UV}\textcolor{blue}{c_j^{KV}}) \\ &= \sum_{j = 1}^t \mathrm{Softmax}_j(\frac{[W_i^{UQ}c_t^{Q}; q_{t, i}^R]^T [W_i^{UK}\textcolor{blue}{c_j^{KV}}; \textcolor{blue}{k_j^R}]}{\sqrt{d_h + d_h^R}})(W^O_i W_i^{UV})\textcolor{blue}{c_j^{KV}} \\ \end{aligned} $$ $h_t \in \mathbb{R}^{\text{hidden\_size} \times 1}$ $W^{DQ} \in \mathbb{R}^{\text{q\_lora\_rank} \times \text{hidden\_size}}$, $c_t^Q \in \mathbb{R}^{\text{q\_lora\_rank} \times 1}$ $W^{UQ} \in \mathbb{R}^{(\text{num\_attention\_heads} \cdot \text{qk\_nope\_head\_dim}) \times \text{q\_lora\_rank}}$ $q_t^C \in \mathbb{R}^{(\text{num\_attention\_heads} \cdot \text{qk\_nope\_head\_dim}) \times 1}$ $W^{QR} \in \mathbb{R}^{\text{qk\_rope\_head\_dim} \times \text{q\_lora\_rank}}$, $q_t^R \in \mathbb{R}^{\text{qk\_rope\_head\_dim} \times 1}$ $q_{t, i} \in \mathbb{R}^{(\text{qk\_nope\_head\_dim} + \text{qk\_rope\_head\_dim}) \times 1}$ $W^{DKV} \in \mathbb{R}^{\text{kv\_lora\_rank} \times \text{hidden\_size}}$, $c_t^{KV} \in \mathbb{R}^{\text{kv\_lora\_rank} \times 1}$ $W^{UK} \in \mathbb{R}^{(\text{num\_key\_value\_heads} \cdot \text{qk\_nope\_head\_dim}) \times \text{kv\_lora\_rank}}$ $k_t^{C} \in \mathbb{R}^{(\text{num\_key\_value\_heads} \cdot \text{qk\_nope\_head\_dim}) \times 1}$ $W^{KR} \in \mathbb{R}^{\text{qk\_rope\_head\_dim} \times \text{kv\_lora\_rank}}$, $k_t^R \in \mathbb{R}^{\text{qk\_rope\_head\_dim} \times 1}$ $k_{t, i} \in \mathbb{R}^{(\text{qk\_nope\_head\_dim} + \text{qk\_rope\_head\_dim}) \times 1}$ $W^{UV} \in \mathbb{R}^{(\text{num\_key\_value\_heads} \cdot \text{qk\_nope\_head\_dim}) \times \text{kv\_lora\_rank}}$ $v_t^{C} \in \mathbb{R}^{(\text{num\_key\_value\_heads} \cdot \text{qk\_nope\_head\_dim}) \times 1}$ $W_O \in \mathbb{R}^{\text{num\_head} }$ 总计算量 `n_h * ((qk_nope_head_dim + qk_rope_head_dim))` KV cache 的部分 $C_t^{KV}$ 与 $k_t^R$，对于长度为 $l$ 的 tokens，总 cache 量为 $(\text{kv\_lora\_rank} + \text{qk\_rope\_head\_dim}) \cdot l$ ## TBD - [ ] 每层计算时按需 load/unload 的带宽耗时 对比 mac 统一内存下很差的 TFLOPs 计算速度，哪个会成为瓶颈 batch_size = 2, seq_len = 256 | n_layers | TFLOPs | | -------- | ------ | | 3 | 1.9059 | | 4 | 2.5418 | | 5 | 3.1778 | | 6 | 3.8137 | layers 61: 1.9059 + (61 - 3) * 0.6359333333 = 38.79 TFLOPs 86 TFLOPs FP16 意味着，1s 处理 ~1k tokens 的 context 时，只能达到 1tps，完成不可用！ layers: 6 2 * 512: 8.0623 1 * 1024: 8.9369 layers: 5 1 * 1024: 7.4458 1 * 2048: 17.8143 583.48 M + (187.11 M + (1.84 M + 44.04 M * 9)) * (61 - 3) = 34531.46 M = 33.72 GB 1.49 * 61 = 90.89 GFLOPs 单层算力需求（GFLOPs） - MLA: normal: 0.374292, absorb: 0.714439 - MLP: 0.792723 - MoE: 1 expert: 0.088080