507 B
507 B
-
提供一个构造 不同时间段 / 不同总时长 / 不同 QPS 的 vLLM 真实测试的 trace 构造器，需要保证：小 QPS 是大 QPS 的子集（避免平均长度不同）
-
trace 分析
- QPS
- 平均输入输出长度
- 有上一轮对话的比例
- 上下轮对话之间间隔时间的 mean/p90/p50/...
- 不同 workload 的 one-shot 比例
- s3-fifo 的不同 one-shot 比例与 S/M 比例的关系
-
DistServe 的 simulator 做了什么？