16 lines
507 B
Markdown
16 lines
507 B
Markdown
- [x] 提供一个构造 不同时间段 / 不同总时长 / 不同 QPS 的 vLLM 真实测试的 trace 构造器，需要保证：小 QPS 是大 QPS 的子集（避免平均长度不同）
|
|
|
|
|
|
- [x] trace 分析
|
|
- [x] QPS
|
|
- [x] 平均输入输出长度
|
|
- [x] 有上一轮对话的比例
|
|
- [x] 上下轮对话之间间隔时间的 mean/p90/p50/...
|
|
- [ ] 不同 workload 的 one-shot 比例
|
|
- [ ] s3-fifo 的不同 one-shot 比例与 S/M 比例的关系
|
|
|
|
|
|
|
|
|
|
|
|
- [ ] DistServe 的 simulator 做了什么？ |