- [x] 提供一个构造 不同时间段 / 不同总时长 / 不同 QPS 的 vLLM 真实测试的 trace 构造器,需要保证:小 QPS 是大 QPS 的子集(避免平均长度不同) - [x] trace 分析 - [x] QPS - [x] 平均输入输出长度 - [x] 有上一轮对话的比例 - [x] 上下轮对话之间间隔时间的 mean/p90/p50/... - [ ] 不同 workload 的 one-shot 比例 - [ ] s3-fifo 的不同 one-shot 比例与 S/M 比例的关系 - [ ] DistServe 的 simulator 做了什么?