4.2 KiB
4.2 KiB
| 1 | mode | cell | role | real_feasible | sim_feasible | real_pass_rate | sim_pass_rate | pass_rate_absolute_error | offered_req_s_per_gpu | sim_throughput_req_s_per_gpu |
|---|---|---|---|---|---|---|---|---|---|---|
| 2 | historical-calibrated | tp1_mns64 | high1 | False | True | 0.24581005586592178 | 0.9888268156424581 | 0.7430167597765364 | 2.9833333333333334 | 2.8823345959582403 |
| 3 | historical-calibrated | tp1_mns64 | low1 | True | True | 1.0 | 1.0 | 0.0 | 2.033333333333333 | 1.9806287931485522 |
| 4 | historical-calibrated | tp1_mns8 | high1 | False | False | 0.20670391061452514 | 0.16759776536312848 | 0.03910614525139666 | 2.9833333333333334 | 2.162661799726284 |
| 5 | historical-calibrated | tp1_mns8 | low1 | True | True | 1.0 | 0.9754098360655737 | 0.024590163934426257 | 2.033333333333333 | 1.9806313066623409 |
| 6 | historical-calibrated | tp2_mns64 | high1 | True | True | 1.0 | 1.0 | 0.0 | 2.875 | 2.809583898291986 |
| 7 | historical-calibrated | tp2_mns64 | low1 | True | True | 1.0 | 1.0 | 0.0 | 1.9583333333333333 | 1.911740196570019 |
| 8 | historical-calibrated | tp2_mns8 | high1 | False | False | 0.20238095238095238 | 0.15476190476190477 | 0.047619047619047616 | 2.8 | 2.083217332903509 |
| 9 | historical-calibrated | tp2_mns8 | low1 | True | True | 1.0 | 0.9868995633187773 | 0.013100436681222738 | 1.9083333333333334 | 1.8637394408880168 |
| 10 | historical-calibrated | tp4_mns16 | high1 | False | False | 0.10666666666666667 | 0.2693333333333333 | 0.16266666666666663 | 3.125 | 2.6829294600763345 |
| 11 | historical-calibrated | tp4_mns16 | low1 | False | True | 0.6196078431372549 | 1.0 | 0.3803921568627451 | 2.125 | 2.0865667413849516 |
| 12 | historical-calibrated | tp4_mns64 | high1 | True | True | 1.0 | 1.0 | 0.0 | 3.125 | 3.0718260341342285 |
| 13 | historical-calibrated | tp4_mns64 | low1 | True | True | 1.0 | 1.0 | 0.0 | 2.125 | 2.0967062495193307 |
| 14 | historical-profile-only | tp1_mns64 | high1 | False | False | 0.24581005586592178 | 0.24581005586592178 | 0.0 | 2.9833333333333334 | 2.82546810606982 |
| 15 | historical-profile-only | tp1_mns64 | low1 | True | False | 1.0 | 0.7377049180327869 | 0.2622950819672131 | 2.033333333333333 | 1.9427723213024963 |
| 16 | historical-profile-only | tp1_mns8 | high1 | False | False | 0.20670391061452514 | 0.09497206703910614 | 0.111731843575419 | 2.9833333333333334 | 1.5728783582441022 |
| 17 | historical-profile-only | tp1_mns8 | low1 | True | False | 1.0 | 0.1721311475409836 | 0.8278688524590164 | 2.033333333333333 | 1.5629164685645112 |
| 18 | historical-profile-only | tp2_mns64 | high1 | True | False | 1.0 | 0.2608695652173913 | 0.7391304347826086 | 2.875 | 2.7121507155597584 |
| 19 | historical-profile-only | tp2_mns64 | low1 | True | False | 1.0 | 0.8382978723404255 | 0.16170212765957448 | 1.9583333333333333 | 1.849101894293262 |
| 20 | historical-profile-only | tp2_mns8 | high1 | False | False | 0.20238095238095238 | 0.041666666666666664 | 0.16071428571428573 | 2.8 | 0.9859710483293953 |
| 21 | historical-profile-only | tp2_mns8 | low1 | True | False | 1.0 | 0.0611353711790393 | 0.9388646288209607 | 1.9083333333333334 | 0.9771135206177947 |
| 22 | historical-profile-only | tp4_mns16 | high1 | False | False | 0.10666666666666667 | 0.028 | 0.07866666666666668 | 3.125 | 0.9604809617478992 |
| 23 | historical-profile-only | tp4_mns16 | low1 | False | False | 0.6196078431372549 | 0.058823529411764705 | 0.5607843137254902 | 2.125 | 0.9495221159963836 |
| 24 | historical-profile-only | tp4_mns64 | high1 | True | False | 1.0 | 0.0026666666666666666 | 0.9973333333333333 | 3.125 | 2.281094127221267 |
| 25 | historical-profile-only | tp4_mns64 | low1 | True | False | 1.0 | 0.4627450980392157 | 0.5372549019607843 | 2.125 | 1.9793960278798877 |
| 26 | vllm020-profile-only | tp1_mns64 | high1 | False | False | 0.24581005586592178 | 0.0 | 0.24581005586592178 | 2.9833333333333334 | 2.074240230678028 |
| 27 | vllm020-profile-only | tp1_mns64 | low1 | True | False | 1.0 | 0.0 | 1.0 | 2.033333333333333 | 1.6189525827713862 |
| 28 | vllm020-profile-only | tp1_mns8 | high1 | False | False | 0.20670391061452514 | 0.0 | 0.20670391061452514 | 2.9833333333333334 | 0.5271192714936628 |
| 29 | vllm020-profile-only | tp1_mns8 | low1 | True | False | 1.0 | 0.0 | 1.0 | 2.033333333333333 | 0.5225514701978402 |
| 30 | vllm020-profile-only | tp2_mns64 | high1 | True | False | 1.0 | 0.0 | 1.0 | 2.875 | 1.7237810220598582 |
| 31 | vllm020-profile-only | tp2_mns64 | low1 | True | False | 1.0 | 0.0 | 1.0 | 1.9583333333333333 | 1.608919184557297 |
| 32 | vllm020-profile-only | tp2_mns8 | high1 | False | False | 0.20238095238095238 | 0.0 | 0.20238095238095238 | 2.8 | 0.39315152956277477 |
| 33 | vllm020-profile-only | tp2_mns8 | low1 | True | False | 1.0 | 0.0 | 1.0 | 1.9083333333333334 | 0.3894201655965407 |
| 34 | vllm020-profile-only | tp4_mns16 | high1 | False | False | 0.10666666666666667 | 0.0 | 0.10666666666666667 | 3.125 | 0.43700447014112276 |
| 35 | vllm020-profile-only | tp4_mns16 | low1 | False | False | 0.6196078431372549 | 0.0 | 0.6196078431372549 | 2.125 | 0.43475717185302865 |
| 36 | vllm020-profile-only | tp4_mns64 | high1 | True | False | 1.0 | 0.0 | 1.0 | 3.125 | 1.2598449015844073 |
| 37 | vllm020-profile-only | tp4_mns64 | low1 | True | False | 1.0 | 0.0 | 1.0 | 2.125 | 1.2025831680037373 |