[疑问] 在dp=8，max_num_seq=160场景下,为什么用aisbench跑达不到预期并发160（每个dp）。但是用curl的方式能达到160。 #181
Description
疑问描述
ais_bench --models vllm_api_stream_chat --datasets synthetic_gen --mode perf
前置检查
- 我已读懂主页文档的快速入门，无法解答我的疑惑
{{ message }}
ais_bench --models vllm_api_stream_chat --datasets synthetic_gen --mode perf