Skip to content

Qwen3模型PD分离的工作负载仿真结果不正确的问题 #210

@yezhuxiatian

Description

@yezhuxiatian

您好,我在使用新代码做仿真时遇见仿真结果不正确的情况,向您请教。我的使用如下:
首先生成Qwen3-moe模型的prefill工作负载,指令如下:sh ./scripts/inference_workload_with_aiob.sh -m qwen3-235B
-c ./scripts/inference_configs/qwen3_moe_default.json
-s 32768 -b 4 -w 12288 -t 8 -l 16 -e 32 -p prefill
生成的负载文件为:Qwen3-Moe-235B-world_size12288-tp8-pp16-ep32-bs4-seq32768-prefill.txt。
下一步进行analytical仿真,命令如下: ./bin/SimAI_analytical -w aicb/results/workload/Qwen3-Moe-235B-world_size12288-tp8-pp16-ep32-bs4-seq32768-prefill.txt -g 12288 -g_p_s 8 -r prefill- -nv 380 -nic 50
生成的结果中bubble time为100%,其他策略的通信时间占比都为0,请问这是为什么以及如何解决?
感谢感谢。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions