-
Notifications
You must be signed in to change notification settings - Fork 150
Open
Description
System Info / 系統信息
vllm0.12版本 transformer 版本 4.57.0 启动方式 vllm serve /models/dir --served-model-name glm4.6v --host 0.0.0.0 --port 12156 --tensor-parallel-size 4 --gpu-memory-utilization 0.9 --max-num-seqs 32 --allowed-local-media-path / 这个视频没有思考模式。 vllm0.14,0.15版本 transformer5.0以上,上面的可以启动,也没有 思考模式,但是transformer和vllm版本冲突,也能按照,vllm,0.14,0.15要求transformer4.57,你们官方给的环境配置不成功, glm4.6v目前没用思考模式,sglang也是有冲突,启动后发现有问题
Who can help? / 谁可以帮助到您?
No response
Information / 问题信息
- The official example scripts / 官方的示例脚本
- My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
就是按照官方给的版本安装会有冲突,同样的镜像,glm4.6v-flash就没有问题。
Expected behavior / 期待表现
希望尽快看一下
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels