Skip to content

glm4.6v-106B这个思考模式部署有问题 #254

@lixixuan47-beep

Description

@lixixuan47-beep

System Info / 系統信息

vllm0.12版本 transformer 版本 4.57.0 启动方式 vllm serve /models/dir --served-model-name glm4.6v --host 0.0.0.0 --port 12156 --tensor-parallel-size 4 --gpu-memory-utilization 0.9 --max-num-seqs 32 --allowed-local-media-path / 这个视频没有思考模式。 vllm0.14,0.15版本 transformer5.0以上,上面的可以启动,也没有 思考模式,但是transformer和vllm版本冲突,也能按照,vllm,0.14,0.15要求transformer4.57,你们官方给的环境配置不成功, glm4.6v目前没用思考模式,sglang也是有冲突,启动后发现有问题

Who can help? / 谁可以帮助到您?

No response

Information / 问题信息

  • The official example scripts / 官方的示例脚本
  • My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

就是按照官方给的版本安装会有冲突,同样的镜像,glm4.6v-flash就没有问题。

Expected behavior / 期待表现

希望尽快看一下

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions