PaddleOCR-VL部署后调用时发生报错

[imClumsyPanda]

按照recipe中文档成功部署模型后，用openai进行接口调用时发生报错：
/***/site-packages/vllm/model_executor/models/paddleocr_vl.py, line 1226, in get_mrope_input_positions
image_grid_thw[image_index][0],

IndexError: list index out of range

[imClumsyPanda]

@ywang96 不知大佬可否指导下

[ywang96]

@imClumsyPanda 有复现例子吗

[imClumsyPanda]

@imClumsyPanda 有复现例子吗

@ywang96 和您提供的示例中启动命令一致，显卡为A6000，cuda版本12.8和12.9测试后都是相同问题，任意请求都会导致相同问题，包括不发图片也会因为相同报错信息导致vllm停止。

[ywang96]

@imClumsyPanda 有点奇怪 我用main branch跑了我们给的例子 没有出现问题

(vllm) coder@4xl40s vllm (main) $ python3 test.py 
Generated text: CINNAMON SUGAR
1 x 17,000
17,000
SUB TOTAL
17,000
GRAND TOTAL
17,000
CASH IDR
20,000
CHANGE DUE
3,000

[imClumsyPanda]

@imClumsyPanda 有点奇怪 我用main branch跑了我们给的例子 没有出现问题

(vllm) coder@4xl40s vllm (main) $ python3 test.py 
Generated text: CINNAMON SUGAR
1 x 17,000
17,000
SUB TOTAL
17,000
GRAND TOTAL
17,000
CASH IDR
20,000
CHANGE DUE
3,000

请问安装vllm的方式是nightly wheel安装还是git clone之后pip install -e .呢？

[atesop]

@imClumsyPanda @ywang96 您好，这个问题解决了么？使用 vllm==0.12.0， 同样是官方文档的例子，同样的错误。
vllm/model_executor/models/paddleocr_vl.py", line 1207, in get_mrope_input_positions
t, h, w = image_grid_thw[image_index]
IndexError: list index out of range

[YiXin-AI-Group]

有大佬解决了吗？
同样的 vllm==0.12.0，使用官方示例报错：
t, h, w = image_grid_thw[image_index]
IndexError: list index out of range

vllm的安装方式是：
pip install -U vllm

[imClumsyPanda]

@imClumsyPanda @ywang96 您好，这个问题解决了么？使用 vllm==0.12.0， 同样是官方文档的例子，同样的错误。 vllm/model_executor/models/paddleocr_vl.py", line 1207, in get_mrope_input_positions t, h, w = image_grid_thw[image_index] IndexError: list index out of range

没解决

[YiXin-AI-Group]

@imClumsyPanda @ywang96 您好，这个问题解决了么？使用 vllm==0.12.0， 同样是官方文档的例子，同样的错误。 vllm/model_executor/models/paddleocr_vl.py", line 1207, in get_mrope_input_positions t, h, w = image_grid_thw[image_index] IndexError: list index out of range

没解决

我的显卡是A100 80G，CUDA12.8

[Devcode518]

@imClumsyPanda @ywang96 您好，这个问题解决了么？使用 vllm==0.12.0， 同样是官方文档的例子，同样的错误。 vllm/model_executor/models/paddleocr_vl.py", line 1207, in get_mrope_input_positions t, h, w = image_grid_thw[image_index] IndexError: list index out of range

没解决

我的显卡是A100 80G，CUDA12.8

同配置，请问你现在解决了不？

[YiXin-AI-Group]

@imClumsyPanda @ywang96 您好，这个问题解决了么？使用 vllm==0.12.0， 同样是官方文档的例子，同样的错误。 vllm/model_executor/models/paddleocr_vl.py", line 1207, in get_mrope_input_positions t, h, w = image_grid_thw[image_index] IndexError: list index out of range

没解决

我的显卡是A100 80G，CUDA12.8

同配置，请问你现在解决了不？

没有解决，目前用的PaddleOCR的VLLM部署

[YiXin-AI-Group]

@ywang96 请问您安装的VLLM的方式是什么呢？pip install vllm还是源代码安装，使用的版本多少呢？感谢回复