参考Qwen系列，官方提供量化后的模型

[HuChundong]

RT，希望官方可以提供多种量化模型，方便使用。包括 awq，gguf, 标准4bit 量化等

[RenShuhuai-Andy]

https://huggingface.co/XiaomiMiMo/MiMo-VL-7B-SFT-GGUF

[yaleimeng]

@RenShuhuai-Andy 能否提供这个量化模型的python代码使用方法？我使用ollma部署起来了，使用ollma run命令行基于图片或视频对话时，都不能查看图片内容。使用代码访问时，因为ollma方面图像要转为base64，但尝试了几种形式构造请求都没达到预期效果。模型本身好像也不能解读base64格式数据。

pic_content = [{"type": "image", "image": image_base64}]
txt_content = [{"type": "text", "text": question}]
response = client.chat(model='mimo7bQ8:latest', messages=[
    {
        'role': 'user',
        'content':f'{pic_content+txt_content}'
        #'images': [image_base64]
    }
])

这个images在content外面和里面都不行。不是报错有异常，就是无法查看base64图片内容乱说。