VITA-1.5支持audio video understanding任务

[qq31415926]

请问目前VITA-1.5支持audio video understanding任务吗？
我看在代码中audio是dummy variable
audio = torch.zeros(1, 400, 80).half().to(device)
VLMEvalKit 实现也是类似
audio = torch.zeros(400, 80)

[ayiyayi]

Same question. Have you solved it?

[qq31415926]

目前使用video_audio_demo.py的代码可以处理video和audio输入了，但是输出都是类似video caption的文本，没有办法做instruction following 的任务

[HaichenHe]

目前使用video_audio_demo.py的代码可以处理video和audio输入了，但是输出都是类似video caption的文本，没有办法做instruction following 的任务

我也遇到了同样的问题，请问解决了嘛

[xkkjiayou]

感谢您的来信，此时我不在办公室，稍后会及时阅读。在此期间我不方便接收邮件。如果您想及时获得通讯，请拨打我的手机联系我，谢谢您。