关于训练时长

[Fu-Fu-Fu-Fu]

您好，可否请教您训练时长大概是多久？我看到您SFT数据是340K，32张卡，340K / 32 = 10625steps
我这边4张卡，batch size 64，一共280steps，预计40h左右，是否太慢了。

[tulerfeng]

您好，我们不是使用600k进行sft，而是使用大约240k采样后的数据进行sft，onethinker_sft_image.json和onethinker_sft_video.json

我们是32卡进行sft训练（大约6000多steps），也需要几十个小时

[Fu-Fu-Fu-Fu]

您好，我们不是使用600k进行sft，而是使用大约240k采样后的数据进行sft，onethinker_sft_image.json和onethinker_sft_video.json

我们是32卡进行sft训练（大约6000多steps），也需要几十个小时

您好，您提到6Ksteps需要几十h我认为是正常的，但是我这个280steps，预计需要40多h，这是否不太正常呢？速度慢除了跟设置有关是否与模型本身也有关系呢？我之前微调qwen2.5vl貌似要比qwen3vl快很多

[tulerfeng]

其实好像也差不多，你是64 x 280=17k数据，相当于是将近十分之一的数据，然后卡的数量也差不多十分之一，所以40小时应该也是正常的。batch 可以调小一些比如32，3vl的sft step不够可能学不会格式。

如果速度太慢，可以试试看吧frame降低一些，比如降低到64，qwen3 vl 视频token会多一些，但是不会差太多

[Fu-Fu-Fu-Fu]

其实好像也差不多，你是64 x 280=17k数据，相当于是将近十分之一的数据，然后卡的数量也差不多十分之一，所以40小时应该也是正常的。batch 可以调小一些比如32，3vl的sft step不够可能学不会格式。

如果速度太慢，可以试试看吧frame降低一些，比如降低到64，qwen3 vl 视频token会多一些，但是不会差太多

frame其实已经降低过了，降到了16。之前测试您Video R1的时候165K数据，同样的4张卡，同样的64batch size，跑了大概48h。现在换成您Onethinker的框架，17K，qwen3vl却需要40多h。我不是很清楚，这是模型不同导致的，还是框架不同导致的

[tulerfeng]

那有点奇怪了，数据是一样的吗？可以统计一下数据长度，是不是这17k数据比较长？

按理来说，16 frame 跑sft，应该几个小时就够了，不知道是什么问题

[Fu-Fu-Fu-Fu]

那有点奇怪了，数据是一样的吗？可以统计一下数据长度，是不是这17k数据比较长？

按理来说，16 frame 跑sft，应该几个小时就够了，不知道是什么问题

17k都是video数据，且单个video有些确实较长（4-10分钟），这个是否影响会比较大？

[tulerfeng]

也有可能，可以看看是不是loda video加载时间很长，或者输出cot长度比较长

因为如果都是采样16 frame，模型处理的时间应该差不多的

[Fu-Fu-Fu-Fu]

也有可能，可以看看是不是loda video加载时间很长，或者输出cot长度比较长

因为如果都是采样16 frame，模型处理的时间应该差不多的

我刚尝试了用您之前VideoR1的代码去SFTqwen2.5vl，用的仍然是同样的17K数据，同样的参数，预期时间为6小时。这个我觉得是正常的。所以我不清楚是框架原因，还是Qwen3VL模型原因。导致在您Onethiner框架上微调很慢

[tulerfeng]

那估计是框架问题，一个是llamafactory，一个是trl，可能trl 会更快

[Fu-Fu-Fu-Fu]

那估计是框架问题，一个是llamafactory，一个是trl，可能trl 会更快

好的，感谢！

[luferw]

请问你使用的pytorch版本是2.8还是2.9？我之前在对qwen3-vl进行Video- R1训练时也遇到过速度忽然慢几十倍的情况，降级pytorch到2.8正常了。

[Fu-Fu-Fu-Fu]

请问你使用的pytorch版本是2.8还是2.9？我之前在对qwen3-vl进行Video- R1训练时也遇到过速度忽然慢几十倍的情况，降级pytorch到2.8正常了。

感谢！我降级到2.8之后速度确实有提升，原本预计48h，现在预计19h，不过感觉还是有点慢，同样的数据在qwen2.5vl、VideoR1框架下预计7h

[Fu-Fu-Fu-Fu]

@tulerfeng 您好，想问SFT的环境是否要求python版本严格为3.11?我看到有人提到降级python为3.10或许能针对SFT慢进行改善

[tulerfeng]

@Fu-Fu-Fu-Fu 也可以试试看3.10，我没试过，不知道行不行，可以试试看。

@luferw 感谢分享，这个pytorch版本居然会影响这么大

[tulerfeng]

Qwen3 vl好像确实存在这个问题，可以参考这个笔记：

qwen3vl训练缓慢原因 先查下pytorch版本。我用的是ms-... http://xhslink.com/o/5d4WXoDTRmZ
复制后打开【小红书】查看笔记！