请教SFT时预处理数据

[Fu-Fu-Fu-Fu]

我看到您SFT脚本中，tokenize数据的参数是：work：16，batch size32，我实际实验发现，tokenize的时候会非常慢，请问这个是正常的吗？会有加速的手段吗？

[tulerfeng]

Hi，这个是正常的，我这边tokenize一次大概需要24 hours，如果把worker 和 batch加大会导致cpu爆炸，这个应该是llamafactory的issue，不能streaming处理数据，只能先tokenized好，所以对视频数据不太友好，目前没有好的加速方法

[Fu-Fu-Fu-Fu]

Hi，这个是正常的，我这边tokenize一次大概需要24 hours，如果把worker 和 batch加大会导致cpu爆炸，这个应该是llamafactory的issue，不能streaming处理数据，只能先tokenized好，所以对视频数据不太友好，目前没有好的加速方法

感谢您这么晚还在回复，我查看了llama factory，貌似是可以streaming的，hiyouga/LlamaFactory#5346 (comment)

[tulerfeng]

可以试试看streaming，我之前图文混合训练的时候好像没成功，不过可以再试试看

[Fu-Fu-Fu-Fu]

突然想到，是否可以对数据分批，然后分别去tokenize，然后在合并？这种方法在是否可行呢？

…

---原始邮件--- 发件人: "Kaituo ***@***.***> 发送时间: 2026年2月10日(周二) 晚上10:48 收件人: ***@***.***>; 抄送: "Lin ***@***.******@***.***>; 主题: Re: [tulerfeng/OneThinker] 请教SFT时预处理数据 (Issue #18) tulerfeng left a comment (tulerfeng/OneThinker#18) 可以试试看streaming，我之前图文混合训练的时候好像没成功，不过可以再试试看 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[tulerfeng]

可能可以试试看，tokenize格式保持一致应该可以