Training crash with "uncorrectable ECC error" and NCCL timeout? #125
Description
在使用zero2跑SFT训练过程中，对于超长视频似乎总是在特定的0.5左右的epoch触发这个错误，请问作者有遇到相关问题，是否有解决办法？{{ message }}
在使用zero2跑SFT训练过程中，对于超长视频似乎总是在特定的0.5左右的epoch触发这个错误，请问作者有遇到相关问题，是否有解决办法？
在使用zero2跑SFT训练过程中，对于超长视频似乎总是在特定的0.5左右的epoch触发这个错误，请问作者有遇到相关问题，是否有解决办法？