python -m torch.distributed.launch --nproc_per_node 2 --use_env -m dipoorlet -M models/weight_equal_model.onnx -I ../out/dipoorlet-200-5/ -N 1000 -D trt -A mse -O ../out/dipoorlet-200-5/we_bc_brecq --we --brecq > train.log 2>&1 ; python ./tool/autodl-quit.py
同时进行--we --brecq 或者同时--we --bc --brecq会导致错误
看似是图结构出现了错误,当前版本是否支持连续使用不同的权重调整算法。
在源码实现中weight_calibration只能先进行bc再进行we,是不是不合理
WE会改变权重分布,这会影响后续BC的计算
如果先做BC,再做WE,之前的BC校正可能会被WE的权重调整所影响
先WE后BC可以确保BC是基于最终的权重分布进行的校正。
该错误手动每次执行不同算法才可以解决...