Skip to content

同时进行--we --brecq 或者同时--we --bc --brecq会导致错误 #36

@lightlefter

Description

@lightlefter

python -m torch.distributed.launch --nproc_per_node 2 --use_env -m dipoorlet -M models/weight_equal_model.onnx -I ../out/dipoorlet-200-5/ -N 1000 -D trt -A mse -O ../out/dipoorlet-200-5/we_bc_brecq --we --brecq > train.log 2>&1 ; python ./tool/autodl-quit.py
同时进行--we --brecq 或者同时--we --bc --brecq会导致错误

Image

看似是图结构出现了错误,当前版本是否支持连续使用不同的权重调整算法。

在源码实现中weight_calibration只能先进行bc再进行we,是不是不合理
WE会改变权重分布,这会影响后续BC的计算
如果先做BC,再做WE,之前的BC校正可能会被WE的权重调整所影响
先WE后BC可以确保BC是基于最终的权重分布进行的校正。

该错误手动每次执行不同算法才可以解决...

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions