Skip to content

rv1126 混合量化后激活层消失了 #63

@zj445680666

Description

@zj445680666

问题1:rv1126使用混合量化后,激活层没有了。这是混合量化后的,
ba757317432ff9fb86e03e8e984f979b。这时混合量化前的。
ffb02521b209f940cf49f7f11286d3eb

问题2:使用常规量化后,有些split层的精度会变得异常的低,如果对这些精度低的层使用混合量化就会出现问题1的情况。精度分析见下图,
d00040715974ebc84572e47f27bad430
感谢帮忙解答下

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions