Poolformer 速度问题跟踪 #151
Description
by @thinksoso
Groupnorm是速度瓶颈
在测速时，发现与pytorch相比速度过慢
绕过Groupnorm之后，速度提升几十倍，可以证明是groupnorm的问题
by @BBuf
需要做得精细一点，即使Group Norm被绕过但还是慢了一点，可以profile看看具体哪里慢了，可以和白夏颖交流。
意思就是你不用关心GN，在OneFlow和PyTorch都不用GN的情况下寻找一下为什么OneFlow还是慢一点，参考：https://github.com/Oneflow-Inc/OneTeam/issues/1020