简易版本复现问题 #66
Description
您好！阅读了你们的LD，真是非常impressive的工作！我最近在尝试mmrazor的框架下复现LD。我发现LD的蒸馏直接写进了head里，我希望实现一个简易版的LD，即我直接取出网络的分类头输出的大小为NCHW的cls map，然后转化为（-1，80）类的logits，直接对选出logit进行分类蒸馏，然后再进一步完成对reg map蒸馏，但结果差强人意。分类头输出的是NCHW的map，无论我是用bce loss和kl loss，都没有出现比较好的结果。能问下您这边有类似这种实现方法的尝试或者参考经验吗 十分感谢！