admin管理员组文章数量:1623796
文章目录
- 前言
- MetaFormer结构
- PoolFormer结构
前言
本文总结CVPR2022的oral文章《MetaFormer Is Actually What You Need for Vision》。该文章研究了ViT结构和类MLP结构的模型,将两者中相同的部分提取出来,组成了MetaFormer结构,并指出两者的性能都得益于MetaFormer结构,接着在此基础上提出了PoolFormer结构。
MetaFormer结构
上图左侧为MetaFormer结构,MetaFormer中的Token Mixer模块用于混合多个token之间的信息。该模块在类ViT结构的模型中对应为Attention模块(例如DeiT),而在类MLP结构的模型中对应SpatialMLP模块(例如GMLP、ResMLP)。
作者指出MetaFormer结构为类ViT和类MLP模型性能的主要来源,为了验证这一点,作者将MetaFormer结构中的Token Moixer模块替换为恒等映射(其实就是一个大卷积模型,一个单通道的大卷积处理一个特征图(token)),模型在ImageNet上的top-1准确率仍可达 74.3%。
此外,作者通过实验发现去除Norm、Channel MLP、Shortcut中的任意一个模块,模型均难以收敛,由此验证了MetaFormer中的结构缺一不可。
PoolFormer结构
作者在MetaFormer的基础上引入了PoolFormer结构,PoolFormer通过平均池化融合多个Token之间的信息,相比于Attention和SpatialMLP,池化操作不会引入额外的参数,并且计算量更小。PoolFormer的结构如下图所示:
其中Pooling操作的Pytorch代码如下
注意到池化操作后有一个减法操作,作者的解释(见上图注释)我并不是很认可,这个操作更像是个trick,但是我没有在文章中找到去除这个减法操作后模型的性能变化情况。
PoolFormer在ImageNet上的准确率如下图所示,所有模型都没有使用pretrain的权重
个人思考详见上一篇博文,文章中还有目标检测等任务的实验结果,现在做backbone是越来越卷。
本文标签: 深度MetaFormerVision
版权声明:本文标题:深度学习——MetaFormer Is Actually What You Need for Vision 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1725975483a1051149.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论