admin管理员组文章数量:1650787
HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening
HyperTransformer:用于全色锐化的纹理和光谱特征融合Transformer
来源:CVPR2022
Transformer已经用到了全色锐化领域了~~~文章一直说是全色锐化,代码显示是对HRHSI高斯模糊下采样得到LRHSI,选HRHSI三个波段拼接得到三波段图像,将这两者融合。HyperTransformer在本文中被当作注意力使用,相比于其他注意力机制,HyperTransformer得到的图像空间和光谱失真更小。
代码:https://github/wgcban/HyperTransformer
摘要
本文提出了一种新的全色锐化注意机制,称为HyperTransformer,它将LR-HSI和PAN的特征分别表示为Transformer中的查询和关键字。HyperTransformer由三个主要模块组成,即两个独立的PAN和HSI特征提取器、一个多头特征软注意模块和一个空间-光谱特征融合模块。这样的网络通过学习PAN和LR-HSI的交叉特征空间相关性和长程细节,改善了全色锐化HSI的空间和光谱质量度量。此外,可以在主干上跨多个空间尺度使用HyperTransformer,以获得更高的性能。
传统的全色锐化方法的两种融合方式:
利用HyperTransformer进行融合:HyperTransformer被当作注意力增强全色图像纹理特征,增强的特征与主干网络提取的LRHSI的光谱特征相加,然后进行纹理光谱特征融合(卷积+BN的网络),得到增强的特征表示
三个HyperTransformer(红色块)的输入为三个尺度的QKV,三个尺度的Q由HSI特征提取器得到,KV由PAN特征提取器得到。下方是HSI特征提取器,PAN特征提取器的结构示意图,特征提取器的结构类似于VGG网络。上面是融合过程的总体结构,LRHSI经过特征提取器(结构见代码)得到初始的主干网络特征,主干网络特征与HyperTransformer得到的增强纹理特征结合得到增强的特征表示(红线部分)。增强的特征表示与主干网络特征相加,经过残差块(RBs)进入下一级网络。三个尺度的特征整合经过残差块得到HRHSI。
HyperTransformer的详细结构。绿色块PAN特征提取器,橘色块HSI特征提取器。
多头注意力帮助网络提取PAN和LR-HSI之间的跨特征空间依赖性以及PAN的长距离细节(都是self-attention自带的优点…)
QKV的宽高一样,3D张量被rehape为2D,经过全连接变成一组(N个)QKV,N为多头注意力头数。
传统self-attention直接Q与K的转置相乘,本文搞了个交叉相关嵌入(C为计算公式)。换种方式衡量QK相似性,和self-attention一样使用softmax
softmax后的注意力权重C对V加权,reshape一下,然后消掉头数。其实HyperTransformer就是对PAN使用注意力的过程
TSFF就是加权的PAN和主干网络特征融合。
三个损失函数:重建损失就是参考图像和重建图像的损失。VGG感知,也比较常用,参考图像和重建图像经过VGG网络,分别计算每层损失。Transfer感知,HSI特征提取器的每层经过和Transformer每层的损失。总损失是以上三种的加权求和。
三个数据集,注意数据的生成方式。
红色最好值
HYperTransformer消融
N值(head)消融研究,16效果最好
三个尺度的消融研究
损失函数消融研究
个人总结,欢迎批评指正~~,谢谢
本文标签: SpectralTexturalHyperTransformerfeaturePansharpening
版权声明:本文标题:HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1729532879a1205033.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论