Channel Interaction Networks for Fine-Grained Image Categorization-笔记

admin管理员组

文章数量:1589832

---

沉睡在草稿箱的笔记

---

摘要

我们发现通道之间的细微差别可以帮助我们捕获细粒度识别所需要的细微差别。我们提出了一个 CIN channel interaction network，它可以捕获图像与图像之间的通道差距。对于一个图像，自通道交互 self-chaanel interaction 是寻找一个图像的通道间的联系。更进一步，我们使用一个更具比较性的 CCI ,contrastive channel interaction ，通过输入的一组图像，使用度量学习，让 CCI模块 寻找到跨样本之间的细粒度微小的差异。

简介

之前的大部分工作主要针对寻找 Part，或者是抽取的特征更好（比如双线性方案），首先不同的通道可能关联不同的 pattern，有着不同的语义信息。根据这个，我们去寻找每个独立的通道的互补信息，把互补的通道和这个通道聚合在一起。SCI 建模各个通道之间的联系，寻找互补线索。
SCI：在各个通道上，寻找互补信息
CCI：在不同图像的通道上，寻找对比信息

方法

CIN 使用 ResNet 作为 backbone网络， 提取出图片的 feature map。
首先，两个 input image 会被 ResNet 处理，得到 feature map。
然后，为了计算每个特征图上通道的互补信息，SCI 会在不同通道之间建模，之后会将互补信息和原始 feature map 进行聚合
最后，CCI 在不同图像的通道之间进行通道级别的建模

SCI

之前的一些方法会 hightlight 那些最具有辨别力的通道，但是通道中丰富的信息就会被忽略很多。我们打算找到那些互补的信息，把它们整合进原始的feature map 中：
$ X ′ ∈ R c × h × w X ∈ R c × l Y = W X W = s o f t m a x ( X X T ∈ R c × c ) X' \in R^{c×h×w} \newline X \in R^{c×l} \newline Y = WX \newline W = softmax( XX^{T} \in R^{c×c}) X′∈Rc×h×wX∈Rc×lY=WXW=softmax(XXT∈Rc×c)$
其中 softmax 的处理：
可以理解为：
Y i = W 1 X 1 + W 1 X 1 + . . . + W i X i Y_{i} = W_{1}X_{1} + W_{1}X_{1} + ... + W_{i}X_{i} Yi​=W1​X1​+W1​X1​+...+Wi​Xi​
最后，我们再将 互补的特征图和原特征图相互结合：
Z = Φ ( Y ) + X Z = \Phi(Y)+X Z=Φ(Y)+X
Φ \Phi Φ 是一个 3*3的卷积

这个操作和 non-local net 进行了一个对比：

---

这里面觉得很招摇的就是正向相关和负向相关。

---

本文标签： 笔记NetworksInteractionChannelFine