admin管理员组文章数量:1639247
ICLR18的文章，reference100多，算贡献比较大的文章了。
首先介绍一下本文的预备知识点：
本文主要是涉及了一种数据表征方法，无监督的提取出图片中的高维表征。不进行具体任务的训练。
比如我们进行训练之后，固定好训练完的网络，进行分类，聚类等工作的训练。
创新点：
1：利用了互信息最大化输入与高维表征的关联程度。
2：互信息包含了局部互信息，以及全局互信息。
3：使用对抗网络，使得高维表示具有期望先验分布的特性。
4：提出了两种新的衡量表示的方法，MINE（互信息神经预测），NDM（神经依赖衡量）
提出的算法叫DIM（Deep infoMax）
实现上，主要是关注以下两个特点：
一个是互信息最大化，一个是统计约束（期望最后的输出约束于先验分布）
互信息最大化框架：
local和global features的这个可以看上图，拿到低层（靠前的）的特征，然后和高层的特征结合。这个结合和我一开始想的还不一样，比如我们提取出来了26*26*128的feature map，这里面相当于128个map，和高层的64的输出结合。所以就是[26,26,128]和[64]结合，文章中的做法是先扩展[64]到[26,26,64]，然后concat得到[26,26,192]，这样相当于每个high level feature（global feature）和纵向的每个位置的128都结合一下，最后得到26*26个score。这样做直观上的感觉就是想要寻求一下128个local的图中共性的和global相符的特征。（因此文章中出现了根据颜色分类这样的问题，也是可以解释的过去的）
这篇文章的结构看paper感觉不是很明显，看代码之后会更加明了。这里面最重要的一个点就是如何计算这个互信息。
这里就用到了另一个方法Mutual Information Neural Estimation（MINE），下一篇我会介绍，开山之作
整个无监督训练的结构conv（4，1）代表kernel size 4 ， stride为1。本质上是对各个层级进行多出的互信息约束。
计算loss的代码（需要事先了解MINE的计算方法）
class DeepInfoMaxLoss(nn.Module):
def __init__(self, alpha=0.5, beta=1.0, gamma=0.1):
super().__init__()
self.global_d = GlobalDiscriminator()
self.local_d = LocalDiscriminator()
self.prior_d = PriorDiscriminator()
self.alpha = alpha
self.beta = beta
self.gamma = gamma
def forward(self, y, M, M_prime):
# see appendix 1A of https://arxiv/pdf/1808.06670.pdf
y_exp = y.unsqueeze(-1).unsqueeze(-1)
y_exp = y_exp.expand(-1, -1, 26, 26)
y_M = torch.cat((M, y_exp), dim=1)
y_M_prime = torch.cat((M_prime, y_exp), dim=1)
Ej = -F.softplus(-self.local_d(y_M)).mean()
Em = F.softplus(self.local_d(y_M_prime)).mean()
LOCAL = (Em - Ej) * self.beta
Ej = -F.softplus(-self.global_d(y, M)).mean()
Em = F.softplus(self.global_d(y, M_prime)).mean()
GLOBAL = (Em - Ej) * self.alpha
prior = torch.rand_like(y)
term_a = torch.log(self.prior_d(prior)).mean()
term_b = torch.log(1.0 - self.prior_d(y)).mean()
PRIOR = - (term_a + term_b) * self.gamma
return LOCAL + GLOBAL + PRIOR
本文标签： RepresentationsDeepLearningMutualMaximization
版权声明：本文标题：Learning deep representations by mutual information estimation and maximization 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1729278861a1193829.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论