Helper-Based Adversarial Training

admin管理员组

文章数量:1576378

文章目录

• • 概
  • 主要内容
  • 代码

Rade R. and Moosavi-Dezfooli S. Helper-based adversarial training: reducing excessive margin to achieve a better accuracy vs. robustness trade-off. In International Conference on Machine Learning (ICML), 2021

概

本文认为普通的对抗训练会导致不必要的adversarial margin从而牺牲过多的精度.
于是提出一种Helper-based adversarial training (HAT)来帮助网络学习.

主要内容

作者认为, 一个样本 x \bm{x} x沿着一个方向 r ^ \hat{\bm{r}} r^的margin可以按照如下方式定义:
μ ( x , r ^ ) = arg ⁡ min ⁡ α ∣ α ∣ s . t .   F ( x + α r ^ ) ≠ F ( x ) , \mu(\bm{x}, \hat{\bm{r}}) = \arg\min_{\alpha} |\alpha | \quad \mathrm{s.t.} \: F(\bm{x} + \alpha \hat{\bm{r}}) \not = F(\bm{x}), μ(x,r^)=argαmin​∣α∣s.t.F(x+αr^)​=F(x),
其中 F ( x ) = arg ⁡ max ⁡ k f k ( x ) F(\bm{x}) = \arg\max_{k} f_k(\bm{x}) F(x)=argmaxk​fk​(x)为预测类别.
x \bm{x} x的对抗方向, 可以定义为:
r i = δ ∥ δ ∥ ,   δ = max ⁡ ∥ δ ∥ ≤ ϵ ℓ ( y i , f θ ( x i + δ ) ) . \bm{r}_i = \frac{\delta}{\|\delta\|}, \: \delta = \max_{\|\delta\|\le \epsilon} \ell(y_i, f_{\theta} (\bm{x}_i + \delta)). ri​=∥δ∥δ​,δ=∥δ∥≤ϵmax​ℓ(yi​,fθ​(xi​+δ)).
某种意义上就是最短路径.

作者通过实验发现, 对抗训练会使得样本的对抗方向 r i \bm{r}_i ri​变得不必要得大, 这会导致自然精度的严重下降.
如下图所示, 其实蓝色的决策边界已经足够保证鲁棒性, 而对抗训练会使得决策边际变成红色. 所以作者通过 x + 2 r \bm{x} + 2\bm{r} x+2r喂入普通网络得到一个预测标签 y ~ \tilde{y} y~​, 利用这个来告诉对抗训练的网络, 其实这个margin不必这么大. 这相当于前后各限制了一个条件.

最后的算法如下:

代码

原文代码

本文标签： BasedHelperTrainingADVERSARIAL