admin管理员组

文章数量:1558037

摘要：作为最先进的人工智能服务的关键组成部分，深度学习技术已经在为各种技术提供人类水平的能力方面取得了巨大的成功。例如，视觉分析、语音识别和自然语言处理等等。构建一个生产级别的深度学习模型并不是一件易事，其需要大量的训练数据、强大的计算资源以及专家经验。因此，非法复制、传播和衍生专有深度学习模型会对造成模型创建者的版权侵犯和经济损失。因此，设计一种技术来保护深度学习模型的知识产权，并使模型所有权能够得到外部验证是非常必要的。
  在本文中，我们将多媒体所有权验证所采用的“数字水印”概念引入到深度神经网络模型（DNNs）。我们研究了三种适用于DNN的水印生成算法，提出了一种将水印嵌入到深度学习模型的方法，并设计了一个远程确认机制来判定模型所有权。通过扩展深层神经网络固有的泛化和记忆能力，我们使模型在训练时学习专门制作的水印，并在推断时观察水印模式时使用预先指定的预测激活。我们用两个图像识别基准数据集评估了我们的方法。我们的框架准确(100%)和快速验证所有远程部署的深度学习模型的所有权，而不影响正常输入数据的模型准确率。
  此外，DNN模型中的嵌入水印对不同的反水印机制（如微调、参数剪枝和模型逆向攻击）具有鲁棒性和弹性。

1 INTRODUCTION

  数字水印已被广泛采用来保护专有多媒体内容的版权。水印的应用过程可分为嵌入和检测两个阶段。在嵌入阶段，用户可以将水印嵌入到受保护的多媒体文件中。如果多媒体数据被窃取或被他人使用，在检测阶段，所有者可以从受水印保护的多媒体文件中提取出水印作为证明知识产权所有权的法律证明。基于这种思路，我们将“水印”应用于深度神经网络，以保护深度神经网络的知识产权。当DNN模型被嵌入水印后，一旦模型被盗，我们可以通过提取水印来验证模型的所有权。但是，与数字水印将水印嵌入到多媒体文件不同，我们需要设计一种新的方法将水印嵌入到DNN模型中，现有的数字水印算法并不能直接适用。
  最近，Uchida等人提出了一种深度神经网络嵌入水印的框架。这是将数字水印应用于深度神经网络模型保护的首次尝试。该算法在训练过程中通过参数正则化器将水印嵌入到深度神经网络模型的参数中，产生了白盒约束。它需要模型所有者访问模型的所有参数才能提取水印，这极大地限制了它的应用，因为被盗模型通常是远程部署的，而剽窃模型者不会公开被盗模型的参数。
  在本文中，我们首先通过扩展威胁模型以支持黑盒模型验证来解决Uchida等人工作的局限性，黑盒模式验证只需要使用API访问被剽窃的服务来验证学习模型的所有权。然后我们研究了三种用于生成DNN模型不同类型水印的水印生成算法：（1）将有意义的内容与原始训练数据一起作为水印嵌入到受保护的DNN模型中；（2）将无关数据样本作为水印嵌入到受保护的DNN中；（c）将噪声作为水印嵌入到受保护的DNN中。这里的思想是探索深度神经网络固有的泛化和记忆能力以自动学习嵌入水印的模式。预定义的学习模式对及其相应的预测将作为版权/所有权验证的关键。水印嵌入后，我们提出的所有权验证框架可以通过发送正常请求来快速验证远程部署的AI服务的所有权。当观察到水印模式时，只有受水印保护的模型被激活以生成匹配的预测。
  我们用两个基准图像数据集MNIST和CIFAR10来评估我们的水印框架。结果表明，我们的水印框架快速(通过几个请求)和准确(100%)验证远程DNN服务的所有权，对原始模型的影响很小。嵌入水印对模型的不同修改(如模型微调和模型剪枝)具有较强的鲁棒性。例如，即使从MNIST模型中删除了90%的参数，我们剩余的所有水印仍然有超过99%的高精度。我们还对嵌入水印的模型进行了模型逆向攻击，结果表明没有一个嵌入水印可以被恢复。
  在这篇文章中，我们主要做了以下贡献：
 （1） 我们扩展了现有的DNN水印威胁模型，以支持黑箱验证。新的威胁模型的水印框架允许我们保护白盒（直接访问模型）和黑盒（仅访问远程服务API）权限的DNN模型。
 （2） 我们提出了三种水印生成算法来生成不同形式的水印，并提出了一个水印框架来将这些水印嵌入到深度神经网络中，这有助于验证远程DNN服务的所有权。
 （3） 我们用两个基准数据集评估了所提出的水印生成算法和水印框架。我们提出的水印框架对正常输入的影响

本文标签： 报告PropertyIntellectualProtectingDeep

版权声明：本文标题：Protecting Intellectual Property of Deep Neural Networks with Watermarking研读报告 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1727307101a1107468.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。