admin管理员组文章数量:1663034
文章目录
- 1. 背景引入
- 2. 网络架构搜索(NAS)
-
- 2.1 NAS 搜索策略
-
- 2.1.1 基于强化学习
- 2.1.2 基于进化算法
- 2.1.3 基于梯度的方法
- 2.2 NAS 加速
-
- 2.2.1 层次化表示
- 2.2.2 权值共享
- 2.2.3 表现预测
- 2.3 NAS 变体及扩展
-
- 2.3.1 语义分割
- 2.3.2 多目标
- 2.3.3 优化器
- 2.3.4 模型压缩
- 2.3.5 数据增强
1. 背景引入
超参数的自动搜索优化(Hyperparameter optimization,HO):
- 随机搜索(Random search)
- 网格搜索(Grid search)
- 贝叶斯优化(Bayesian optimization)
- 强化学习(Reinforcement learning)
- 进化算法(Evolutionary Algorithm)
对于深度学习,超参数分为两类:
- 训练参数(learning rate,batch size,weight decay等)
- 定义网络结构的参数(基层、算子、卷积大小),维度高,离散,相互依赖。
1的自动调优仍是HO范畴。
2的自动调优一般称为网络架构搜索(Neural Architecture Search, NAS)
2. 网络架构搜索(NAS)
本质上来讲,其与围棋类似,是高维空间的最优参数搜索问题。
缺点:消耗计算资源巨大,不是一般人玩得起的。
NAS套路:
- 先定义搜索空间
链式结构—>多叉结构(组合自由度)—>cell/block - 通过搜索策略找出候选网络结构,进行评估,根据反馈进行下一轮搜索。
2.1 NAS 搜索策略
随机搜索简单但相对低效,通常用作baseline。其中基于强化学习和进化算法的本质:离散空间中搜索,将目标函数看做黑盒。
2.1.1 基于强化学习
开创性工作:
- MIT2016,MetaQNN,将网络架构搜索建模成马尔科夫决策过程:Designing Neural Network Architectures using Reinforcement Learning
- 2016Google,RNN网络作为控制器采样生成描述网络结构的字符串:Neural Architecture Search with Reinforcement Learning
2.1.2 基于进化算法
- Google:Large-Scale Evolution of Image Classifiers</
版权声明:本文标题:【知识普及】神经网络架构搜索(Neural Architecture Search,NAS) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1729978107a1218269.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论