admin管理员组文章数量:1579086
在用Keras来实现CNN等一系列网络时，我们经常用ReLU作为激活函数，一般写法如下：
from keras import layers
from keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))上面这段代码实现了一个基本的卷积神经网络，用ReLU作为激活函数,关于ReLU具体内容不做详细介绍。还有一些常用的主流激活函数：
- softmax: 在多分类中常用的激活函数，是基于逻辑回归的。
- Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。
- Relu：近似生物神经激活函数，最近出现的。
- tanh：双曲正切激活函数，也是很常用的。
- sigmoid：S型曲线激活函数，最常用的。
- hard_sigmoid：基于S型激活函数。
- linear：线性激活函数，最简单的。
主流的激活函数可以如上述例子一样通过名称直接使用，但是还有一些复杂的激活函数如：Leaky ReLU、PReLU是不可以这样直接使用的，必须使用add方法将高级激活函数作为层（layer）来使用，举例如下：
from keras import layers
from keras import models
from keras.layers import LeakyReLU
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), input_shape=(28, 28, 1)))
model.add(LeakyReLU(alpha=0.05))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3)))
model.add(LeakyReLU(alpha=0.05))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3))
model.add(LeakyReLU(alpha=0.05))这里我们在卷积层中去掉激活函数的参数，并在卷积层后加入高级激活层，下面来测试：
>>model.summary()
这里从整个网络结构的结果可以看出，卷积层后确实加入了一层新的激活层，使用的是LeakyReLU函数。
版权声明：本文标题：Keras中使用如Leaky ReLU等高级激活函数的方法 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1727845109a1132994.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论