tensorflow激励函数-【老鱼学tensorflow】

2018-01-12 11:55:04来源:cnblogs.com作者:dreampursuer人点击

分享

当我们回到家,如果家里有异样,我们能够很快就会发现家中的异样,那是因为这些异常的摆设在我们的大脑中会产生较强的脑电波。
当我们听到某个单词,我们大脑中跟这个单词相关的神经元会异常兴奋,而同这个单词无关的神经元就不会有很大的刺激。
这个就是大脑中的激励函数。
有了激励函数,我们才会对外部的刺激产生非线性的反应,有的神经元反应比较强烈,而有的神经元基本没有反应。

在神经网络中激励函数有很多,但作为初学的我们,只要了解其中常用的几个就可以了。

relu


这是一种使用比较广泛的并且计算量也很少的激励函数。
这个激励函数的意思是:如果值小于0就一直为0,大于0就是输出那个值。
从我们的大脑中神经元来类比为:我们大脑中某神经元对于某信号的刺激太小的话,就一直处于睡眠状态,而如果此输入的信号激起了此神经元,则刺激的强度就跟输入信息的强度成正比。

sigmoid

公式为:

图像为:

这里不用被这个公式吓到,不了解公式也没关系。
我们从其图像中看到,这个函数的值域为(0,1)内,并且是连续函数。
在机器学习中,我们一般会把数据映射到(0, 1)或者(-1, 1)这样的范围内。
它的特点是输入信号在模糊区0附近时很快就能得出哪些信号需要被加强,哪些信号需要被抑制,也符合我们大脑中神经元对于信息输入的应激反应特征。

tanh

反正切函数:

图像为:

这个函数的样子跟sigmoid类似,只是其值域位于(-1, 1)之间,输入信号值在0附近会有一个突变的模糊区。
tanh作为激励函数使用得也很广泛。
大家可以来进行尝试的。

softplus

softplus函数可以看作是relu函数的平滑版本,公式和函数图像如下:

图像为:

softplus主要用在最后一层分类中的输出元激励函数。
比如在手写识别0-9的数字中,最后一层的激励函数一般用softplus来实现。

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台