【结构】BP神经网络-三层结构

好了，上节我们已经讲了BP神经网络的模型结构了，这一节我们特别地讲一个三层BP神经网络的模型结构，因为它是我们实际中最常用的结构，所以我们这节特别地对它深入讲解。

一、三层BP神经网络

一般所说的BP神经网络，其实都是三层BP神经网络，多层结构仅仅是理论上而已，日常使用中基本都只设三层，对于初学者其实不必过多关注多层结构，下面就让我们更直接的来看看三层结构的特点吧！

1.1. 三层BP神经网络-模型结构

三层BP神经网络是我们日常使用最多的BP神经网络模型结构，顾名思义，它就只有三层，如下：

好了，三层BP神经网络就是输入层->隐层->输出层这样的结构，它只有一个隐层，有时也称为单隐层BP神经网络。在三层BP神经网络中，隐层一般使用tanh函数作为激活函数，而输出层则一般使用恒等函数y=x作为激活函数。

事实上，对于三层BP神经网络，我们甚至都不需要以逐层前馈的形式来看它了，因为它的结构简单，我们可以直接地写出整个模型表达式：

其中，是隐层权重和阈值，是输出层的权重和阈值

大家可以发现，三层BP很简单，所以我这里的W、b都不用上标了，上标有时看得眼花缭乱。

1.2. 三层BP神经网络-计算例子

下面我们就拿点具体的数据来演示一下三层BP神经网络的计算吧~

设隐层权重、隐层阈值，输出层权重、阈值如下：

不妨设当前输入为：

则，模型的输出具体计算如下：

我们先计算隐层的输出值，如下：

进一步地，将隐层作为输出层的输入，得到最终的输出为：

简简单单，朴素无华，这就是三层BP神经网络的模型结构和运算了。

二、三层BP神经网络-常用激活函数

好了，下面我们继续来说说三层BP神经网络所使用的激活函数。

2.1. 三层BP-隐层激活函数-tanh函数

在三层BP神经网络中，隐层一般设为tanh函数，tanh函数的表达式为：

tanh函数的图像如下：

可以看到，tanh函数是一种对称性的S型函数，它的取值范围在(-1,1)之间，非线性区间主要在[-2,2]内。

BP神经网络选择tanh函数作为隐层激活函数，可以使得整个网络具有非线性拟合能力。

2.2. 三层BP-隐层激活函数-恒等函数

在三层BP神经网络中，隐层一般设为恒等函数，也就是为：

输出层之所以设为，是为了不约束输出范围，可以想象，如果设为tanh，那它就只能输出(-1,1)的值了。

输出层的激活函数设为，其实跟没设是一样的，只是为了保持每层都有激活函数，就设了。

• 为什么只用三层BP神经网络

虽然BP神经网络是以多层的形式提出，但后来大家发现其实三层就够用了，因为隐层设为tanh、输出层设为y=x，这样就已经拥有拟合非线性关系的能力了，越复杂的关系只需要提供越多的隐节点就已经可以了，没必要设更多层。

这里我们大概理解一下就好了，后面就会非常清楚这是怎么一回事了。

总结

总的来说，虽然BP神经网络有很多层，但是三层其实就够用了，在实际使用中一般都是用三层BP神经网络，所以大家上手直接搞三层BP神经网络就可以了，我们之后都主要去讲三层BP神经网络的使用、原理、本质等等，在熟悉了三层BP之后，多层BP不说自通，其实最主要的原因还是因为，实际中基本都是使用三层BP。