1.2.3 神经网络的魅力

无论是机器学习，还是深度学习，都离不开神经网络（neural network）。它起源于人们对生物体神经网络的认知，生物神经网络是由神经元、突触等组成的，大量的神经元通过无数的突触连接在一起构成一个大规模的神经网络，能处理人的思维和记忆。

人们通过模仿生物神经网络的工作原理构建人工神经网络，其中的神经元模型早期被称为感知机，后来所有的感知机连接起来，形成网络。人工神经元的结构如图1-18所示。

图1-18 人工神经元的结构

图 1-18 中，（x1,x 2,…,xn）是输入向量，（w 1,w2,…,wn）是对应的权重向量，f 是激活函数，加权和为：

S=x1w1+x2w2+…+xnwn

然后经过线性或者非线性函数进行激活：

Y=f(S+b)

上式中b为偏置变量，Y是输出向量。

把多个神经元组成一层神经网络，并增加神经网络的层数，就构成一个多层神经网络，如图1-19所示。其中，xn是输入层的第n个神经元，ym是隐含层的第m个神经元，zp是输出层的第p个神经元，op是神经网络的第p个输出分量。

图1-19 多层神经网络

理论已经证明，通过增加神经网络的层数和改变激活函数，并利用相应学习算法不断迭代改变损失误差，就可以用多层神经网络来拟合任意函数，解决线性和非线性问题，也就是通过增加网络的深度和宽度来提高神经网络模型的健壮性和预测的准确性。因此，多层神经网络结构的出现，及其相关算法的完善，为人工智能的普及和应用做出了突破性贡献。