1.1 深度学习的起源与发展

深度学习的历史可以追溯到1943年，当时Walter Pitts和Warren McCulloch创建了一个基于人脑神经网络的计算机模型。他们使用算法和数学的组合，并称之为“阈值逻辑”，用其来模仿思维过程。从那时起，深度学习一直在稳步发展，其发展过程有两次重大突破。

Henry J.Kelley因在1960年开发了连续反向传播模型而受到赞誉。1962年，Stuart Dreyfus开发了一个仅基于链式法则的更简单版本。1965年，Alexey Grigoryevich Ivakhnenko和Valentin Grigor'evich Lapa在开发深度学习算法方面做出了最早的努力。他们使用了具有多项式（复杂方程）激活函数的模型，然后进行统计分析，最好的统计特征被转发到下一层，整个过程是一个手动且缓慢的过程。

1970年，第一个AI冬天开始了。因为缺乏资金影响和限制了深度学习和人工智能的研究。幸运的是，有些人在没有资金的情况下持续进行研究。

初代“卷积神经网络”被Kunihiko Fukushima使用。Kunihiko Fukushima设计了具有多个池化层和卷积层的神经网络。1979年，他还开发了一种人工神经网络，称为Neocognitron，采用分层、多层设计。这种设计使计算机能够“学习”识别视觉模式。这些网络类似于现代版本，但采用了多层重复激活的强化策略进行训练，随着时间的推移，这种策略会变得越来越强大。此外，Fukushima的设计允许通过增加某些连接的“权重”来手动调整重要特征。

更多的Neocognitron概念被人们使用。自上而下的连接和新的学习方法的使用使得各种神经网络得以实现。当同时呈现多个模式时，选择性注意模型可以通过将注意力从一种模式转移到另一种模式来分离和识别单个模式。新的Neocognitron不仅可以识别缺失信息的模式（例如，不完整的数字5），还可以通过添加缺失信息来构成完整图像。这被描述为“推理”。

反向传播，在训练深度学习模型中使用，在1970年得到了显著发展。Seppo Linnainmaa在论文中提出了用于反向传播的FORTRAN代码。1989年，Yann LeCun在贝尔实验室做了反向传播的第一个实际演示。他将卷积神经网络与反向传播结合，用于读取“手写”数字。该系统最终被用于读取手写支票的数量。

1985～1990年，人工智能时代进入第二个冬天，这也影响了神经网络和深度学习的研究。人工智能阶段已经到了伪科学的地步。幸运的是，有研究者继续致力于人工智能和深度学习的研究，并取得了重大进展。1995年，Dana Cortes和Vladimir Vapnik开发了支持向量机。Sepp Hochreiter和Juergen Schmidhuber于1997年提出了LSTM。

深度学习的下一个重要进化阶段发生在1999年，当时计算机处理数据变得更快，并且有了GPU（图形处理单元）。使用GPU处理图片，处理速度更快。在此期间，神经网络开始与支持向量机竞争。虽然与支持向量机相比，神经网络可能会很慢，但使用相同的数据，神经网络可以提供更好的结果。随着训练数据的增多，神经网络还具有持续改进的优势。

2000年左右，深度学习出现了梯度消失问题。因为没有学习信号到达较高层，在较低层形成的“特征”没有被其学习。这个问题只在基于梯度学习方法的神经网络中出现。用于解决此问题的两种解决方案是逐层预训练和长短期记忆的开发。

2009年，斯坦福大学人工智能教授李飞飞发起了图像网项目，组装了一个包含超过1400万张标记图像的免费数据库。互联网的过去和现在都充斥着未标记的图像，需要标记图像来“训练”神经网络。

到2011年，GPU的速度显著提高，使得在“无需”逐层预训练的情况下训练卷积神经网络成为可能。随着计算速度的提高，深度学习在效率和速度方面的优势越来越明显。例如AlexNet，一种卷积神经网络，其架构在2011年和2012年赢得了多项国际比赛。

另外，2012年，Google Brain发布了一个不寻常的项目的结果，称为猫实验，探索了“无监督学习”的难点。深度学习使用“监督学习”，这意味着卷积神经网络使用标记数据进行训练。使用无监督学习，卷积神经网络被赋予未标记的数据，然后被要求寻找重复出现的模式。

自AlexNet模型被提出后，各种各样的算法模型相继被发表，其中有VGG系列、GoogLeNet系列、ResNet系列、DenseNet系列等。2014年，Ian Goodfellow提出了生成对抗网络，通过对抗训练的方式学习样本的真实分布，从而生成逼近度较高的样本。2016年，DeepMind公司应用深度神经网络到强化学习领域，提出了DQN算法，在Atari游戏平台中的49个游戏上取得了与人类相当甚至超越人类的水平；在围棋领域，DeepMind提出的AlphaGo和AlphaGo Zero智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的Dota2游戏平台，OpenAI开发的OpenAI Five智能程序在受限游戏环境中打败了TI8冠军队伍OG队，展现出了专业级的高层智能操作。图1-1所示深度学习发展时间线列出了2006年～2019年之间重大的时间节点。

图1-1 深度学习发展时间线