神经网络与深度学习_[美]查鲁·C. 阿加沃尔(Charu C. Aggarwal)_9787111686859

本书涵盖了经典和现代的深度学习模型。章节分为三类:第1部分为神经网络的基础。许多传统的机器学习模型可以理解为神经网络的特殊情况。前两章的重点是理解传统机器学习和神经网络之间的关系。支持向量机、线性/逻辑回归、奇异值分解、矩阵分解和推荐系统都是神经网络的特例。本书将这些方法与特征工程方法如word2vec一起进行了研究。第2部分是神经网络的基本原理。训练和正则化的详细讨论在第3章和第4章提供。第5章和第6章介绍了径向基函数(RBF)网络和受限的玻尔兹曼机。第3部分是神经网络的高级主题:第7章和第8章讨论了循环神经网络和卷积神经网络。第9章和第10章介绍了几个高级主题，如深度强化学习、神经图像机、Kohonen自组织映射和生成对抗网络。这本书是为研究生、研究人员和实践者编写的。大量的练习和一个解决方案手册，以帮助在课堂教学。在可能的情况下，突出显示以应用程序为中心的视图，以便提供对每一类技术的实际用途的理解。

任何能通过图灵测试的人工智能都知道不应该通过这个测试。
Ian McDonald
神经网络是通过以类似人类神经元的方式处理学习模型中的计算单元来模拟人类神经系统以完成机器学习任务。神经网络的宏伟愿景是通过构建一些模拟人类神经系统计算架构的机器来创造人工智能，由于当今快的计算机的计算能力也无法企及人脑计算能力，所以这显然不是一项简单的任务。神经网络在20世纪五六十年代计算机出现后不久得到了迅速发展，Rosenblatt 的感知机算法被视作神经网络的基石，这引起了人们对人工智能前景的早期关注和兴奋。然而在这种早期的兴奋过后，神经网络对数据的渴求和计算过于密集的特性成为其大展宏图的障碍，它度过了一段令人失望的时期。终，在世纪之交，海量的可用数据以及不断增长的计算能力使得神经网络重振雄风，并在人们视线中以新的名称深度学习出现。虽然人工智能匹敌人类智能的那一天离我们还很遥远，但在图像识别、自动驾驶和博弈等特定领域，人工智能已经比肩甚至超过了人类智能。我们也很难预测人工智能将来的上限是什么。例如，二十多年前，很少有计算机视觉专家会想到会有自动化系统能够比人类更准确地执行图像分类这种直观的任务。
理论上，神经网络能够通过足够的训练数据学习任何数学函数，现在已知一些变体（如循环神经网络）是图灵完备的。图灵完备是指在给定足够的训练数据的情况下，神经网络可以拟合任何学习算法。其不足之处在于，即使是对于简单的任务，往往也需要大量的训练数据，这导致相应的训练时间也增加了（如果我们首先假设有足够的训练数据）。例如，图像识别对人类来说是一项简单的任务，但即使在高性能系统中，其训练时间也可能长达几周。此外，还有与神经网络训练的稳定性相关的实际问题，这些问题甚至在如今都还没有解决。然而，考虑到计算机的计算速度会随着时间的推移而迅速提高，而且从根本上来说，更强大的计算范式（如量子计算）也即将出现，计算问题终可能不会像想象的那样难以解决。
虽然神经网络的生物学类比是令人惊奇的，并且引发了与科幻小说的比较，但相比之下对神经网络的数学理解则更平凡。神经网络的抽象化可以被视为一种模块化的方法，使基于输入和输出之间依赖关系的计算图上的连续优化的学习算法成为可能。平心而论，这和控制理论中的传统工作没有太大区别事实上，控制理论中的一些用于优化的方法与神经网络中基本的算法惊人地相似（历史上也是如此）。然而，近年来大量的可用数据以及计算能力的提升，使得能够对这些计算图进行比以前有着更深的架构的实验。由此带来的成功改变了人们对深度学习潜力的广泛认识。
本书的章节结构如下：
1. 神经网络的基础知识：第1章讨论神经网络设计的基础知识。许多传统的机器学习模型可以理解为神经网络学习的特殊情况。理解传统机器学习和神经网络之间的关系是理解后者的步。第2章用神经网络对各种机器学习模型进行了模拟，旨在让分析者了解神经网络是如何挑战传统机器学习算法的极限的。
2. 神经网络的基本原理：第3章和第4章提供对训练挑战的更详细的叙述。第5章和第6章介绍径向基函数（RBF）网络和受限玻尔兹曼机。
3. 神经网络的进阶主题：深度学习近的很多成功是各种领域的特定架构的结果，例如循环神经网络和卷积神经网络。第7章和第8章分别讨论循环神经网络和卷积神经网络。第9章和第10章讨论一些进阶主题，如深度强化学习、神经图灵机和生成对抗网络。
我们所关注的内容中包含一些被遗忘的架构，如径向基函数网络和Kohonen自组织映射，因为它们在许多应用中具有潜力。本书是为研究生、研究人员和从业者写的。许多练习和解决方案手册都有助于课堂教学。在可能的情况下，本书突出以应用程序为中心的视角，以便让读者对该技术有所了解。
在本书中，向量或多维数据点都通过在字母上方加一条横线来表示，如X或y。向量点积用居中的点表示，比如X·Y。矩阵用不带横线的斜体大写字母表示，比如R。在本书中，对应整个训练数据集的nd矩阵代表n个d维数据，该矩阵用D表示。因此，D中的各个数据点是d维行向量。另外，每个分量代表一个数据点的向量通常是n维列向量，例如具有n个数据点作为类变量的n维列向量y。观测值yi与预测值yi的区别在于变量顶部的扬抑符。

Charu C. Aggarwal
美国纽约州约克敦海茨

你还可能感兴趣

我要评论