本书系统地论述了人工神经网络的主要理论和设计基础,给出了大量应用实例,旨在使读者了解神经网络的发展背景和研究对象,理解和熟悉其基本原理和主要应用,掌握其结构模型和基本设计方法,为以后的深入研究和应用开发打下基础。
全书共分为10章,第1、2章介绍了神经网络的发展历史、基本特征与功能、应用领域及基础知识,第3~10章展开介绍了单层感知器、基于误差反传的多层感知器、径向基函数神经网络、竞争学习神经网络、组合学习神经网络、反馈神经网络、支持向量机、深度神经网络等内容。为了方便梳理知识点,每章都附有本章小结。为了方便学习、加深理解,在书后附录中给出了例题与详解及神经网络常用术语的英汉对照。
本书可作为高等学校人工智能、智能科学与技术、自动化等相关专业人工神经网络的教材,也可供人工智能科研人员参考。
第1章绪论
1.1人脑与计算机001
1.1.1人脑与计算机信息处理能力的比较002
1.1.2人脑与计算机信息处理机制的比较003
1.1.3什么是人工神经网络004
1.2人工神经网络发展简史005
1.2.1启蒙期005
1.2.2低潮期007
1.2.3复兴期009
1.2.4高潮期010
1.2.5大数据期010
1.3神经网络的基本特征与功能013
1.3.1神经网络的基本特征013
1.3.2神经网络的基本功能014
1.4神经网络的应用领域015
1.4.1信息处理领域015
1.4.2自动化领域016
1.4.3工程领域016
1.4.4经济领域017
1.4.5医学领域018
1.5本章小结018
思考与练习019
第2章神经网络基础知识
2.1人工神经网络的生物学基础020
2.1.1生物神经元的结构020
2.1.2生物神经元的信息处理机理021
2.2人工神经元模型024
2.2.1神经元的建模024
2.2.2神经元的数学模型025
2.2.3神经元的转移函数026
2.3人工神经网络模型027
2.3.1网络拓扑结构类型028
2.3.2网络信息流向类型029
2.4神经网络学习方式030
2.4.1监督学习031
2.4.2无监督学习031
2.5神经网络学习规则031
2.5.1Hebb学习规则032
2.5.2Perceptron (感知器)学习规则034
2.5.3δ(Delta)学习规则034
2.5.4LMS(最小均方)学习规则036
2.5.5Correlation(相关)学习规则036
2.5.6Winner-Take-All(胜者为王)学习规则036
2.5.7Outstar(外星)学习规则037
2.6神经网络计算机程序实现基础038
2.6.1神经网络结构的程序实现基础038
2.6.2神经网络学习算法的程序实现基础039
2.6.3基于Python的神经网络实现方法039
2.7本章小结040
思考与练习041
第3章单层感知器
3.1单层感知器模型042
3.2单节点感知器的功能分析043
3.3感知器的学习算法047
3.4感知器的局限性及解决途径048
3.4.1感知器的局限性048
3.4.2解决途径049
3.5本章小结051
思考与练习052
第4章基于误差反传的多层感知器
4.1BP网络模型与算法055
4.1.1BP网络模型055
4.1.2BP学习算法056
4.2BP网络的能力与局限059
4.2.1BP网络的主要能力059
4.2.2误差曲面与BP算法的局限性060
4.3基于Python的BP算法实现061
4.3.1BP算法流程061
4.3.2基于Python的BP算法实现063
4.4BP算法的改进070
4.4.1增加动量项070
4.4.2自适应调节学习率070
4.4.3引入陡度因子071
4.5BP网络设计基础071
4.5.1网络信息容量与训练样本数071
4.5.2训练样本集的准备072
4.5.3初始权值的设计076
4.5.4BP网络结构设计076
4.5.5网络训练与测试077
4.6BP网络应用与设计实例078
4.6.1BP网络用于催化剂配方建模078
4.6.2BP网络用于汽车变速器最佳挡位判定080
4.6.3BP网络用于图像压缩编码080
4.6.4BP网络用于水库优化调度081
4.6.5BP网络用于证券预测082
4.6.6BP网络用于信用评价模型及预警083
4.7本章小结084
思考与练习084
第5章径向基函数神经网络
5.1基于径向基函数技术的函数逼近与内插087
5.2正则化RBF网络089
5.2.1正则化RBF网络的结构及特点089
5.2.2正则化RBF网络的学习算法090
5.3广义RBF神经网络090
5.3.1模式的可分性090
5.3.2广义RBF网络091
5.3.3广义RBF网络的设计方法092
5.3.4广义RBF网络数据中心的聚类算法093
5.3.5广义RBF网络数据中心的监督学习算法094
5.4基于Python的RBF网络学习算法实现095
5.4.1基于聚类的数据中心及RBF网络程序实现095
5.4.2基于监督学习的学习算法程序实现098
5.5RBF网络与BP网络的比较101
5.6RBF网络设计应用实例102
5.6.1RBF网络在液化气销售量预测中的应用102
5.6.2RBF网络在地表水质评价中的应用102
5.6.3RBF网络在汽油干点软测量中的应用103
5.6.4RBF网络在地下温度预测中的应用105
5.7本章小结107
第6章竞争学习神经网络
6.1竞争学习的概念与原理108
6.1.1基本概念108
6.1.2竞争学习原理110
6.2自组织特征映射神经网络113
6.2.1SOM网的生物学基础113
6.2.2SOM网的拓扑结构与权值调整域113
6.2.3自组织特征映射网的运行原理与学习算法115
6.3基于Python的SOM网络设计与实现119
6.3.1SOM网络的程序设计思路119
6.3.2基于neupy扩展模块的SOM网络程序设计120
6.4自组织特征映射网络的设计与应用123
6.4.1SOM网的设计基础123
6.4.2设计与应用实例125
6.5自适应共振理论131
6.5.1ARTⅠ型网络132
6.5.2ARTⅠ型网络的应用136
6.5.3ARTⅡ型网络140
6.5.4ARTⅡ型网络的应用143
6.6本章小结146
思考与练习147
第7章组合学习神经网络
7.1学习向量量化神经网络149
7.1.1向量量化(LVQ)149
7.1.2LVQ网络结构与工作原理150
7.1.3LVQ网络的学习算法150
7.1.4基于Python的LVQ网络学习算法实现152
7.1.5LVQ网络的设计与应用154
7.2对向传播神经网络157
7.2.1网络结构与运行原理157
7.2.2CPN的学习算法158
7.2.3基于Python的CPN学习算法实现159
7.2.4改进的CPN举例162
7.2.5CPN的应用163
7.3本章小结165
思考与练习165
第8章反馈神经网络
8.1离散型Hopfield神经网络167
8.1.1网络的结构与工作方式167
8.1.2网络的稳定性与吸引子168
8.1.3网络的权值设计173
8.1.4网络的信息存储容量175
8.2连续型Hopfield神经网络176
8.2.1网络的拓扑结构176
8.2.2能量函数与稳定性分析177
8.3Hopfield网络应用与设计实例178
8.3.1应用DHNN解决联想问题178
8.3.2应用CHNN解决优化计算问题179
8.4双向联想记忆(BAM)神经网络182
8.4.1BAM网结构与原理182
8.4.2能量函数与稳定性183
8.4.3BAM网的权值设计184
8.4.4BAM网的应用185
8.5随机神经网络186
8.5.1模拟退火原理187
8.5.2Boltzmann机188
8.6本章小结192
思考与练习193
第9章支持向量机
9.1支持向量机的基本思想195
9.1.1最优超平面的概念195
9.1.2最优超平面的构建196
9.2支持向量机神经网络199
9.3支持向量机的学习算法200
9.4基于Python的SVM学习算法201
9.5支持向量机处理XOR问题203
9.6本章小结204
第10章深度神经网络
10.1深层网络模型的提出206
10.2深度网络的网络类型和学习算法208
10.2.1深度网络的典型类型208
10.2.2深度网络学习算法及改进209
10.3卷积神经网络212
10.3.1CNN的基本概念及原理212
10.3.2CNN的模型与参数设计215
10.3.3CNN的学习217
10.3.4基于Python的CNN实现217
10.3.5CNN应用221
10.4生成对抗网络222
10.4.1生成模型与判别模型222
10.4.2生成对抗网络GAN的结构与核心思想223
10.4.3GAN的学习算法224
10.4.4基于Python的GAN实现225
10.4.5GAN的改进与应用229
10.5本章小结230
附录
附录1例题与详解232
附录2神经网络常用术语英汉对照252
参考文献