《广义主成分分析算法及应用》主要讨论了随机系统信号广义主成分分析方法及应用情况。全书可分为三部分:第一部分包括概述和基础理论,主要介绍广义主成分分析的概念、国内外研究现状,以及与广义主成分分析密切相关的矩阵理论、优化理论和神经网络等理论基础;第二部分研究多种广义主成分分析方法,该部分是《广义主成分分析算法及应用》的核心内容,重点介绍广义主成分分析、成对广义主成分分析、耦合广义主成分分析、确定性离散时间系统、双目的广义主成分分析、奇异主成分分析等内容;第三部分研究广义主成分分析方法的应用,主要讨论在信号处理、图像恢复和模式识别与分类等领域的应用。
《广义主成分分析算法及应用》核心内容十分新颖,均为近年来作者们发表在IEEE信号处理、神经网络与学习系统等汇刊上的长文组成编辑提炼而成,是基于神经网络和优化理论的特征信息提取领域研究和应用的新进展。
《广义主成分分析算法及应用》适合于信息科学与技术(电子、通信、自动控制、计算机、系统工程、模式识别、信号处理等)各学科有关教师、研究生和科技人员教学、自学或进修之用。
模式分类广泛存在于工程实际中,一个模式分类系统的好坏,首先与所选特征能否较好地反映将要研究的问题密切相关。因此,设计和获取特征是设计模式分类系统的第一步。很多情况下,我们可能已经得到了一组特征,这些特征中可能有很多特征与要解决的问题并不密切,在后续的分类器设计中可能会影响分类器的性能。另一方面,有时很多特征都与分类问题密切,但特征过多会造成计算量大、推广能力差等问题,很多方法可能会无法计算,因此需要在保证分类效果的前提下,选择尽可能少的特征来分类。
特征提取与选择的基本任务是研究如何从众多的特征中求出那些对分类识别最有效的特征,从而实现特征空间维数的压缩。特征提取和选择方法很多,有基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换法、基于决策界的特征选择、基于矩阵分解的特征提取、基于神经网络的自动特征提取等方法,这些方法各有优缺点。一个大型复杂系统如果发生故障,必然表现在其某些指标的检测数据发生异常,反映数据本质属性的特征信息必然发生变化。如何快速有效地提取系统输出信号中所包含的特征信息是大型复杂系统故障诊断与预测等领域需要解决的关键技术之一。
哪些信息是系统的特征信息?如何描述这些特征信息?如何及时发现并从大量复杂的数据信息中提取有用的特征信息?如何应用这些特征信息?这些问题都是现代信息科学与技术各学科,如电子、通信、自动控制、计算机、系统工程、模式识别、信号处理等面临的带有共性的问题。
笔者一直从事随机系统信号处理、自动控制、神经网络和模式识别的学术、科研、教学和工程应用等研究工作。近20年来,在多个国家自然科学基金课题的支持下,我们在特征信息神经网络提取、数据驱动特征建模等方面取得了一系列研究成果,并已将它们发表在IEEE神经网络与学习系统、信号处理、工业电子等汇刊上。尽快将这些研究成果介绍给读者,推动我国信息科学与技术领域随机系统估计理论研究的发展,是作者撰写该书的目的和动力。
第1章 绪论
1.1 随机系统特征提取及其意义
1.2 主成分分析国内外研究现状
1.2.1 基于神经网络的主成分分析研究现状
1.2.2 广义主成分分析算法研究现状
1.2.3 基于神经网络的奇异值分解研究现状
1.2.4 主成分与广义主成分分析的国内研究
1.3 本章小结
第2章 基础理论
2.1 特征子空间与特征提取
2.2 主成分分析与Oja学习规则
2.2.1 主成分分析基本原理
2.2.2 Hebbian规则与Oja算法
2.3 主成分分析典型算法
2.3.1 基于Hebbian规则主成分分析
2.3.2 基于优化方法的主成分分析
2.3.3 有侧向连接主成分分析
2.3.4 非线性主成分分析
2.3.5 其他主成分分析
2.3.6 次成分分析神经网络算法
2.4 广义主成分分析及其神经网络算法
2.4.1 广义Hermitian特征值问题
2.4.2 广义特征信息提取神经网络算法
2.5 奇异值分解及神经网络算法
2.5.1 奇异值分解基础
2.5.2 奇异值特征提取神经网络算法
2.6 Rayleigh商及其特性
2.6.1 Rayleigh商
2.6.2 Rayleigh商迭代
2.6.3 Rayleigh商求解的梯度和共轭梯度算法
2.6.4 广义Rayleigh商
2.7 本章小结
第3章 广义主成分分析
3.1 引言
3.2 广义主成分分析算法
3.2.1 广义对称特征值问题的Mathew类牛顿算法
3.2.2 广义特征值分解的自组织算法
3.2.3 广义特征分解的类RLS算法
3.2.4 基于RLS方法的广义特征向量提取算法
3.2.5 广义对称特征值问题的快速自适应算法
3.2.6 基于幂方法的快速广义特征向量跟踪
3.2.7 基于牛顿法的广义特征向量提取算法
3.2.8 提取次广义特征向量的在线算法
3.3 -种新型广义主成分分析
3.3.1 一种新型的广义主成分分析算法
3.3.2 GOja算法的自稳定性分析
3.3.3 GOja算法的实验验证
3.4 一种新型广义次成分分析
3.4.1 基于拟牛顿法的广义次成分分析算法
3.4.2 多维广义次成分并行提取准则
3.4.3 多维广义次成分并行提取算法
3.4.4 WGIC算法的自稳定性分析
3.4.5 WGIC算法的全局收敛性分析
3.4.6 仿真实验
3.5 本章小结
……
第4章 成对广义主成分分析
第5章 耦合广义主成分分析
第6章 确定性离散时间系统
第7章 双目的广义主成分分析
第8章 奇异主成分分析
第9章 广义主成分分析的工程应用
参考文献