本书主要介绍了模式识别的相关内容,涉及模式识别的基本概念、聚类分析、线性判别函数、贝叶斯分类器、特征选择和提取、非参数模式识别方法、神经网络模式识别方法、模糊模式识别方法、句法模式识别方法,以及新型模式识别方法,如决策树方法、支持向量机方法、粗糙集方法等一些基本方法,并介绍了基于遗传算法、模拟退火算法和禁忌搜索算法进行特征选择的基本思想。书中算法采用MATLAB语言描述,便于读者编程实验。
人类自进入科技高速发展的信息社会以来,处理信息的方式和方法越来越智能化。计算机科学与技术作为智能信息技术的核心基础正在使人类的学习、生活和工作越来越方便,如各种门禁系统、验证真伪装置以及磁卡都在为人类提供安全保障服务。智能信息处理已渗透到人类社会活动的各个领域。要实现智能信息系统的软件,仅靠使用高级程序设计语言的知识是远远不够的。要学会分析和研究所需处理的信息对象的特性,选择合适的模式识别方法即分类聚类技术和相应的数据或信息的表示和存储,设计相应的模式识别算法,进而编制实现才能较好地完成智能信息系统的软件开发任务。模式识别技术是从事计算机科学与技术进行智能信息工作的相关人员不可缺少的知识。模式识别正是通过建立智能信息处理的基本概念,从而培养学生将现实世界中的智能信息处理问题转化为模式识别模型的能力,进而提高分析问题和解决问题的技能,以达到利用计算机进行智能信息处理目的的一门重要课程。
目前,模式识别是高校计算机类专业(包括计算机科学与技术、软件工程、网络工程、信息安全、智能控制等)的专业课程,也是其他信息类专业(包括信息管理与信息系统、通信工程、信息工程、信息与计算科学等)的选修课程。学好模式识别,可以使读者掌握更多的程序设计以及设计和实现模式识别系统的技巧,为以后学习其他专业课程,以及为今后走上工作岗位从事计算机大型智能信息系统的软件开发打下良好的基础。
本书共11章。第1章介绍模式识别的基本概念、基本原理和基本方法。第2章介绍聚类分析的基本知识以及聚类的各种算法。第3章介绍线性分类器以及其他的代数域几何分类法,同时给出了分段线性和非线性分类器设计的方法,还介绍了费歇尔方法、势函数法。第4章介绍贝叶斯决策分类器的设计方法,包括基本的方法,基于正态分布的分类器设计法,参数估计的最大似然估计法、贝叶斯估计法、贝叶斯学习法,非参数估计的Parzen窗法和kN近邻法,后验概率的势函数估计方法等。第5章介绍特征选择和特征提取,包括类别可分性测度、单类模式特征提取、多类模式特征提取、特征选择准则、特征选择方法、几种全局特征选择的搜索方法如遗传算法、模拟退火算法、禁忌搜索算法。第6章介绍句法模式识别法,包括基本概念、文法分类、模式的描述方法、文法推断、句法分析及模式识别、句法结构的自动机识别,并对各型自动机和文法间的关系进行了较为详细的讨论。第7章介绍模糊模式识别法,包括模糊集合的定义、与模糊集合相关的概念、模糊集合的运算、模糊关系与模糊矩阵、模糊模式分类的直接方法和间接方法、模糊聚类分析法如模糊等价关系和模糊相似关系的聚类分析法、模糊K均值算法、模糊ISODATA算法。第8章介绍神经网络模式识别法,包括神经网络的基本概念、前向神经网络感知器网络和BP网络、竞争学习神经网络如基本的竞争学习网络结构、汉明竞争神经网络、自组织特征映射神经网络。第9章介绍决策树,包括决策树的基本概念、属性选择的几个度量、决策树的建立算法如ID3算法、C45算法等。第10章介绍支持向量机模式识别法,包括支持向量机的理论基础、线性判别函数和判别面、线性不可分下的判别面、非线性可分下的判别函数。第11章介绍粗糙集方法,包括粗糙集中的基本概念、信息系统和决策表及其约简、基于粗糙集的分类器设计。
书中算法采用MATLAB语言加以描述,强调算法思想的良好简洁描述,体现良好的代码设计风格。算法后配有例题。每章后配有习题。
本书内容的理论性和实践性都很强,读者在进行理论学习的同时,需要多动手编写程序上机调试,以加深对所学知识的理解,将一些基本算法和程序作为“积木块”供今后使用,以提高编程效率和能力。本书可作为高校计算机类或信息类相关专业模式识别课程教材,建议理论课时为48~64学时,上机实践课时为20~30学时,课程设计时间2~3周,可根据本专业特点和具体情况适当增删内容加以使用。书中标有星号“*”的部分内容,初学者可在首次阅读时跳过,留作以后要了解的内容。本书假定读者已掌握了MATLAB。
本书在内容组织安排上遵循认知规律,合理安排知识点,突出核心概念,提炼基础内容,细化难点,把握重点,侧重应用实践,减少形式化描述,注重算法设计与程序实现(书中代码在MATLAB语言中调试运行通过),容易学习理解和使用,从实用性和培养工程应用能力的角度培养读者运用模式识别的能力以及编程能力。
本书是作者在多年讲授模式识别课程的基础上,针对模式识别教学的特点编写的。参加本书编写工作的有:吴陈(第1、7~11章)、王丽娟(第2章)、陈蓉(第3章)、许有权(第4章)、吴文俊(第5章)、夏琼华(第6章)。参加习题编写的有夏冰莹、姜雯、许霞等。
本书由段先华教授审阅,在此表示衷心感谢。
由于作者知识和写作水平有限,书中难免存在缺点或错误之处,希望读者批评指正。
吴陈
目录
前言
第1章绪论
1.1模式识别的基本概念
1.2模式识别的内容、特点和方法
1.3模式识别的应用和发展
习题1
第2章聚类分析
2.1引言
2.2相似性度量和聚类准则
2.3基于距离阈值的聚类算法
2.4层次聚类法
2.5动态聚类法
2.6聚类结果的评价
习题2
第3章判别函数法
3.1概述
3.2线性判别函数
3.3线性判别函数的几何性质
3.4感知器算法
3.5梯度法
3.6最小平方误差算法
3.7费歇尔线性判别法
3.8非线性判别函数
3.9势函数法
3.10分类器应用实例及代码
习题3
第4章基于统计决策的概率分类
4.1贝叶斯决策
4.2贝叶斯决策方法的应用
4.3贝叶斯分类器的错误率
4.4聂曼皮尔逊决策
4.5类条件概率密度函数的参数估计
4.6概率密度的非参数估计
4.7后验概率密度函数的势函数估计法
习题4
第5章特征选择与特征提取
5.1基本概念
5.2类别可分性测度
5.3基于类内散布矩阵的单类模式特征提取
5.4基于KL变换的多类模式特征提取
5.5特征选择
5.6特征选择的几种全局搜索方法
习题5
第6章句法模式识别
6.1概述
6.2形式语言概述
6.3模式的描述方法
6.4文法推断
6.5句法分析及模式识别
6.6句法结构的自动机识别
习题6
第7章模糊模式识别
7.1模糊集合
7.2模糊集合的运算
7.3模糊关系与模糊矩阵
7.4模糊模式分类的直接方法和间接方法
7.5模糊聚类分析法
习题7
第8章神经网络模式识别法
8.1人工神经网络概述
8.2神经网络的基本概念
8.3前向神经网络
8.4竞争学习神经网络
8.5反馈型神经网络
习题8
第9章决策树
9.1什么是决策树
9.2属性选择的几个度量
9.3决策树的建立算法
习题9
第10章支持向量机
10.1支持向量机的理论基础
10.2线性判别函数和判别面
10.3线性不可分下的判别面
10.4非线性可分下的判别函数
习题10
第11章粗糙集方法
11.1基本概念
11.2信息系统和决策表及其约简
11.3基于粗糙集的分类器设计
习题11
参考文献