《模式识别》主要介绍统计模式识别和结构模式识别的相关内容。全书由7章组成,第1章为绪论,第2章介绍统计模式识别中的几何方法,着重介绍特征空间的概念和相关分类器的设计方法。第3章介绍统计模式识别中的概率方法,着重介绍最小错误概率分类器、最小风险分类器、纽曼皮尔逊分类器和最小最大分类器以及概率密度函数的参数估计和非参数估计等。第4章讨论典型分类器错误概率的计算问题。第5章讨论无监督情况下的模式识别问题,着重介绍几种典型的聚类算法:基于分裂的聚类方法、基于合并的聚类方法、动态聚类方法、基于核函数的聚类方法和近邻函数值聚类方法等。第6章讨论结构模式识别问题,给出几种典型的文法规则和与之相关联的识别装置,包括有限状态自动机、下推自动机和图灵机等。最后,在第7章对全书进行总结。
《模式识别》可作为电子信息类各专业高年级本科生和硕士研究生模式识别课程的教材,也可供从事模式识别相关研究的教师和科研人员参考。
2008年是中国科学技术大学建校五十周年。为了反映五十年来办学理念和特色,集中展示教材建设的成果,学校决定组织编写出版代表中国科学技术大学教学水平的精品教材系列。在各方的共同努力下,共组织选题281种,经过多轮、严格的评审,最后确定50种人选精品教材系列。
1958年学校成立之时,教员大部分都来自中国科学院的各个研究所。作为各个研究所的科研人员,他们到学校后保持了教学的同时又作研究的传统。同时,根据“全院办校,所系结合”的原则,科学院各个研究所在科研第一线工作的杰出科学家也参与学校的教学,为本科生授课,将最新的科研成果融人到教学中。五十年来,外界环境和内在条件都发生了很大变化,但学校以教学为主、教学与科研相结合的方针没有变。正因为坚持了科学与技术相结合、理论与实践相结合、教学与科研相结合的方针,并形成了优良的传统,才培养出了一批又一批高质量的人才。
学校非常重视基础课和专业基础课教学的传统,也是她特别成功的原因之一。当今社会,科技发展突飞猛进、科技成果日新月异,没有扎实的基础知识,很难在科学技术研究中作出重大贡献。建校之初,华罗庚、吴有训、严济慈等老一辈科学家、教育家就身体力行,亲自为本科生讲授基础课。他们以渊博的学识、精湛的讲课艺术、高尚的师德,带出一批又一批杰出的年轻教员,培养了一届又一届优秀学生。这次人选校庆精品教材的绝大部分是本科生基础课或专业基础课的教材,其作者大多直接或间接受到过这些老一辈科学家、教育家的教诲和影响,因此在教材中也贯穿着这些先辈的教育教学理念与科学探索精神。
改革开放之初,学校最先选派青年骨干教师赴西方国家交流、学习,他们在带回先进科学技术的同时,也把西方先进的教育理念、教学方法、教学内容等带回到中国科学技术大学,并以极大的热情进行教学实践,使“科学与技术相结合、理论与实践相结合、教学与科研相结合”的方针得到进一步深化,取得了非常好的效果,培养的学生得到全社会的认可。这些教学改革影响深远,直到今天仍然受到学生的欢迎,并辐射到其他高校。在入选的精品教材中,这种理念与尝试也都有充分的体现。
总序
前言
第1章 绪论
1.1 模式和模式识别
1.2 模式的分类
1.3 模式识别系统的基本构成
1.4 模式识别方法及其分类
1.5 模式识别举例
1.6 本书内容安排
第2章 统计模式识别中的几何方法
2.1 统计分类的基本思想
2.1.1 特征空间和分类器设计
2.1.2 两个例子
2.2 模式的相似性度量和最小距离分类器
2.2.1 相似性度量和距离函数
2.2.2 最小距离分类器
2.3 线性可分情况下的几何分类法
2.3.1 线性判别函数和线性分类器
2.3.2 线性判别函数的参数确定
2.3.3 感知器算法
2.3.4 收敛性定理
2.3.5 梯度下降法
2.3.6 最小平方误差法
2.4 非线性可分情况下的几何分类法
2.4.1 广义线性判别函数法
2.4.2 分段线性判别函数法
2.4.3 非线性判别函数法:位势函数法
2.5 线性可分问题的非迭代解法
2.6 最优分类超平面
本章小结
第3章 统计模式识别中的概率方法
3.1 用概率方法描述分类问题
3.2 几个相关的概念
3.3 最小错误概率判决准则
3.4 最小风险判决规则
3.5 贝叶斯统计判决规则的似然比表现形式
3.5.1 最小错误概率判决规则的似然比表现形式
3.5.2 最小风险判决规则的似然比表现形式
3.6 拒绝判决
3.7 贝叶斯分类器的一般结构
3.8 Neyman-Pearson判决规则
3.9 最小最大判决规则
3.10 基于分段线性化的分类器设计
3.11 正态分布下的分类器设计
3.11.1 正态分布的定义和若干性质
3.11.2 正态分布下的分类器设计
3.12 有监督情况下类条件概率密度的参数估计
3.12.1 最大似然估计
3.12.2 贝叶斯估计和贝叶斯学习
3.13 非监督情况下类条件概率密度的参数估计
3.14 类条件概率密度的非参数估计
3.14.1 非参数估计的基本概念和方法
3.14.2 Parzen窗估计法
3.14.3 Kn-近邻估计法
3.14.4 正交级数副近法
本章小结
第4章 分类器的错误率
4.1 正态分布下的错误率
4.2 样本各维之间统计独立情况下的错误率
4.3 错误率界限的理论估计
4.3.1 Chernoff界限
4.3.2 Bhattacharyya界限
4.4 近邻分类法的错误率
4.5 分类器错误率的实验估计
4.5.1 已训练分类器错误率的实验估计
4.5.2 有限样本情况下分类器错误率的实验估计
本章小结
第5章 统计模式识别中的聚类方法
5.1 聚类分析
5.2 聚类准则
5.2.1 误差平方和准则函数
5.2.2 权平均平方距离和准则函数
5.2.3 类间距离和准则函数
5.2.4 离散度准则函数
5.3 基于分裂的聚类算法
5.3.1 简单增类聚类算法
5.3.2 改进的增类聚类算法
5.4 基于合并的聚类算法
5.5 动态聚类算法
5.5.1 C-均值动态聚类算法(I)
5.5.2 C-均值动态聚类算法(Ⅱ)
5.5.3 ISODATA算法
5.5.4 基于样本和核的相似性度量的动态聚类算法
5.6 基于近邻函数值准则的聚类算法
5.7 最小张树聚类算法
本章小结
第6章 结构模式识别中的句法方法
6.1 模式基元和模式结构的表达
6.2 形式语言基础
6.2.1 集合、集合间的关系和集合运算
6.2.2 符号串和语言
6.2.3 文法
6.2.4 文法的分类
6.3 有限状态自动机
6.3.1 确定的有限状态自动机
6.3.2 非确定的有限状态自动机
6.3.3 有限状态自动机之间的等价
6.3.4 有限状态文法和有限状态自动机
6.4 下推自动机
6.4.1 下推自动机的即时描述
6.4.2 上下文无关文法和下推自动机
6.5 图灵机
6.6 关于语言、文法和自动机的再讨论
6.6.1 语言的命名
6.6.2 从语言构建自动机
6.6.3 语言类型的确定
6.7 句法分析
6.7.1 正向剖析过程的树表示
6.7.2 先验规则引导的树正向剖析算法
6.7.3 基于三角表格的反向剖析算法
6.8 文法推断
6.8.1 正则文法的推断
6.8.2 非正则文法的推断
本章小结
第7章 总结
附录
参考文献
特征表达特征的表达方式和特征本身密切相关。如果所选择的特征是一组度量和属性特征,那么可以用相应的度量和属性参量构建一个特征向量。其中,每一个相关的度量和属性参量构成该特征向量的一个分量。一定范围内的所有特征向量组成一个特征空间,而前述的特征向量成为该模式空间中的一个点。为叙述方便起见,在不至于引起混淆的情况下今后将这样的特征向量也称为观测样本。和模式空间一般具有很大维数这一点不同,相应特征空间的维数一般很小。这样,通过引入特征抽取和表达这一关键步骤,我们可以实现从模式空间到特征空间的映射;这个映射过程实质上是一个降维的过程。实施降维操作的目的是为了获取输入模式的更本质的特征表达以便于后续的识别与分类。
此外,如果所选择的特征是一组基元特征,则从基元之间的连接关系出发来表达输入模式可能是一种更为恰当的选择。此时,相应的模式可用一个具有一定结构的树或图来表示。当然,通过适当定义基元的度量和属性,输入模式同样也可以用特征向量进行表达,虽然这种表达方式有些时候显得有些牵强。
分类与识别一旦输人模式的特征被选择和抽取,接下来的工作是根据所获得的输入模式的特征描述,判断该输入模式的类别。当一个输入模式可被表征为特征空间中的一个特征向量时,相应的问题被转化为特征空间的分割问题。为了实现对特征空间的正确分割从而解决相应的分类问题,一种做法是进行大量的试验,即在各种观测条件下对待识别对象进行大量的观测,获得待识别对象大量的观测样本;并依据所选择的特征通过特征抽取步骤将这些观测样本映射到相应的特征空间中。然后,根据观测样本所对应的特征向量在特征空间中的分布情况对特征空间实施分割,将其分割成若干个区域,使得每一个区域中尽可能只包含来自同一个类别的样本。通过这种操作,可以在特征空间中的一个分割区域和一个类别之间建立关联。