心理和教育测量学越来越变成一门如何用统计手段分析测验分数的学科,而非怎样测量心理或教育属性的理论,造成了效度分析和测验设计中的诸多问题。本书在剖析既有问题基础上,提出并构建了一种理论驱动的测量学模式,提出并系统构建了一种理论驱动的测量学模式。这种测量学模式综合了当前国际上在测量基本理论、效度研究、认知项目设计和自动化项目生成、多维测量模型建模和计算机自适应测验等相关领域的最近研究成果和发展趋势。
长期以来,心理和教育测量学越来越演变成一种去理论化的、过于功能主义和实用主义取向的应用学科。这种取向使得心理和教育测量学蜕变为一门如何用统计手段分析测验分数的技术学科, 而不是怎样合理和科学地测量心理或教育领域中的属性或建构的测量理论。
本书剖析了当前心理和教育测量学研究范式中的既有问题,并在此基础上提出并构建了一种理论驱动的测量学模式。该模式综合了当前国际上测量基本理论、效度研究、认知项目设计和自动化项目生成、多维测量模型建模和计算机自适应测验等相关领域的最近研究成果和发展趋势,按照测量的本质、测量所需建构理论、理论驱动的测验编制与项目设计、基于理论的测验分析与建模这样一种思路重构了心理和教育测量学的基本框架和应该关注的研究问题。
本书不同于常见心理或教育测量学的基本思路,即先介绍测验信度或效度,然后介绍不同类型的已有测验,而是沿着基本概念、工具开发、建模分析和推断解释的逻辑思路进行架构,提出了对什么是测量、建构理论等方面新的理解和认识,强调建构理论、项目设计和测量学建模之间整合关系。
杨向东,博士,美国堪萨斯大学量化心理学博士,华东师范大学教育科学学院副院长,课程与教学研究所副教授。主要研究领域为教育测量与评价、研究方法和应用统计。已出版著作包括《课堂评价:促进学生学习和发展》,华师大出版社2012年出版。
第一章 导论
一、心理与教育测量学的迷失
二、去理论化和功能主义的测量研究范式
三、测验效度与效度检验的矫枉
(一)去理论化的内容效度
(二)功能主义观下的建构效度
(三)效标关联效度的内涵变迁
(四)偷换概念的效度研究
四、测验项目设计:艺术还是科学
五、理论驱动测量学的回归
(一)建构理论和测量理论整合的科学基础
(二)测量理论内部的变革
六、心理与教育测量学中的“测量”观
(一)测量的经典观
(二)测量经典观的流放和Stevens测量观的兴起
(三)联合测量理论
七、结语
第二章 什么是测量
一、测量的内涵
(一)属性的可加性结构
(二)连续量化属性
(三)连续性与相同测量单位
(四)测量的界定
(五)理解测量结果的实质含义
二、测量在科学研究中的位置
(一)观念的演化历程
(二)科学理论的阐述方式
(三)测量在科学发展中的作用和局限
第三章 心理与教育领域中的测量
一、理想心理和教育测量的特征
二、心理和教育测量的基本问题
(一)心理属性的本体论问题
(二)如何判定心理属性是否是连续量化属性
三、心理与教育属性测量尺度的构建
(一)哥特曼尺度(Guttman seale)
(二)拉希尺度构建法(Rasch scaling)
(三)瑟斯顿尺度构建法和项目反应理论
四、本章结语
第四章 建构和建构理论
一、什么是建构
(一)建构作为一种理论意义上的变量
(二)理论建构、操作定义中的建构以及观测指标之间的关系
二、建构究竟是一种什么性质的变量
(一)不同观点下建构的性质
(二)心理或教育领域中的建构是一种什么性质的存在
三、理解建构和观测指标之间的因果关系
(一)被试间和被试内因果关系(Between-subject or within-subject causalitv)
(二)同质性与异质性因果关系(homogenous or heterogeneous causality)
四、心理或教育测量领域中的建构理论
(一)宏观层面的建构理论
(二)中层的建构理论
(三)微观的建构理论
五、本章小结:几个尚未解决的问题
(一)建构、领域和任务
(二)建构在哪里?
(三)重新审视因果机制同质性的问题
第五章 测验设计和项目生成
一、测验设计与开发模式
(一)测验设计的传统理论取向
(二)理论驱动的测验设计取向
二、项目设计的发展
(一)功能取向的项目生成方法
(二)层面理论和匹配语句(mapping-sentence)项目设计法
(三)认知项目设计法(cognitive approach to itam design)
三、当前趋势和未来发展方向
第六章 测验数据分析
一、理论驱动的测量学分析的基本问题
(一)测量即按照规则赋值的过程
(二)测量即基于证据的推理过程
(三)测量即一种结构理论
(四)测量的经典观
(五)基于建构理论的测量学分析
二、理论驱动的测量尺度分析
(一)可尺度化(scalabmty)与测量尺度的存在(existence of a scale)
(二)测验数据的维度
(三)测量尺度特征的评估
三、实质理论对测量尺度的解释程度分析
(一)测量工具或尺度的结构性假设检验
(二)项目结构背后的认知成分分析
(三)建构的法则广度分析
(四)更为复杂的情况
四、其他方面的测验学分析
参考文献
《理论驱动的心理与教育测量学》:
建构效度的另一个方面是法则广度(nomothetic span),指的是当前测验与其他变量之间的关系网络。法则广度类似于Cronbach和Meehl(1955)提出的法则网络,对应的数据是当前测验分数与其他测验分数或变量的相关矩阵。当前测验与其他测验或变量相关关系的频率、大小和模式,表明当前测验在测量个别差异中的效用和重要程度。如果某建构在特定领域中具有核心位置,任何与该建构关系密切的其他变量都应该与测量该建构的测验分数有较高的相关,则对应法则广度就涉及面较广。此外,当前测验与其他测验相关矩阵的特定模式还在一定程度上表明了当前测验所测的建构[见Cronbach和Meehl(1955),利用法则网络推断测验建构效度的思考]。
Embretson对建构效度的二分法开启了测量学模式与认知研究相结合的可能性。在功能主义研究范式下,项目反应的因果机制无法成为心理学研究的对象,“建构表征不可能成为一个独立的研究目标”(Embretson,1983,p.180)。因而,传统测验效度理论关注更多的是所测建构的法则广度,利用的多是测验分数(或项目反应)之间的相关矩阵,采用的主要是因素分析式方法。建构表征概念的提出,明确地将能够解释测验项目反应机制的建构理论置于测验效度及其检验的首要位置。在这一框架下,效度理论的内涵和验证方法发生了实质性的改变。测验分数与其他测验分数的相关程度(传统意义上的效标效度)以及不同测验项目反应的潜在维度(传统意义上的结构效度)虽然仍然是重要证据,但已经不是核心证据。在新的效度理论下,测验项目解决所需的认知加工过程和结构是否是对所测量的建构理论的一个合理表征,变成了效度检验的核心问题。这样一来,认知心理学的理论和方法也就被合理地纳入了测验建构效度及其检验的理论框架内。更为主要的是,建构表征概念的提出,使认知研究的理论成果和实验技术成为一种新型测验项目设计和测验编制模式的重要基础。这种项目设计通常被称为认知项目设计(cognitive item design; Embretson,1994,1998)或项目生成(cognitive item generation; Irvine & Kyllonen,2002).认知项目设计的基本思路是将认知心理学的研究方法和发现应用到测验项目的设计过程中。在确定了所要测量的建构之后,设计人员运用文献研究、言语报告、认知成分分析技术以及实验室研究等多种方法,对所选择的认知任务类型进行详尽的任务分析和研究。在此基础上,设计人员研发相应的认知模型,明确描述个体在解决该类任务时所需要的认知过程、策略和知识结构,及其对任务难度的影响。基于认知模型,设计人员鉴别该类测验任务的一系列具体的刺激特征,通过实验研究建立这些具体特征与任务解决的不同认知成分和过程之间的关系。然后,设计人员就可以通过操纵任务中的这些具体特征,从而控制解决任务所需要的认知过程及其难度。这样一来,即使所设计的项目没有进行试测,设计人员也可以确定所设计的测验项目的建构效度。由于建立了任务类型中的具体特征与相应的认知过程的影响关系,设计人员可以运用相应的测量学模型标定任务特征对测验项目的测量学特征(如难度或者鉴别力等)的影响程度。更为重要的是,设计人员可以通过变换测验项目中具体特征的组合,生成具有指定测量学指标的项目(Embretson,1999),从而使得计算机辅助的自动化项目生成(automaticitem g eneration)成为可能(Embretson & Yang,2007)。
目前,众多心理与教育测量学家对认知测验项目设计的理论和技术进行了多方面的研究。近年来,该方法被运用到心理旋转、隐藏图形识别、瑞文矩阵推理、空间折叠、类比推理、序列完成等传统智力和能力倾向测验的任务类型(Irvine & Kyllonen,2002)。随着研究的深入,对阅读理解、数学问题解决等复杂认知领域问题的研究也正在逐步展开(Arendasy & Sommer,2007;Daniel&Embretson,2010;Gorin,2005)。以认知项目设计为基础的自动化项目生成也成为近年来心理测量中比较活跃的研究领域(Alves,Gierl,&Lai,2010;Gierl&Haladyna,2012)。
认知研究范式使得解释测验项目反应机制的建构理论成为可能,测验效度理论和项目设计技术的变革则为建构理论与测量理论相结合提供了理论框架和实践路径。但是,这些只是解决了“psychometrics”(心理测量学)中“psycho”(心理)的部分,“metric"(尺度)部分的问题仍有待解决。在深层意义上,尺度问题的背后是对心理与教育测量学中“测量”这一概念内涵的理解和界定。这种理解深刻影响着心理与教育测量学的理论取向和实践模式。
……