基于大数据分析的学术期刊质量评价体系研究_赵均著_9787507853155

随着学术期刊数量的猛增和所属学科的不断细化，人们对学术期刊评价越来越重视，从早期的口碑评价，再到成系统的学术期刊评价体系，我们在充分肯定学术期刊评价做出巨大贡献的同时，也应该看到随着学术期刊评价所承载功能的扩展，学术界和科研管理界对评价合理性的要求越来越高。本书从评价指标、评价方法、评价系统三个方面梳理了当下学术期刊评价体系，并从制定研究目标、资料收集和数据采集、评价指标的开发、系统运行测试等方面对基于大数据分析的学术期刊质量评价体系进行了研究和构建，结构完整、论证充分、数据严谨，对学术期刊评价、科研管理工作、学术的繁荣进步有一定的积极作用。

绪　论 / 001 第一章我国学术期刊评价概况 / 012 第一节学术期刊评价指标 / 013 第二节学术期刊评价方法 / 030 第三节学术期刊评价系统 / 034 第二章当下学术期刊评价存在的主要问题 / 060 第一节评价方式存在的问题 / 061 第二节学术期刊评价的两次使用“错位” / 065 第三节多家学术期刊评价系统并存 / 067 第四节学术期刊评价被挪用的后果 / 069 第三章学术论文质量评价向度分析 / 073 第一节学术论文质量的定量评价 / 074 第二节学术论文质量的定性评价 / 076 第三节定性定量评价在学术价值评价指向上的向度契合和配合使用 / 079 第四章基于大数据分析的学术期刊质量评价体系构想 / 082 第一节大数据阅读分析评价系统设计 / 084 第二节大数据网络影响力评价系统讨论 / 087 第三节基于大数据分析的学术期刊质量评价体系的评价影响 / 090 第五章对学术论文大数据阅读分析评价采集指标的讨论 / 095 第一节定性评价标准的相关表述搜集 / 096 第二节将相关表述收敛为评价采集指标 / 101 第六章评价可信度加权机制设计 / 107 第一节初始评价可信度测评指标设置 / 107 第二节评价可信度动态修正 / 115 第七章　对学术论文大数据分析采集指标权重的调研 / 119 第一节　层次分析法介绍 / 119 第二节调研问卷的具体设计 / 122 第三节　调研对象的遴选 / 128 第四节　调研结果分析 / 137 第八章　对大数据阅读分析评价指标的开发 / 167 第一节　学术论文评价指标设计 / 168 第二节　学术期刊评价指标设计 / 170 第九章　大数据分析评价系统运行测试与分析 / 176 第一节　大数据阅读分析评价的运行模块 / 176 第二节　阅读分析评价流程测试准备 / 182 第三节　学术论文阅读分析评价测试数据 / 185 第四节　学术期刊阅读分析评价测试 / 190 第五节　学术期刊阅读分析评价测试分析 / 195 参考文献 / 198

绪　论评价是人类把握客体对人类的意义和价值的一种观念性活动。世界上自从出现第一本学术期刊以后，学术期刊评价就随之相伴而生。随着学术期刊数量的猛增和所属学科的不断细化，人们对学术期刊评价也越来越重视，尤其是当科研管理界使用学术期刊评价结果评价学术论文后，学术期刊评价一跃成为整个学术界共同关注的焦点，其重要性已经达到影响整体学术生态的地步。从早期的口碑评价，到二次文摘间接评价，再到成系统的学术期刊评价体系的出现，在这些进步的背后，是布拉德福文献离散定律、加菲尔德文献引用定律等评价理论的相继提出，以及以引文分析为代表的各种评价方法的研究成果的应用与以影响因子为代表的各种评价指标的设计和投入使用。我们在充分肯定学术期刊评价为科研管理做出巨大贡献的同时，也应该看到，随着学术期刊评价所承载功能的扩展，学术界和科研管理界对评价合理性的要求也越来越高。大数据时代的来临为这些要求提供了可实现的理论观念和物质基础，我们有机会实现对更多的数据甚至是全部数据的采集分析。这在之前是不可想象的。一、本研究的学术价值和应用价值在评价体系的具体应用过程中，评价方法居于核心地位，是评价方法统领着评价指标实施评价，也是评价方法直接决定着评价系统的评价目标。统观各类评价方法，主要分为两种类型：定性评价和定量评价。虽然在评价实践中还有定性与定量相结合的评价方法，但这类评价方法中，或者是以定性评价为主，以定性评价修正定量评价，意图消减定量评价的“错位”评价效应；或者是以定量评价为主，以定量评价修正定性评价，目标是缩小定性评价的不确定性。学术期刊的定量评价一般是根据摘转、引用、获奖等数据将学术期刊排序，但这些定量评价的指向都与期刊学术水平评价存在着不同程度的错位。一些学术期刊评价系统通过对定量指标进行升级改造来进一步贴近评价期望，这样的升级改造常见的是采用复合（综合）类指标和多指标综合测定法进行筛选排序。在具体统计中，由于统计来源中各期刊的学术水平差距较大，复合（综合）类指标统计中被同一对待的引文质量存在着较大差异；多指标综合测定法各项指标之间也存在重复计算等问题，其评价程序即便再科学合理也难以获得令人信服的结果。学术期刊的定性评价是刊物学术质量在阅读者学术认识上的投射，它在本质上优于引文分析等定量方法评价学术期刊带来的“错位”效果。但符合期望的定性评价还有赖于在评价过程控制中各环节的完美表现，存在着选择评审人、指标、标准、方式、方法等环节的不确定性，受到评审程序的设置水平、评审人员的学术水平和主观倾向、评审管理者的责任心和组织能力等影响因素的制约，在实际操作中较难达到预期效果。如果我们采取一种方法使定性评价过程变得更加可控，同时使用海量定性评价来淹没个别学者的意见偏向，那么这种定性评价方法就会明显优于目前被广泛采用的引文分析法。这在大数据分析出现之前几乎是不可能实现的。大数据阅读分析评价不会再明知引文分析法的缺陷而不得已用之，也不用考虑组织评审所需要的人力、物力耗费，担心某些评委的主观偏向、人情交换而影响评审结果，又顺应“互联网+”的时代要求，应用起来将会明显改善现有饱受诟病的学术期刊评价体系。目前，基于大数据分析的学术期刊质量评价体系的实施条件已经具备，当下几乎所有的学术期刊论文都已经被中国知网、万方数据等平台收录，国家哲学社会科学学术期刊数据库已经实现完全开放获取，而且基于大数据分析的学术期刊质量评价体系的推行会有力促进学术期刊开放获取的最大程度实现。不仅如此，由于大数据阅读分析评价是基于读者阅读每一篇学术论文的读后评分机制，意味着学者在哪家刊物发表论文其实并不会影响论文学术水平的评价，所以，这种评价方式可以很大程度抑制时下科研管理界的“以刊评文”，可以有效提高学术期刊整体的刊发利用率，缓解目前核心期刊“稿满为患”、非核心期刊“门庭冷落”的局面。除了通过大数据阅读分析评价学术水平，我们还可以通过大数据网络影响力评价考察论文和刊物的学术影响。大数据阅读分析评价是对学术水平的评价，大数据网络影响力评价是对学术影响的评价。大数据网络影响力评价是在社交网络普及化的背景下实现学术影响大数据测度的新型评价方式，通过学术成果被网络用户浏览、阅读、收藏、分享、评论等，获得网络社会对学术成果的关注度。网络用户的信息来源全面、数据开放透明、参与程度广泛等优势，相较传统的学术影响评价来说也是具有革命性意义的。传统学术影响评价基本上源于学术共同体，其对于学术成果对社会、经济、文化等诸多影响的测度一直处于盲区，而网络影响不仅覆盖了传统的学术影响测度范围，还进一步延伸至学术影响的各个方面，其评价的优势和先进性是明显的。考虑到研究的集中性，本书不将大数据网络影响力评价作为主要内容，而是重点集中在大数据阅读分析评价方面的研究。二、预期的研究目标本书的预期研究目标主要有以下六个方面。（一）对大数据阅读分析评价方法的研究在考察和比较学术期刊评价中已有的布拉德福定律测定法、累积百分比测定法、文献百分比测定法、流通使用测定法、摘转统计测定法、引文分析测定法和多指标综合测定法的适用方向和使用效果后，课题组设计了一套基于论文学术水平评价学术期刊的评价方法，将采集到的评价数据分层次联系，实现用户大数据评价功能的最优发挥，结合具体评价条件提供简便、容易实现的评价结果。（二）对大数据阅读分析评价采集指标的研究评价采集指标的设计应兼顾广泛性、适用性和简明性，一方面对学术期刊质量评价指标进行细化设计，降低指标颗粒度；另一方面，需要考察各项评价指标的应用价值、影响因素和实际使用中的优缺点。（三）对用户评价的可信度加权和纠错机制的研究阅读评分者在知识积累、学识水平、学术视野等方面存在差别，而定性评价又是依靠个人学术直觉独立进行的主观判断，掺杂个人好恶的主观偏见会或多或少存在。如果简单地把所有评分结果同一对待，即使是海量统计也必然会影响到评价效果与评价目标。这就需要我们在评价程序上对每项评分实施评价可信度加权和纠错机制，来消减这些偏向。（四）大数据阅读分析评价流程设计评价流程是评价方法的具体实施过程，需要从采集初始评价指标数据、对评价者的评价可信度加权、对评价结果的纠错，再到评价结果的收敛等一系列评价环节进行控制研究，以保证评价系统的整体合理和前后一致。（五）对基于大数据分析的学术期刊质量评价系统的评价指标研究根据论文定性评价指标数据，课题组提出了学术水平量标、创新性量标、科学性量标、重要性量标、实用性/可借鉴性量标、写作质量量标等学术论文的评价指标。在汇集学术论文评价指标数据的基础上，为学术期刊质量评价系统设计学术贡献类指标、水平因子类指标等总评指标系列和创新性指数、科学性指数、重要性指数、实用性/可借鉴性指数、写作质量指数等分类评价指标。（六）基于大数据分析的学术期刊质量评价体系对当下学术文化生态的影响研究具体考察评价体系对于指导读者有效利用学术期刊、提供馆藏学术期刊备选目录、引导学术期刊竞争方向等基本功能和方便科研管理、督促个人学术进步、促进学术繁荣等扩展评价功能方面的积极作用和消极影响。

你还可能感兴趣

我要评论