科技期刊世界影响力评价实证分析*
——以WJCI为例
通讯作者:
关键词:
本文引用格式
肖宏, 潘云涛, 伍军红, 马峥, 孙秀坤, 徐婉桢, 霍晨晓.
当前,新一轮科技革命和产业变革加速推进,中国等新兴经济体科技投入和产出不断提高,世界正在向多极化深入发展。科技期刊传承人类文明、荟萃科学发现、引领科技发展,直接体现国家科技竞争力和文化软实力。近年来,国际科技期刊总量、非英语母语国家的出版量都在不断增长。高质量科技期刊同样是推动我国科技自主创新、关键技术突破瓶颈、优秀人才不断涌现的重要抓手,也是科技创新生态的重要组成部分。2018年11月,习近平总书记主持召开中央深改委第五次会议,会议强调,要以建设世界一流科技期刊为目标,科学编制重点建设期刊目录,做精做强一批基础和传统优势领域期刊。
当前科技期刊评价中存在“唯SCI”“唯影响因子”等不良倾向,导致我国长期在期刊评价中缺乏国际话语权,不利于我国科技生态的良性发展。期刊评价具有导向、指挥棒作用,也是期刊发展阶段和水平的评测工具。2021年6月,中共中央宣传部、教育部、科技部印发《关于推动学术期刊繁荣发展的意见》也指出要“完善学术期刊相关评价体系”。
因此,我们应建立更加科学、合理、全面的科技期刊影响力评价方法,有效评估中国乃至世界其他非英语国家科技期刊的真实发展水平,破除基于西方数据库的学术评价偏差,为世界科技期刊影响力评价提供更为客观的统计数据。这也有利于我国实现“培育世界一流科技期刊”重大任务目标和提高我国在科技领域的国际话语权,引导高水平论文国内首发、服务国家创新驱动发展战略。
1 科技期刊世界影响力评价现状
定量评价指标方面,自从1972年SCI数据库创始人Garfield博士提出“影响因子”以来[5],基于引文的评价一直是期刊评价的主要方法。科睿唯安公司每年发布Journal Citation Reports(JCR报告),公布收录期刊的影响因子并分学科根据影响因子对期刊进行排名。Elsevier旗下的Scopus数据库推出的基于CiteScore数值的期刊评价体系与此类似,但是影响因子只考虑了期刊近期论文的被引频次,并不能全面准确评价期刊的真实水平,而且可能导致期刊追逐短期效应等问题。为改善影响因子评价的局限性,学术界相继提出了SJR、H-index、Eigenfactor、SNIP、CI等改进型期刊评价指标[6,7],从某些角度改善了单一使用影响因子开展期刊质量评估的问题。
在互联网时代,学术期刊传播在技术和平台载体方面发生了巨大变革。网络交流及移动互联为信息交流和学术传播带来了便利,同时也为监测期刊的使用情况提供了条件。学术期刊在互联网环境下的传播和使用情况,可以通过技术手段进行采集和统计,这些数据可以揭示期刊更广泛的知识传播、知识普及效果。因此,考虑将网络传播指标纳入学术期刊评价,能更加全面地反映新媒体环境下期刊的综合影响力。在此背景下,替代计量学研究应运而生。替代计量学研究的概念由Priem在2010年首次提出,之后有不少学者着眼于其在期刊评价领域的应用,开展了成果丰富的研究,例如有学者对6种PLOS期刊的Altmetric Attention Scores(来自Altmetric数据库)和WOS引用数据的相关性进行分析,结果显示两类指标之间呈现显著的正相关性;[8]还有学者对Altmetrics指标在期刊层面的聚合以及韩国科学期刊的网络可见性进行调查,得出开放获取是韩国科学期刊获得更高在线可见度的驱动因素,然而这种期刊级的总关注度受到个别受欢迎文章的影响。[9]在综合评价指标方面,我国学者赵蓉英和王旭结合13个基于JCR和Scopus的传统引文指标,并引入15个来自Altmetric数据库的替代计量学指标,构建基于传统引文指标和Altmetrics指标的学术期刊影响力综合评价模型,从3个维度系统进行期刊评价指标体系的构建。结果显示,3个维度下的测评指标间均呈较强的正相关,且3个数据库中各指标在整体上与内部间都具有显著的一致性。[10]
2 现有评价方法的可改进之处
当前科技期刊世界影响力评价工作虽在不断发展和进步,但仍存在一些不足和可改进之处,特别是立足我国科技期刊发展实际。主要体现在以下两个方面。
2.1 统计源期刊范围
国际社会公认SCI、Scopus等都是文献检索工具,被应用于科研评价只是其衍生的功能之一。SCI最初基于图书馆资源,仅收录了3 000种科技期刊。Scopus是Elsevier公司推出的二次文献数据库,也是在整合了Elsevier公司收购的学术资源基础上建立的。这两个商业数据库从成本、用户市场、定位和主要功能方面出发,主要以英语期刊和西方国家期刊为主,起点在于将手头可获取资源尽可能加以利用,并未对全球科技期刊进行全面、客观的评价。并且,由于他们对中国及其他非英语母语国家、发展中国家的科技期刊关注度不够,收录数量有限,在科技日新月异的今天,难以全景展现全球科技创新实情。以中国为例,2021年我国有5 071种科技类学术期刊,WOS数据库仅收录了300余种,Scopus数据库仅收录了800余种,还有大量的中国科技期刊特别是中文为主的科技期刊未被收录,每年数以百万计的科技论文出版后并未得到世界关注。这一情况一方面造成各类科研机构在学术评价中因缺乏参照系,对英文科技期刊过于偏重,许多研究成果以英文形式发表,不利于本国研究人员检索阅读,还造成大量学术成果外流,发表在国外期刊上;另一方面也导致研究人员在研究方向上过于追求国际热点,对本土性、区域性科学问题缺乏足够的关注。
2.2 评价指标体系
现有主流期刊评价体系主要以引用情况特别是影响因子作为评价期刊影响力的标准,存在明显的局限性。学术界虽然相继提出了许多改进型指标,从某些角度改善了影响因子单指标评价的问题,但这些指标大多数是基于引证数据而开发,引用具有滞后性和必须在使用者发表文献并注明引用时才能体现,并不能及时全面反映学术研究成果的影响力。对于技术类或应用性强的科技期刊,引证指标往往都比较低,通过引证指标评价的结果往往与期刊实际质量、影响力水平、所发挥作用等实际情况存在较大出入。
随着互联网时代替代计量学的兴起,网络传播指标在期刊评价中的应用越来越广泛。但是,现有研究相对分散,每个指标没有明确的权重[11],且Altmetric.com等目前常用的国外替代计量学数据聚合平台对中国学者(人数占全球27%)对全球科技成果的网络使用数据的统计结果与实际情况偏差很大。虽也有学者在综合引证和网络使用数据的多维指标评价方面做了有益探索,但都是在现有评价体系或数据库平台(JCR-SCIE、Scopus、Altmetric.com等)发布的评价指标基础上的叠加或拟合,从根本上说并没有打破当前评价体系的固有模式。总之,目前缺乏一套令人信服的指标体系能将期刊基于引证的学术影响力与网络影响力评价相结合。
3 《科技期刊世界影响力指数(WJCI)报告》的应对策略
为了更加全面、客观、综合地评价科技期刊在当今社会对全球科技创新活动提供的出版传播服务及其影响力,客观反映新兴科技国家科技期刊的真实贡献,在中国科学技术协会的支持下,中国知网自2020年起与中国科学技术信息研究所、清华大学图书馆、万方数据有限公司、中国高校科技期刊研究会、中国科学技术期刊编辑学会等多家研究机构联合攻关,开展了“科技期刊世界影响力指数(World Journal Clout Index of Scientific and Technological Periodicals,略写为WJCI)”研究,以期为世界科技期刊的影响力评价提供更为客观的统计方法和综合排序,该研究成果入选“科创中国”项目库。《科技期刊世界影响力指数(WJCI)报告》(以下简称《WJCI报告》)自2020年完成初稿,已经连续3年通过网络免费向全球发布(http://wjci.cnki.net),并广泛征求了期刊界和学术界意见而不断完善。《WJCI报告》打破了先有数据库、再有期刊评价的窠臼,将统计源的合理遴选放到第一步,旨在建立一个全新的期刊评价体系,围绕统计源期刊遴选、学科分类体系、综合评价指标等方面自主探索面向全球的期刊影响力评价方法,是一份体现世界科技期刊同台竞技结果的评价报告。相较于以往的期刊评价体系,《WJCI报告》具有以下方面的优势。
3.1 统计源比例更客观体现各国家和地区科研状况
《WJCI报告》从多角度综合衡量确定各国家和地区统计源期刊数量,客观反映非英语地区科技期刊的实际情况,有利于消除语言可能带来的竞争不公平性,也有利于这些地区非英语期刊的发展壮大,从而更好地服务本地科技和经济建设。《WJCI报告》来源期刊尽量选择具有地区代表性和学科代表性的优秀期刊,构建一个较为均衡、全面、客观的科技期刊定量评价基础。
3.1.1 各国家和地区统计源期刊比例及总量
《WJCI报告》先从4个维度综合衡量确定各国家和地区入选统计源期刊的数量,分别是:R&D投入、科技论文产出、科研人员数量、期刊规模和水平。这4个维度分别代表了各国家和地区的研发投入、产出能力、出版物规模、出版物质量、传播能力等情况,打破了现有数据库收录期刊结构,从源头建立全新的统计源期刊集合。
《WJCI报告》对包括《乌利希期刊指南》(Ulrich's Periodicals Directory)、WOS、Scopus等3个综合类数据库、EI(代表工程技术)等6个专业数据库以及CNKI(中国)等4个非英语母语国家的期刊数据库,共计13个库的期刊名录数据进行梳理,整理出全球正在出版的科技学术期刊共约6.6万种,并确定了从中选择1/4(即TOP25%或Q1)期刊作为《WJCI报告》统计源期刊的总量规模目标。根据文献集中和离散定律,选出这个数量级的期刊完全可以代表全球优秀的科技期刊。
3.1.2 统计源期刊遴选方法及结果
《WJCI报告》得到国际上Crossref、Digital Science,国内CNKI、万方数据等单位的支持,自建了包含约3万种期刊的《世界期刊题录库》和2020—2022年期刊论文引证数据的《世界引文库》。在此基础上,计算了各期刊的“世界学术影响力指数WAJCI”(World Academic Journal Clout Index,以下简称WAJCI指数)[12],项目组根据WAJCI指数、期刊的高被引论文数、高被引机构参与度等客观数据,并参考其他数据库收录、评价机构的优秀或核心期刊名单,按计划期刊数量遴选各国家和地区的来源期刊。
我们发现,英国、荷兰等出版发达国家由于被各数据库收录的优秀科技期刊数量众多,远远超出按该国4个维度给出的计划期刊数量,表明他们在“为全球办刊”,对于这种情况,我们增加期刊名额,以尽量全面收录这些优秀科技期刊。同时,我们也发现,德国、意大利、日本、法国、俄罗斯、韩国、中国等非英语母语国家,仅通过大样本《世界引文库》的方法依然不能把本国优秀科技期刊全部选进来,必须充分借鉴本国评价机构的研究成果。例如,中国有多家期刊评价机构遴选的优秀期刊广泛得到高校、科研工作者的认可,如:中国科学引文数据库(CSCD)、中国科技核心期刊以及《中文核心期刊要目总览》,本研究充分借鉴他们的评价结果。
在初步确定统计源期刊名单之后,项目组广泛征求了中国各学科专家的意见,根据专家建议,结合JMI指数[13]又剔除一些发文量大而质量低劣的“臃肿期刊”或发文不稳定的期刊,最终《WJCI报告》2022版来源期刊收录全球科技期刊15 022种。
3.1.3 《WJCI报告》来源期刊分析
(1)国家和地区分布
《WJCI报告》2022版各国家和地区入选期刊数如表1所示。可以看出,最终遴选的统计源期刊对SCIE的覆盖率很高,说明《WJCI报告》期刊遴选基本符合当前学术界和期刊界的普遍认知。
表1 《WJCI报告》统计源国家和地区科技期刊
| 国别/地区 | 遴选科技期刊全球占比/% | 拟入选科技期刊数量范围/种 | 实际遴选刊数/种 | 对SCIE覆盖率/% |
| 美国 | 20~28 | 3 000~4 100 | 3 897 | 92 |
| 英国 | 3~10 | 450~1 500 | 2 958 | 93 |
| 中国 | 9~11 | 1 400~1 700 | 1 634 | 100 |
| 荷兰 | 4~8 | 800~1 300 | 1 114 | 94 |
| 德国 | 5~9 | 630~1 200 | 811 | 85 |
| 瑞士 | 1~3 | 280~700 | 489 | 91 |
| 俄罗斯 | 3~5 | 380~730 | 431 | 49 |
| 日本 | 4~8 | 550~1 200 | 323 | 92 |
| 印度 | 2~5 | 330~530 | 281 | 71 |
| 韩国 | 2~3 | 220~500 | 259 | 92 |
| 巴西 | 1~2 | 230~500 | 215 | 92 |
| 意大利 | 2~3 | 250~400 | 206 | 87 |
| 波兰 | 1~2 | 110~360 | 202 | 74 |
| 法国 | 2-4 | 210~440 | 186 | 76 |
| 加拿大 | 1~2 | 100~240 | 159 | 89 |
| 其他 | 11~14 | 1 600-2 100 | 1 857 | 75 |
| 合计 | — | 15 000~16 500 | 15 022 | 89 |
注:中国期刊统计范围为有CN或在ISSN中心出版国家为中国的期刊。以下各表均采用同一标准。
目前的来源期刊中,日本、印度、巴西、意大利、法国等非英语母语国家期刊虽然较SCIE收录数量有一定改善,但仍未用足名额,我们将在今后与他们本国出版机构或学术团体的合作中进一步补充完善。
(2)语种分析
《WJCI报告》统计源期刊主要是以英文为主,共有11 943种英文科技期刊。另有多语种及非英文科技期刊3 079种,占统计源期刊总数的20.50%。非英文科技期刊主要来自中国、俄罗斯、巴西、德国、法国、西班牙、意大利、日本等国家。非英文科技期刊的语种,主要以中文、法语、俄语为主,见表2。
表2 《WJCI报告》非英文科技期刊语种统计
| 序号 | 语种 | 刊数/种 | 占统计源比例/% |
| 1 | 中文 | 1 271 | 8.46 |
| 2 | 法语 | 375 | 2.50 |
| 3 | 俄语 | 299 | 1.99 |
| 4 | 西班牙语 | 265 | 1.76 |
| 5 | 德语 | 156 | 1.04 |
| 6 | 葡萄牙语 | 133 | 0.89 |
| 7 | 意大利语 | 95 | 0.63 |
| 8 | 日语 | 82 | 0.55 |
| 9 | 韩语 | 70 | 0.47 |
| 10 | 波兰语 | 49 | 0.33 |
3.2 新的学科分类体系及时增加新兴交叉学科类目
《WJCI报告》学科分类体系融合了国际各数据库系统学科分类的成果,凸显期刊在新兴和交叉领域的发文表现,体现出了期刊对学科发展的作用和贡献,细化了分学科的影响力评价。
“同类可比”是准确评价期刊的前提。《WJCI报告》遵循实用性、前瞻性、国际化、规模合理性原则设计分类体系。基于对8个国际索引数据库(WOS、Scopus、MEDLINE、EI、JST、KCI、CABA、RSCI)的分类体系、期刊名录的搜集整理、对比分析,以《中华人民共和国学科分类及代码》为总纲,参考中国普遍采用的《中图图书馆分类法》《学位授予和人才培养学科目录》,创新性编制了覆盖科学技术各级别学科领域的291个学科分类,共包含5个一级类、46个二级类。
我们完成了全球6.6万种科技学术期刊的学科划分,提请清华大学、北京大学、首都医科大学、中国农业大学4所高校图书馆的分类专家对学科分类体系和期刊分类名单进行审核。经审核之后的期刊分类名单是期刊遴选及《WJCI报告》指标计算的基础。
3.3 WJCI指数综合多个维度,更全面反映科技期刊影响力
《WJCI报告》从3个维度构建了综合评价体系:①引入有机集成总被引频次与影响因子双指标的“WAJCI”,实践“期刊既要办好,又要办大”的理念。②引入量效指数“JMI”[13]为警戒指标,剔除量大质低的“臃肿期刊”。③创新提出网络影响力指标“WI”,充分体现期刊在数字出版、网络传播等出版转型发展中的成绩。这一套综合评价体系,避免了使用“影响因子”单一指标评价的局限性,使评价结果更全面、客观。
3.3.1 基于文献引证数据的学术影响力指数(CI、WAJCI)
统计表明,在一个领域最具影响力的期刊,应是总被引频次和影响因子都是该学科最高值的期刊,例如NEW ENGLAND JOURNAL OF MEDICINE。CI是对统计年的期刊影响因子和总被引频次双指标进行组内线性归一后向量平权计算所得的数值。CI充分考虑了期刊载文量和办刊历史带来的有效影响力——总被引频次,以及代表篇均论文质量的代表性指标——影响因子,在一定程度上可改善使用影响因子或总被引频次单指标带来的期刊评价片面化问题。
3.3.2 基于网络使用的计量学指标:网络影响力指数
“网络影响力指数WI”(Web Impact,以下简称WI)由《WJCI报告》课题组首次提出,是基于国内外用户网络使用频次的新的评价指标。WI是全球首个在期刊评价中引入的反映期刊网络使用量的评价指标,通过专家调查法,广泛征求学科专家意见后确定其在不同学科的权重分别为:在基础、医药和综合类期刊中WI所占权重为20%,在工程技术、农业类期刊中WI所占权重为30%,以凸显应用性科技期刊在实践工作中所发挥的作用。课题组将WI引入期刊评价指标体系,用于弥补引用数据的滞后性和局限性,以体现科技期刊最新学术成果在学术界和社会上产生的综合影响力。同时引入用户使用指标,也能改善技术应用类期刊的评价表现,因为这类期刊有很多成果应用于实践而不一定以包括“论文”在内的文章形式“发表”。
国际网络用户的使用数据,通过国际合作,课题组引入Digital Science公司研发的Altmetric.com中统计的2021年期刊论文在2021年的“total mentions”指标。
中国科技期刊的使用情况几乎不能在Altmetric数据库中体现,因此课题组引入CNKI、万方和中华医学期刊全文数据库等平台的浏览、下载量为替代措施,反映中国科技期刊服务中国学者的情况。项目组增加了CNKI数据库国内外科技期刊的浏览量这一指标,以反映国际科技期刊在中国的使用传播情况。
统计表明,网络使用数据在期刊中差异很大,少数头部期刊集中了大量的关注量和下载量,而大多数期刊的关注量和下载量都非常低,以total mentions指标为例,最大值是中位数的9 448倍,是平均值的750倍。如果使用常规的最大值归一法,对大多数期刊来说,此项指标都近似等于0。为此,项目组研究后决定对国际与国内网络使用量分开计算,两项数据均采用分段赋分法,并设定在WI中权重分别为70%和30%。
3.3.3 各国家和地区WJCI指数分析
按国家统计WJCI指数均值,可揭示该国科技期刊总体水平。2021统计年WJCI指数均值最高的是荷兰,1 114种期刊平均WJCI指数是3.093,其次是英国、美国和瑞士。中国的1 634种科技期刊,平均WJCI指数是1.378,低于荷兰、英国、美国、瑞士、德国、澳大利亚、加拿大、法国,但高于日、韩及其他金砖国家——俄罗斯、印度、巴西,详情见表3。
表3 WJCI指数均值国家和地区统计表(期刊数大于50种)
| 序号 | 国别 | 刊数/种 | WJCI均值 | WAJCI均值 | WI均值 |
| 1 | 荷兰 | 1 114 | 3.093 | 2.626 | 0.467 |
| 2 | 英国 | 2 958 | 2.957 | 2.444 | 0.512 |
| 3 | 美国 | 3 897 | 2.891 | 2.479 | 0.412 |
| 4 | 瑞士 | 489 | 2.428 | 1.879 | 0.549 |
| 5 | 德国 | 811 | 2.088 | 1.735 | 0.353 |
| 6 | 澳大利亚 | 147 | 1.517 | 1.236 | 0.281 |
| 7 | 加拿大 | 159 | 1.513 | 1.250 | 0.263 |
| 8 | 法国 | 186 | 1.419 | 1.221 | 0.199 |
| 9 | 中国 | 1 634 | 1.378 | 1.200 | 0.178 |
| 10 | 新西兰 | 96 | 1.318 | 1.084 | 0.235 |
| 11 | 意大利 | 206 | 1.131 | 0.957 | 0.174 |
| 12 | 韩国 | 259 | 1.130 | 1.036 | 0.094 |
| 13 | 新加坡 | 106 | 1.120 | 1.023 | 0.097 |
| 14 | 日本 | 323 | 1.008 | 0.843 | 0.165 |
| 15 | 西班牙 | 141 | 0.940 | 0.767 | 0.173 |
| 16 | 南非 | 52 | 0.870 | 0.732 | 0.137 |
| 17 | 伊朗 | 108 | 0.864 | 0.808 | 0.055 |
| 18 | 印度 | 281 | 0.824 | 0.715 | 0.109 |
| 19 | 巴西 | 215 | 0.813 | 0.749 | 0.064 |
| 20 | 波兰 | 202 | 0.807 | 0.727 | 0.080 |
| 21 | 捷克 | 60 | 0.680 | 0.617 | 0.063 |
| 22 | 土耳其 | 90 | 0.635 | 0.586 | 0.049 |
| 23 | 印度尼西亚 | 59 | 0.410 | 0.399 | 0.011 |
| 24 | 俄罗斯 | 431 | 0.285 | 0.263 | 0.022 |
注:跨学科的科技期刊,其WJCI指数取最大值。
4 结语
科学合理的评价应该具有正确的导向作用,有助于科技期刊坚持为科学家服务的初衷,有助于科技期刊制定科学合理的战略定位、办刊规划、品牌建设和市场发展策略。《WJCI报告》提出的基于文献引证数据和网络使用数据的综合评价方法,兼顾了科技期刊近期发展和长期目标,也兼顾了科技期刊对学术研究、知识普及和技术应用的作用,因而其导向更贴近科技期刊发展的根本目标,是更加科学合理的期刊影响力评价方法。
当然,《WJCI报告》尚有一些不完善之处,比如:在非英语科技期刊遴选上应吸纳更多相同语种国家学术团体的参与,让充分了解本土期刊质量水平的专家参与,不断调整和完善统计源;对评价指标的方法和数据改进也需要不断努力,特别是期刊传播数据研究是一个新兴领域,还有可探索空间。另外,《WJCI报告》的推广应用也需要科学家和科研管理部门的认可和实践。欢迎更多学者提出宝贵意见,共同打造一个权威的科技期刊世界影响力指数。
参考文献
A critical evaluation of expert survey-based journal rankings:the role of personal research interests
[J].
A multi-method evaluation of journals in the decision and management sciences by US academics
[J].
The perceived quality of real estate journals:does your affiliation matter?
[J].
Key questions in the development and use of survey-based journal rankings
[J].
The history and meaning of the journal impact factor
[J].
A correlation comparison between Altmetric Attention Scores and citations for six PLOS journals
[J].
An altmetric investigation of the online visibility of South Korea-based scientific journals
[J].
Research on impact evaluation of academic journals from multidimensional perspective:taking international multi-disciplinary journals as an example
[J].
/
| 〈 |
|
〉 |
