新冠肺炎疫情对传染病学期刊引文指标和载文量的影响及启示*
关键词:
本文引用格式
李楚威, 丁佐奇.
在国际形势深刻变化、新冠肺炎疫情延宕反复的背景下,科学研究和科技期刊的作用进一步凸显。在世卫组织宣布疫情大流行后,学术界迅速作出反应,短时间内期刊研究成果数量迅速上涨,高被引文献激增[1,2],这也对引文指标体系和科学评价产生巨大冲击。对于单篇文献来说,除了被引频次大幅上涨外,Covid-19论文的引用率明显高于同一期刊中的非Covid-19文章[3],不仅在学术界、短时间内在社交媒体上同样被分享,虽然被引频次和Altmetric评分从两个维度对文献进行评价,但是Covid-19相关文章的被引频次和Altmetric评分的增加均超过了预期[4]。对于研究者来说,多个领域中超过一半的活跃、有影响力的科学家紧急参与了Covid-19工作,每个领域都有Covid-19相关文章。[5]一些学者借助发表Covid-19文章,个人影响力排名激增,但这并不意味着其研究质量同步上涨,而且这些学者也不一定会持续地进行新冠病毒方面的研究。[6]对于科技期刊来说,有研究发现信息科学与图书馆学领域Covid-19相关论文的接收时间明显缩短,开放获取比例较高。[7]有研究也为新冠相关文献比例上升会延缓其他研究方向的发展而担忧[8],此外还有文献指出,新冠肺炎疫情背景下有关于期刊的影响因子、H指数、即年指标等经典引文指标都将受到严重影响[3,9]。
JCR(Journal Citation Reports)分类中传染病学领域期刊(Infectious Diseases,SCIE)致力于有关传染病方面的研究,在病种方面涉及胃肠传染病、性传染病等不同类型,在方向上涉及临床诊疗、抗感染药物开发、疾病防控等多个方向,是Covid-19相关文献主要涉及的领域之一。该领域发表的Antibody Responses to SARS-CoV-2 in Patients With Novel Coronavirus Disease 2019[10]阐述了感染患者抗体检测的临床价值,被引频次已经超过了10 000次,此外还有600余篇Covid-19相关文献被引频次超过100次。目前,JCR中收录了流行病学期刊共95种,2021JCR已于2022年6月公布,新冠肺炎疫情给期刊引文指标带来的影响已初步凸显,大多引文指标异于往年。本研究拟使用JCR流行病学期刊数据,分析Covid-19文献对期刊指标产生的影响,以期为疫情背景下期刊的合理评价提供参考。
1 研究方法
以JCR中传染病学领域期刊作为研究对象,2021年JCR收录传染病学领域期刊95种,其中Medecine ET Maladies Infectieuses在2021年更名为Infectious Diseases Now,因此合并两个刊数据,最终研究94种期刊。从JCR中获取94种期刊2012—2021年间的影响因子(JIF)、载文量(Citable Items)及期刊引文指标(JCI),如果当年指标为空,则记为缺省值,其中JCI只有2017—2021年5年数据。通过Web of Science收集2019年和2020年各期刊每年发表的论文和综述数量及其他类型的文献数量;并通过引文报告,获得两种类型文献在发表后每年分别获得的被引频次。研究还通过限定Publication/Source Titles,使用检索词(Topic = covid-19 or sars-cov-2 or novel coronavirus)来筛选其中与新冠肺炎疫情相关的文献,收集2020年和2021年各刊发表的相关文献数量,以及在发表后每年获得的被引频次,以上数据于2022年7月31日收集。期刊文献学科排名百分位数于2023年3月2日使用InCites数据库收集。研究中使用的差异性检验均为非参数检验方法,因为引文指标普遍不符合正态分布,对不同年份间的指标差异使用Wilcoxon符号秩检验,而相关性检验则使用Spearman相关性分析,以上均使用IBM SPSS Statistics 22完成,绘图使用Excel和GraphPad Prism 8完成。
2 研究结果
2.1 传染病学期刊发表Covid-19文献情况
研究首先分析期刊在2020年与2021年发表的Covid-19相关文献情况,结果显示在2020年仅9本期刊没有发表过Covid-19相关论文和综述,24%的期刊Covid-19相关文献占比在20%以上,51%的期刊占比在10%以上;而在2021年各期刊发表的Covid-19相关论文和综述在数量和占比上均显著提升,仅4本期刊没有发表过Covid-19相关文献。虽然大多数期刊Covid-19相关论文和综述占比在20%以下,但是这一小部分文章为期刊贡献了绝大多数的被引频次。图1显示了发表过Covid-19相关文献的期刊在2020年和2021年Covid-19相关论文和综述与非Covid-19相关论文和综述即年篇均被引的比值,在2020年这一比值普遍达到了2以上,最高甚至达到了55;在2021年这一值显著低于2020年,不过93%期刊这一比值仍然高于1,82%期刊这一比值高于2,可以看出Covid-19相关文献的引用水平远超其他文献。Covid-19非论文和综述类型的文献也是类似,对53本两年均发表过10篇以上Covid-19非论文和综述的期刊进行分析,2020年Covid-19非论文和综述文献平均占比为28%(占所有非论文和综述类型文献的比例,下同),2021年这一比例达到35%,其Covid-19相关文献与非Covid-19相关文献被引频次比值最高达到85。
图1
2.2 新冠肺炎疫情对载文量的影响
图2显示了2012—2021年传染病学领域期刊每年发表的论文和综述数量,对相邻年份期刊论文和综述数量使用Wilcoxon符号秩检验,结果显示仅2020年期刊载文量显著高于2019年,其他年份间均无显著差异,疫情一定程度上影响了期刊出版工作,2012年到2019年间平均发文量一直维持在166篇左右,而在2020年均值达到了204篇,2021年达到了219篇。
图2
对2019—2021年间发表的论文和综述以外类型的文献进行分析,发现2020年明显高于2019年,而2021年与2020年之间没有显著性差异。进一步对2019—2021年间论文和综述文献占比进行分析,结果显示2020年论文和综述文献占比显著低于2019年,而在2021年这一比例有所回升,但是该结果只在P=0.1水平显著高于2020年。以上数据说明,在疫情初期(2020年)所有类型文献数量均有上涨,不过非论文和综述的文献涨幅更大,信函、评论等类型文献具有快速发表、篇幅短、内容针对性强等特点,在早期信息交流和科学传播中发挥了重要作用。非论文和综述的文献对影响因子提升发挥了关键作用,JIF前4名期刊不同类型的文献被引频次累计占比基本持平。影响因子的计算方法是以被引频次除以出版物数量,需要注意的是所有类型文献的被引频次都会被记入分子,而只有论文和综述会被计入分母,这导致非论文和综述的引用极大拉高了部分期刊的影响因子。当然大多数期刊以发表论文和综述为主,2019—2021年间每年论文和综述占比平均在80%左右。
2.3 新冠肺炎疫情对引文指标的影响
2.3.1 影响因子(IF)
图3显示了传染病学期刊近10年来的影响因子变化(Y轴经过对数处理)。传染病学期刊IF一直较为稳定,每年平均增长量维持在0.1左右,然而2020年平均IF上升了0.5,2021年则上升了3.0。
图3
研究中还使用Wilcoxon符号秩检验对相邻年份的IF差异性进行验证,结果显示,2021年、2020年、2016年、2015年期刊相较上一年整体IF有显著性差异,2014—2015年曾发生过3起国际公共卫生突发事件,包括2014年的脊髓灰质炎疫情和西非埃博拉疫情以及2015年的“寨卡”疫情,其他相邻年份虽然没有显著性差异,但是如果相隔多个年份仍然可得到显著性差异,总体上流行病学领域期刊IF呈现缓慢的上涨趋势。不过2021年受Covid-19文献的影响,IF上升幅度远超往年,且IF与科技期刊排名百分位数有显著的正相关关系,Lancet Infectious Diseases的IF上升幅度最大,达到了46.35(从25.071到71.421),而IF最高的是Lancet Microbe,该刊在2021年才获得了第一个IF(86.21)。
2.3.2 期刊引文指标(JCI)
JCI从研究主题、出版类型、出版年份3个方面对文章的影响力进行统一计算。图4为近5年期刊的JCI,2021年IF变异系数达到了1.60,而同年JCI变异系数仅0.97,不过相较往年JCI的变异系数(在0.74到0.81之间)仍有提升。对相邻年份的JCI进行差异性分析,结果显示仅2021年和2020年间有显著性差异,而与IF不同的是,2021年JCI显著低于2020年。这是因为JCI是期刊发表文献的平均CNCI,其使用同年同领域文献被引频次均值对单篇文献被引频次进行标准化,同年同领域内所有期刊的平均JCI应该接近于1,这意味着,当有期刊JCI上升时,相应也会有同领域期刊JCI下降。前文提到传染病学领域论文在2020年的被引频次大幅提升,不过引文指标多呈现偏态分布,一方面少量文献获得较高被引拉高了平均被引水平,另一方面,少数主体(如学者、机构、期刊等)获得的引用占同领域内所有引用的绝大多数。图5显示了按照2021年IF排名下的期刊2020年累积被引频次占比和载文量占比,可以看出载文量分布较为均匀,而被引频次分布极不均匀。前10名的期刊获得了总被引的49%,前20名期刊获得了总被引的72%,少数文章获得了绝大多数被引,而这些文章集中在排名靠前的期刊上。这也造成了少数期刊JCI上升,大部分期刊JCI下降。结合2021年JCI变异系数相对以前有所提升来看,说明文献引用集中度有所提升,不过总体而言,JCI受到的影响较IF而言更小。
图4
图5
2.3.3 学科排名百分位数(MRP)
InCites数据库提供单篇文献学科排名百分数,该指标代表单篇文献在所有同年同领域同类型文献中被引频次排名百分位数,是对引文指标的非参数转换。在本研究中收集了94种传染病学期刊2019—2020年所有发表的论文和综述学科排名百分位数数据(Lancet Microbe无2019年数据)。首先,对同一种期刊相邻年份间学科排名百分位数进行差异性检验,结果显示2020年相对2019年,32种期刊发表文献的学科排名百分位数发生显著变化,9种上升,23种下降。从整体来看,这种变化与期刊中位学科排名百分位数和Covid-19文献占比关联性不显著。但是对于32种发生显著变化的期刊来说,在2020年学科排名百分位数显著上升的期刊相对显著下降的期刊Covid-19文献占比显著更高。该结果表明Covid-19文献对学科排名百分位数的整体影响较小,仅小部分发表Covid-19文献占比较高的期刊学科排名百分位数显著提高。有期刊排名升高就意味着同时有期刊排名降低,学科百分位数显著降低的期刊数量几乎是百分位数显著提高期刊的两倍,这与JCI类似。进一步对2019年和2020年百分位数中值进行差异性分析,结果同样显示无显著性差异,这验证了期刊学科排名百分位数受Covid-19影响较小。
2.3.4 整合影响指标(I3)
I3用来度量文献计量实体(如出版物、期刊、会议论文集、作者等)的影响力,其使用百分位数,可以综合考量期刊的质与量。其计算公式为
在此公式中,i表示论文的排名百分位数,xi表示排名百分位数i的论文赋予的权重,n(xi)代表此排名百分位下的论文数。在使用中,可以根据实际情况对文章采取不同的划分方式,并赋予权重。
从结果来看2020年相对2019年I3指标显著上升,结合学科排名百分位数变化来看,I3指标上升的原因可能主要源于2020年期刊载文量上升。后续对I3上涨率与载文量变化率和Covid-19文献占比的相关性分析结果也表明,前者相关性(r1=0.90,r2=0.74)远高于后者(r1’=0.52,r2’=0.46)。对比I31和I32的上涨率可以发现,I32上涨率显著高于I31,从I32和I31比值来看,2020年显著高于2019年,在2020年有35种期刊这一比值高于1.667,在2019年只有26个。以上结果说明疫情发生后发表过高被引文献的期刊比以往更多,大部分期刊在发表更高被引水平文献方面有所突破。Covid-19文献远超同领域其他文献,因此很多发表过Covid-19文献的期刊都有一定数量文献的学科排名百分位数超过以往,而研究中使用I3指标时是将排名百分位数划分为6个等级,且等级呈“金字塔”结构,Covid-19文献排名上升幅度超过非Covid-19文献排名下降幅度,而“金字塔”结构使得该指标对上升幅度大的Covid-19文献敏感,而对下降幅度小的其他文献不敏感,最终显示出传染病学期刊高影响力文献占比上升。整体来看,I3上升由期刊载文量主导,Covid-19文献也起一定作用。
2.3.5 指标变化情况
对期刊影响因子(IF2020,IF2021)、期刊引文指标(JCI2020,JIF2021)、学科排名百分位数中值(MRP2019,MRP2020)、整合影响指标(I32019,I32020)疫情前后排名差异进行研究。JIF2021和JCI2021是计算期刊2021前n年数据,MRP2020和I32020计入2020年数据,因此四个指标表征疫情后指标特征。而JIF2020、JCI2020、MRP2019、I32019表征疫情前指标特征。
表2显示了使用各指标对期刊进行排名时,2020年相对2019年的名次变化情况,∑|ΔRank|代表每种期刊相邻年间排名变化绝对值加和,Number(|ΔRank|>n)代表名次变化超过n的期刊数量。从数据来看,JCI、MRP、I31在疫情前后期刊排名的变化更小。
表2 相邻年间各指标排名变化情况
| ∑|ΔRank| | Number(|ΔRank|>5) | Number(|ΔRank|>10) | |
| JIF | 1 017 | 59 | 41 |
| JCI | 718 | 46 | 25 |
| MRP | 763 | 48 | 29 |
| I31 | 745 | 58 | 21 |
| I32 | 1 066 | 60 | 38 |
进一步对疫情下的代表性引文指标特征进行了总结,并对不同指标间的排名相似性进行了验证。如表3所示上半部分(蓝色)为包含2020年数据的引文指标排名相似度,下半部分(绿色)为不包含2020年数据的引文指标相似度,同样使用∑|ΔRank|衡量,可以看出I3与其他引文指标间排名差异较大,因为其计算过程中计入期刊载文量。在疫情发生后,各指标间整体排名差异度显著减小。
表3 不同指标期刊排名差异
| JIF | JCI | MRP | I31 | I31 | |
| JIF | 726 | 1 007 | 1 936 | 1 591 | |
| JCI | 813 | 587 | 1 582 | 1 243 | |
| MRP | 969 | 630 | 1 493 | 1 270 | |
| I31 | 2 032 | 1 705 | 1 667 | 531 | |
| I32 | 1 764 | 1 425 | 1 433 | 512 |
3 讨论
3.1 疫情相关文献使得传染病学领域引用水平整体大幅上升
多篇研究指出疫情背景下,Covid-19文献引文数量快速上涨,给引文指标带来了巨大影响。Brandt等研究了分布在8个领域的24种高影响力期刊Covid-19文献的引用情况,认为Covid-19文献在顶级期刊中的引用程度较高,而分析Covid-19论文对IF的影响是一种可行的方法。[14]Gregorio-Chaviano[15]等分析了25种拉丁美洲SCI医学期刊中Covid-19文献对IF的贡献,结果显示在去除Covid-19文献后IF均下降。Maillard等[16]同样分析了传染病学期刊2019—2021年间的IF,结果显示,IF的大幅增加是由COVID-19引起的,并由“规模效应”驱动。新冠肺炎疫情使得对Covid-19的研究热度短时间内膨胀,主要表现在两点,一是相关文献数量迅速上升,二是被引频次大幅上涨。一篇文献往往会引用数十篇相关文献,因此被引频次上涨速度远超文献上涨速度,这就导致相关领域期刊的IF大幅上涨,当前IF越高,新冠相关文献发表越多的期刊,次年IF的提升也就越大,高影响力期刊具有出版优势。[17,18]研究中还发现增加载文量对IF具有正向影响,载文量与影响因子的关系是复杂的,两者之间的正向机制和逆向机制共存。[19]不过疫情背景下,凸显了载文量对IF的正向机制,一方面这符合疫情背景下科研成果的供需关系;另一方面,也表明每篇文献产生的影响力会辐射到期刊发表的所有文献上,从而提升期刊被引用的可能性。
3.2 非论文和综述类型的文献在疫情早期发挥了重要作用
从数据来看,论文和综述在2020—2021年间呈持续上涨趋势,而其他类型的文献在2020年数量上涨后保持平稳。相对来说,在疫情初期(2020年)其他类型的文献上涨势头更猛,导致论文和综述占比相对上一年显著降低。不过随着时间推移,论文和综述的出版延迟较长带来的影响减弱,表现为2020年到2021年持续发文量增长,且在2021年论文和综述占比回归到2019年水平。论文和综述评审过程更为严格,研究过程详细,相对更易被引用。大多数期刊以发表论文和综述为主,只有少数高影响因子期刊发表了其他类型的文献并获得了较高的被引,这也是疫情初期成果传播交流的主阵地。
3.3 不同指标受疫情影响不同,标准化指标受影响较小
研究中发现不同指标受Covid-19文献影响不同,Covid-19文献对期刊MRP影响较小,而I3、JIF、JCI受到不同程度影响。I3受疫情背景下期刊载文量上升和高引用水平文献占比上升的影响,整体水平有所提升。IF表征了传染病学期刊的研究热度和引文规模,而JCI则表征了传染病学领域在被引频次扩充后引用行为的重新分配。首先,新冠相关论文占比与JCI变化具有正相关关系,即传染病学领域大部分引用都集中在发表过新冠论文的期刊上。以Lancet HIV为代表的一系列与HIV和AIDS相关的期刊,受主题限制新冠相关论文数量相对较少,大多期刊JCI有所下降。其次,2021JCI变异系数相对往年有所提升,不过统计学检验显示其显著低于2020JCI,说明传染病学领域论文整体被引水平提升后,少数期刊分配到了绝大多数被引频次,引用分配不均匀造成传染病学期刊IF整体上升的背景下,大部分期刊JCI反而下降,而少数期刊JCI进一步提升,从而增加了数据离散性,即文献引用集中度进一步提升,“高影响力”期刊与“低影响力”期刊间差距再次拉大。
3.4 疫情相关研究成果使得期刊指标评价存在偏倚
虽然诸多研究指出,引文指标给科学评价带来了不良导向[20,21],但是很多情况下,科学家对期刊质量的认知与引文指标高度相关[22],由此可见引文指标对科技期刊仍具有重要评价作用。在这里不讨论指标评价时的优劣,只讨论新冠肺炎疫情背景下引文指标评价可能带来的误导。主要体现为以下几个问题:①首先是学科领域划分问题。传染病学领域下包含以Lancet HIV为代表的一系列与HIV和AIDS相关的期刊,也包括胃肠道传染病相关期刊,受期刊主题影响这类期刊发表的新冠相关文献较少,因此虽然IF上升,但是JCI和排名有所下降。在其他领域,同样会涉及此问题,凡是与健康科学领域产生学科交叉的期刊引文指标提升可能会超过同领域其他期刊。②引用分布不均导致JCI离散程度增大。这在跨学科指标对比时,会造成少量排名靠前的期刊影响力被高估,大量排名靠后的期刊影响力被低估。③IF计算中,论文和综述以外类型的文献只将被引频次计入分子,而数量不计入分母。JCI则不计算论文和综述以外类型的文献,两者均未完全体现出论文和综述以外类型的文献发挥的作用。在使用指标辅助期刊评价时,以上问题需要规避。对于问题①,目前JCR采取二级分类,一级分类包含22大类,二级分类包含252个领域,归一化指标计算时依据二级分类字段进行归一化,可以尝试在二级分类下依据不同期刊刊名、目标进行语义相似度进行聚类,从而形成三级分类,进一步对期刊影响力进行对比。对于问题②,在与MRP结合时可以消除一定影响,此外由于引文指标的偏态分布,可以尝试增加期刊内中间2个四分位数文献(被引次数在25%~75%之间的论文)的篇均被引,以辅助期刊影响力评价。最后对于问题③,可以按照文献类型分开计算引文指标。
参考文献
Massive covidization of research citations and the citation elite
[J].
Exploring covid-19 research papers published on journals in the field of lis
[J].
The impact of covid-19 pandemic on scientific research:An upcoming new wave?
[J].
Research on covid-19:A disruptive phenomenon for bibliometrics
[J].
Antibody responses to sars-cov-2 in patients with novel coronavirus disease 2019
[J].
Further steps towards an ideal method of measuring citation performance:The avoidance of citation(ratio)averages in field-normalization
[J].
The integrated impact indicator revisited(i3*):A non-parametric alternative to the journal impact factor
[J].
Comparison of citation rates between covid-19 and non-covid-19 articles across 24 major scientific journals
[J].
Research on covid-19 and its influence on latin american medical journals impact factor
[J].
Blockbuster effect of covid-19 on the impact factor of infectious disease journals
[J].
Coronavirus research performance across journal quartiles. Advantages of q1 publications
[J].
On covid-19,cognitive bias,and open access
[J].
How scientific research reacts to international public health emergencies:A global analysis of response patterns
[J].
Publication patterns' changes due to the covid-19 pandemic:A longitudinal and short-term scientometric analysis
[J].
Misuse of journal impact factors in scientific assessment
[J].
Comments on a critique of the thomson reuters journal impact factor
[J].
Impact factor:A valid measure of journal quality?
[J].
Comparison of citation rates between covid-19 and non-covid-19 articles across 24 major scientific journals
[J].
Most notable 100 articles of covid-19:An altmetric study based on bibliometric analysis
[J].
The rapid,massive growth of covid-19 authors in the scientific literature
[J].
/
| 〈 |
|
〉 |
