*" /> *" /> 人工智能生成学术期刊文本的检测研究<sup><xref ref-type="fn" rid="note1">*</xref></sup>
Please wait a minute...
科技与出版  2023, Vol. 42 Issue (8): 56-62    DOI: 10.16510/j.cnki.kjycb.2023.08.002
融媒之光
人工智能生成学术期刊文本的检测研究*
沈锡宾,王立磊
中华医学会杂志社新媒体部,100052,北京;国家新闻出版署医学期刊知识挖掘与服务重点实验室,100052,北京
全文: HTML    PDF(1561 KB)  
输出: BibTeX | EndNote (RIS)      
摘要: 

人工智能生成内容(AIGC)已经开始应用于学术论文的写作,如何判别此类文本成为学界的重大挑战。文章选取了2022年发表的100篇医学综述的文摘,随机选择50篇利用ChatGPT4.0进行重写(AI写作组),余50篇不做处理(原文对照组)。在整合处理后将两组文本进行万方文献相似性检测系统检测,同时将两组数据随机打乱后交给AI检测工具和评审者以评定是否为AI写作,并比较他们在判别能力上的差异。结果发现上述两组数据基于文字的相似性检测结果显示,AI写作组相似性比例仅为6.19%,远低于原文对照组的55.91%(P<0.01)。在识别是否由AI写作方面,ChatGPT无法执行此类任务。AI检测工具和评审者均能较好地完成检测任务,其准确率分别为81.0%和77.9%(P>0.05),两组间差异未见有显著的统计学意义。然而,在考察假阳性两组间表现出显著差异(4.0%比14.7%,P<0.01),在假阴性方面组间没有差异(34.0%比29.6%,P>0.05),说明评审者更容易误将人类撰写的文本判定为AI写作,识别AI写作文本稍胜一筹,但差异不大。上述研究指出学术编辑可以发现一定的AI写作文本,但存在因人而异、因学科而异的情况,借助AI工具可以更好地发现类似的学术不端行为,尤其在期刊的初审阶段。文章呼吁学术期刊编辑在提升AI意识的同时,也需要提高AI防范意识,强化对AIGC工具滥用的监控和防范。

关键词 人工智能生成内容检测学术期刊学术不端    
出版日期: 2023-10-13
服务
把本文推荐给朋友 *”的文章,特向您推荐。请打开下面的网址:http://kjycb.tsinghuajournals.com/CN/abstract/abstract157555.shtml" name="neirong"> *">
加入引用管理器
E-mail Alert
RSS
作者相关文章
沈锡宾
王立磊

引用本文:

沈锡宾,王立磊. 人工智能生成学术期刊文本的检测研究*[J]. 科技与出版, 2023, 42(8): 56-62.

链接本文:

http://kjycb.tsinghuajournals.com/CN/Y2023/V42/I8/56

图1  AI检测器内测版本检测结果
表1  文献相似性检测平台对两组文本的检测结果
表2  使用AI检测工具对两组文本的AI写作检测结果
表3  入选有效评审者基本情况
表4  评审者对两组文本的AI写作判别结果(n=15)
表5  评审者与AI检测工具判别结果比较
[1] 沈锡宾,王立磊,刘红霞. 人工智能生成内容时代学术期刊出版的机遇与挑战[J]. 数字出版研究,2023,2(2):27-33.
[2] 张重毅,牛欣悦,孙君艳,等. ChatGPT探析:AI大型语言模型下学术出版的机遇与挑战[J]. 中国科技期刊研究,2023,34(4):446-453.
[3] 张萌,朱鸿军. 知识暗流的合规实践:ChatGPT在学术出版中的应用与挑战[J]. 科技与出版,2023(5):33-40.
[4] 史惠斌,郭泽德. 迈向智能:AIGC内容生成模式引发的出版变革[J]. 数字出版研究,2023,2(2):34-42.
[5] 蒋雪颖,刘欣. 生成式人工智能技术下的学术生产与出版:变革、失范与路径[J]. 数字图书馆论坛,2023,19(5):64-71.
[6] GAO C A, HOWARD F M, MARKOV N S, et al. Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers[J]. NPJ Digit Med,2023,6(1):75.
[7] Science Journals:editorial policies[EB/OL]. [2023-03-30]. .
[8] THORP H H. ChatGPT is fun,but not an author[J]. Science,2023,379:313.
[9] 任安麒. 数字出版领域智能语言模型的应用、风险与治理:基于ChatGPT技术特征的分析[J]. 出版科学,2023,31(3):94-102.
[10] ChatGPT:five priorities for research[J]. Nature,2023,614:224-226.
[11] 沈锡宾. 人工智能生成文本的检测结果集[DS/OL]. V1. Science Data Bank,2023[2023-07-18]. .
[1] 姬建敏,王琪. 困境与突围:人工智能赋能学术期刊知识服务的技术架构*[J]. 科技与出版, 2023, 42(8): 49-55.
[2] 李春燕. 科技期刊助力科技创新路径研究*[J]. 科技与出版, 2023, 42(7): 108-113.
[3] 刘有祥. 中国式现代化视域下社科学术期刊的使命担当[J]. 科技与出版, 2023, 42(7): 49-55.
[4] 孙中悦,范志静. 学术期刊私域流量建设和运营策略分析*[J]. 科技与出版, 2023, 42(6): 107-112.
[5] 张筱园. 基于积累阅读任务需求的学术期刊微信平台建设策略研究*[J]. 科技与出版, 2023, 42(6): 59-66.
[6] 陈晨. 论人工智能生成内容的可版权性问题[J]. 科技与出版, 2023, 42(6): 98-106.
[7] 刘普, 孙婉婷. 以党的二十大精神为指引 打造高品质社科学术期刊[J]. 科技与出版, 2023, 42(5): 41-48.
[8] 陆朦朦. 权威与角色:中国人文社科学术期刊编辑职业文化的话语建构*[J]. 科技与出版, 2023, 42(5): 145-152.
[9] 刘仲翔. 走上新征程 迎接新挑战[J]. 科技与出版, 2023, 42(3): 67-76.
[10] 张海燕,张和,戴毅,鲁翠涛. 学术期刊查重工作面临的问题及应对策略分析*[J]. 科技与出版, 2023, 42(1): 90-95.
[11] 初萌. “知网模式”的版权问题及应对之策[J]. 科技与出版, 2023, 42(1): 96-107.
[12] 田莹,王娟,张海玲. “十四五”时期我国体育学术期刊发展路径探析[J]. 科技与出版, 2022, 41(9): 93-99.
[13] 游迎亚,李爱群,宋菲菲. 体育学术期刊在构建中国体育学术话语体系中的价值功能与实践进路*[J]. 科技与出版, 2022, 41(9): 129-136.
[14] 李明德,陈盼盼. 高品质视域下学术期刊发展的问题透视及提升策略*[J]. 科技与出版, 2022, 41(8): 38-46.
[15] 刘普,孙婉婷. 关于“十四五”时期社科学术期刊的展望[J]. 科技与出版, 2022, 41(8): 30-37.