科技与出版, 2024, 43(5): 13-27 doi: 10.16510/j.cnki.kjycb.2024.05.004

特别策划

“可及性”视角下数字农家书屋服务效能评价指标体系研究*

刘念, 宋婧宁

武汉理工大学法学与人文社会学院,430070,武汉

摘要

数字农家书屋作为公共文化服务体系的重要组成部分,可以有效提高乡村公共文化服务的均衡性和可及性。然而,其服务效能尚未达到预期,存在资源利用不足、技术应用不畅等问题。为了提升数字农家书屋服务效能,文章基于“可及性理论”,设计、调查和论证了数字农家书屋服务效能评价三级指标体系及其权重参数,并以武汉市数字农家书屋为对象进行了服务效能分析。针对评价指标体系的推广应用,本研究提出了完善指标体系、优化数据采集方式和强化评价结果运用等策略。

关键词: 数字农家书屋 ; 可及性 ; 服务效能评价 ; 乡村公共文化

PDF (1581KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

刘念, 宋婧宁. “可及性”视角下数字农家书屋服务效能评价指标体系研究*. 科技与出版[J], 2024, 43(5): 13-27 doi:10.16510/j.cnki.kjycb.2024.05.004

农家书屋建设起始于2006年,是党中央、国务院统一部署实施的公共文化惠民工程之一。伴随着互联网技术与数字出版产业的蓬勃发展,数字农家书屋建设迎来快速发展,成为农家书屋提档升级的重要途径。但是,目前数字农家书屋建设还处在探索阶段,面临着资源闲置、使用效能低下、供需失衡等问题,亟待进行提质增效。[1]构建一个科学的数字农家书屋服务可及性效能评价框架,对于分析数字农家书屋的运行情况和提升数字农家书屋服务效能都是十分关键且必要的。因此,本研究基于公共服务可及性理论,综合运用文献研究法、德尔菲法、问卷调查法、AHP层次分析法与秩和比法,综合专家和村民的观点与评价,构建一套科学的数字农家书屋服务效能评价体系。在此基础上,采用模糊综合评价法,评价武汉市数字农家书屋的服务效能。

可及性的概念产生于20世纪60年代末,目前学界对于可及性的概念内涵存在两种主流观点:服务的使用(utilisation)和“适配度”(the degree of“fit”)。[2]“可及性”旨在消除公众在接受和使用公共服务过程中遇到的有形与无形障碍,让服务更加精准地匹配多元群体的特点与需求。[3]“适配度”视角下,较为代表性的可及性评估模型包括经典的Penchansky和Thomas的公共医疗卫生服务可及性“五A测量法”、K.Tomasevski的公民受教育权“4A”模型。本文沿用了公共服务可及性研究中“适配度”的核心概念,并综合考虑影响“服务使用”的多种因素,从服务供给现状和需求评价入手研究数字农家书屋服务效能评价体系及提升策略。

1 数字农家书屋服务效能评价指标体系初拟

本文运用文献分析法,参考公共文化服务可及性和数字农家书屋等相关领域的文献,在可及性理论基础上建立评价要素结构,并从文献中初步抽取数字农家书屋服务效能评价的二级指标和三级指标。

1.1 二级指标选择

在评估服务可及性时,必须全面考虑多个维度。笔者整理汇总了当前具有代表性的可及性评价模型研究,如表1所示,并以此为基础进行评价体系研究。

表1   公共服务可及性评价的观点梳理

作者评价维度释义
刘文艳,完颜邓邓,戴艳清[4]可知晓性是否知道存在、知道如何获取
可接近性公众能否接触并使用
可获得性能否满足公众的需求
可接受性是否便于公众接受
可适应性是否根据公众需求进行服务调整
王前[5]可知晓性农家书屋在农村的存在及免费开放情况是否被村民了解
可获得性数量、设施、书刊和管理人员是否能保障书屋正常运转
可接近性农家书屋是否歧视或排斥农村居民
可接受性书屋是否满足农民需求并得到认可
冯献,李瑾[6]可得性衡量服务供给能力,关注资源类型与数量丰富性、多样性
可达性考虑居民服务获取能力,包括距离与时间可达性
可负担性居民对所需公共文化服务的经济可及性
可接受性居民对服务供给的及时性、全面性、友好性等的主观评价
可适应性乡村居民对服务适应程度的满意度和自我评价

新窗口打开| 下载CSV


学者们虽对可及性要素命名和划分有分歧,但普遍认同服务供给、获取、主观反应和变化调整四个核心方面。针对数字农家书屋服务,本文在综合考虑其实际情况后,初步确立了包括可获得性、可知晓性、可接近性、可接受性、可适应性和可匹配性在内的六个评价指标,以全面评估其服务效能。

(1)可获得性。指数字农家书屋是否具备基本的服务供给条件。如相应的资金保障、管理体制、人员配置要能够保障数字农家书屋的正常运作,保障村民的基本文化权利。

(2)可知晓性。居民应了解数字农家书屋的存在和效用,包括服务内容、使用方法和获取途径,以及服务的价值和好处。可知晓性离不开服务供给侧对数字农家书屋的信息公开和推广力度。

(3)可接近性。指农村居民在获取数字农家书屋服务时所面临的障碍程度。农村居民应能够容易地接触和利用数字农家书屋提供的数字文化资源,避免物理、技术、社会文化和个人层面的障碍影响。

(4)可接受性。是衡量居民是否愿意接受数字农家书屋及其提供的服务的一个标准。这个概念强调的是居民的主观感受与使用体验。

(5)可适应性。指数字农家书屋服务供给因势而动、因需而变的灵活性和更新迭代的能力。数字农家书屋要能紧跟用户的需求偏好的变化,确保服务内容始终贴合用户的实际需要。

(6)可匹配性。指农村居民能否通过一定渠道表达公共文化需求,以及参与数字农家书屋的共创共建。可匹配性强调的是农村居民在公共文化服务体系中的主体地位。

1.2 三级指标选择

三级指标的拟定主要根据数字农家书屋服务的构成要素对二级指标的内容进行扩展。数字农家书屋服务模式的组成要素可分为服务主体、服务客体、服务内容和服务方式四个模块。[7]构建评价框架的过程中,应精准选取那些能够体现数字农家书屋服务核心特征的指标,并对其进行系统性划分与匹配。笔者最终选取得到23个三级指标。对6个二级指标和23个三级指标逐个进行释义和编码处理后,初步拟定数字农家书屋服务效能评价指标体系,如表2所示。

表2   数字农家书屋服务效能评价指标体系(拟)

编号指标名称指标定义
B1可获得性数字农家书屋是否具备基本的服务供给条件
B2可知晓性居民对数字农家书屋的存在及其效用的认知程度
B3可接近性居民获取服务的阻力大小
B4可接受性居民对服务的主观接受度和满意度
B5可适应性服务供给因势而动、因需而变的灵活度
B6可匹配性居民能否通过一定渠道表达需求、进行内容生产和参与数字农家书屋的共创共建
C1数字设施数字化硬件设施的充足性、可用性,软件平台服务的稳定性、安全性和种类多样性等
C2阅读资源数字文化资源的数量充足性、种类多样性和有用性等
C3文化活动数字文化活动的主题多样性、开展频率等
C4人员配置服务人员数量充足、在岗可联系、具备基本的数字素养和服务能力
C5宣传推广宣传方式的多样性、范围、频率
C6信息公开政策动态、活动信息公开的及时性、全面性、可追溯性
C7文化品牌数字农家书屋品牌的知名度和影响力
C8获取便利度获取服务的途径便捷,指引明确;渠道丰富,选择多,能适应不同的使用场景
C9操作难易度服务设施与平台操作的难易度;对媒介素养和文化水平的要求的高低;能否为弱势群体提供使用便利
C10活动开放度活动是否面向所有人开放;对设备、时间、空间等方面的要求
C11成本耗费度居民使用服务所需要的精力与时间成本
C12内容资源形式多样性、内容实用性、资源更新频率、与地方特色的契合度
C13服务人员服务及时到位、态度热情友好,能够解答各种问题
C14服务设施与功能功能是否齐全且完善;界面是否美观简洁,排版合理;是否具备线上线下相结合的服务模式
C15服务的针对性与个性化是否具备智能算法;是否允许用户自由选择与定制服务;是否能够根据用户的年龄、职业、偏好等进行有针对性的设计
C16文化活动能否激发用户的兴趣和参与热情;是否注重互动,允许用户发挥主观能动性
C17宣传形式宣传方式是否贴近大众;宣传媒介是否为全媒体形式
C18供需关系是否主动调查读者需求
C19设施设备设备是否顺应技术变化,及时更新换代
C20内容资源内容和推送更新是否及时;媒介形式迭代是否及时
C21顶层设计数字农家书屋服务的制度、体制和运行机制是否不断完善
C22参与途径有无途径表达文化需求,以及参与数字农家书屋共创共建
C23参与形式是否有多种参与共创共建的方式,如反馈评价、社群互动、自主生产内容等

新窗口打开| 下载CSV


2 数字农家书屋服务效能评价指标体系确立

德尔菲法是一种通过征求专家意见和经验来达成共识和作出决策的方法。在建立数字农家书屋服务效能评价指标体系时,德尔菲法可以用于征求专家对可及性评价指标的意见和建议。本轮问卷包括问卷描述、专家信息收集、评估指标量表、专家熟悉程度与判断依据。

2.1 征询对象选择

笔者邀请了在相关领域有重要学术影响力,且与本研究主题相匹配的22位学者作为征询对象,逐一发送函询邮件,最终收集到18份有效问卷,这18位专家的基本信息如表3所示。

表3   咨询专家基本信息

专家编号职称工作单位工作年限研究方向
专家1教授武汉理工大学32传播学
专家2副教授中国地质大学20农村公共文化服务
专家3讲师昭通学院8公共文化
专家4副教授西北农林科技大学4城乡公共治理
专家5教授武汉大学16公共文化空间
专家6教授河海大学30基层社会治理
专家7副研究馆员安庆师范大学图书馆34人文图书馆学,图书馆改革与实践
专家8馆员厦门大学图书馆2基层图书馆,图书馆数字资源建设,信息素养教育
专家9讲师扬州大学1乡村公共文化服务
专家10副教授上海应用技术大学20文化产业,编辑出版
专家11讲师扬州大学3社区信息服务,信息不平等
专家12讲师对外经贸大学4公共文化
专家13讲师西安交通大学1文化治理,公共文化服务
专家14教授广西民族大学14少数民族档案文献开发利用
专家15副教授湖南工商大学27新闻传播学
专家16副教授湖南工业大学15文化治理,地方治理
专家17副教授西北大学11信息资源管理,公共文化政策
专家18教授河北大学40新闻传播实务

新窗口打开| 下载CSV


2.2 专家评价数据分析

德尔菲法的实施过程中,通常会交替运用量化和质性分析。量化分析主要包括对专家意见进行统计处理,如计算平均分、标准差,以及进行相关性分析等。而质性分析则涉及对专家的文字回答进行内容分析和归纳,结合量化分析结果,深入理解专家共识或分歧的内涵和背景。下文将结合专家意见的量化统计与质性分析,修订数字农家书屋服务效能评价指标体系。

2.2.1 指标筛选标准

基于统计学要求和本研究实际,笔者使用了以下七项量化统计指标来描述和分析每一轮的专家意见数据[2],各指标需同时满足以下标准才可被认定为合理:①Cronbach α系数≥0.7;②专家积极系数≥70%;③专家权威系数≥0.7;④指标重要性评分均值≥4.0;⑤标准差<1;⑥中位数≥4;⑦变异系数<0.25。

2.2.2 信度分析

笔者借助SPSSAU软件对问卷进行了Cronbach α系数的信度检验,问卷的Cronbach α系数为0.904,这表明数据具有高度的信度质量。

2.2.3 专家积极系数与专家权威系数

专家积极系数通常通过专家征询问卷的有效回收率(return rate)计算。[8]本次调查向22位专家发送了问卷,共收回18份有效问卷,回收问卷有效率为81.82%,达到统计学标准。

专家权威系数(CR)在德尔菲法中用于确定专家意见的权重和影响力,其值常取判断系数(CS)和熟悉程度系数(CA)的算术平均数,一般认为,CR>0.7即代表专家意见权威程度较好。本研究中,CS与CA均来自专家自评,自评标准如表4表5所示。根据该赋值方式,算得CS=0.828,CA=0.828,CR=0.83,总体权威系数较高,意味着专家团队的意见具有较强的可信度和影响力。

表4   专家判断系数CS评价判断依据与依据程度

判断依据依据程度
实践经验0.40.30.2
理论分析0.30.20.1
国内外同行的了解0.20.10.1
直觉选择0.10.10.1
合计10.70.5

新窗口打开| 下载CSV


表5   专家熟悉程度CA等级与赋值

专家的熟悉程度等级赋值
很熟悉1.0
熟悉0.8
一般0.5
不太熟悉0.2
不熟悉0.0

新窗口打开| 下载CSV


2.2.4 二级指标修订结果

运用SPSSAU对18份问卷数据进行统计,数据如表6表7所示

表6   指标专家意见量化数据

编号指标名称平均标准差中位数变异系数(CV)
B1可获得性4.7220.575512.17%
B2可知晓性4.3330.84519.39%
B3可接近性4.4440.856519.25%
B4可接受性4.2780.752417.58%
B5可适应性4.2220.9434.522.33%
B6可匹配性4.0561.056426.03%
C1数字设施4.5560.511511.22%
C2阅读资源4.4440.6164.513.85%
C3文化活动4.3330.844.519.39%
C4人员配置4.3330.594413.71%
C5宣传推广4.5560.511511.22%
C6信息公开4.0560.725417.89%
C7文化品牌3.6670.767420.92%
C8获取便利度4.6110.502510.88%
C9操作难易度4.5560.616513.52%
C10活动开放度4.3330.844.519.39%
C11成本耗费度3.7221.074428.86%
C12内容资源4.5560.616513.52%
C13服务人员4.1670.618414.84%
C14服务设施与功能4.1110.583414.18%
C15服务的针对性与个性化4.1110.583414.18%
C16文化活动4.2780.8264.519.32%
C17宣传形式3.8330.857422.37%
C18供需关系4.5560.784517.21%
C19设施设备更新40.767419.17%
C20资源更新4.2220.647415.32%
C21顶层设计3.9440.938423.77%
C22参与途径4.3330.686415.83%
C23参与形式4.2220.647415.32%

新窗口打开| 下载CSV


表7   指标修改专家质性建议

专家编号质性建议
专家1B1可获得性的子指标中建议加入“经费投入”,包括党委和政府重视程度、财政预算、社会捐赠等
专家8C12顶层设计的解释暂时无法体现B5可适应性。另,是否增加有关人员培训或其他人员的子要素
专家10C13服务人员、C14服务设施与功能、C16文化活动和C17宣传形式这4个指标可以进行细化改造;“宣传形式”这一表达能否替换,或删除
专家12C10活动开放度与C11成本耗费度与数字农家书屋的密切程度并不高

新窗口打开| 下载CSV


根据表7数据,B6可匹配性的离散程度高,标准差和变异系数均超预设阈值,因原命名可能引发歧义,专家13建议更名为可参与性。笔者采纳此建议,更名可参与性更贴近实际含义,避免误解。专家们对B1和B3的质疑主要集中在概念内涵上,需明确描述和界定。B2可知晓性得到专家肯定,但专家10和专家12提出异议,认为可知晓性应归入三级指标层并强调用户知晓程度。因此,笔者将B2降级为可接近性的子指标,并重新诠释和合并三级指标。

根据专家意见,在数字农家书屋的可获得性指标中增加了“经费投入”作为新的子指标。将可知晓性调整为服务知晓度,并重新定义了内涵。在可接近性指标中,删除了C11成本耗费度和C10活动开放度,新增了服务知晓度指标。可接受性指标的C17宣传形式的重要性均值低于4,但考虑到其重要性,更名为宣传方式。其余子指标符合标准,将C16文化活动修改为活动质量。在可适应性指标中,删除了C20顶层设计,并增加了调查研究指标,将C18供求关系更名为用户调研。经删改和调整指标层次排序,修改后的指标体系如表8所示。

表8   基于专家共识的数字农家书屋服务效能评价指标体系

编号指标名称指标定义
B1可获得性数字农家书屋是否具备基本的服务供给条件,即供给侧“有无基本服务”
B2可接近性居民获取服务的客观难度和便捷程度,即需求侧“能否使用”“是否方便”,直接关系服务利用率与群众参与度
B3可接受性服务质量的高低,居民对服务的主观接受度和满意度,关系供需两侧“是否匹配”
B4可适应性服务供给因势而动、因需而变的动态适应性,即供需匹配“是否灵活”
B5可参与性居民能否通过一定渠道表达需求、参与内容生产和数字农家书屋的共创共建,即供给格局“是否协同”,供需能否融合
C1数字设施实体数字设备的充足性、可用性;在线平台的稳定性、安全性等
C2阅读资源数字阅读资源的数量充足性、种类多样性
C3文化活动数字阅读与文化活动的开展频率
C4人员配置是否配备专职管理人员,人员配置是否充足,管理人员是否具备最基本的数字素养和服务能力
C5经费投入财政预算、社会捐赠等经费投入是否充足,能否维持数字农家书屋的正常运营
C6服务知晓度宣传推广是否深入基层,有效触达,以加深用户对数字农家书屋的了解,扩大用户群体
C7获取便利度服务获取途径是否便捷,指引明确,流程简单;获取渠道是否丰富,能够适应不同的使用场景
C8操作难易度服务设施与平台的易用性;媒介素养与文化水平要求;是否能够为特殊群体提供便利服务
C9资源质量形式多样性,内容有用性、趣味性,资源适用性,是否具有地方特色
C10活动质量主题和类别的丰富度,活动趣味性,能否激发用户的兴趣和参与热情
C11服务素养服务态度是否热情友好,是否有较高专业知识水平,能精准为用户提供服务
C12设备性能功能是否齐全且完善;界面是否美观简洁,排版合理
C13拓展服务是否能提供数字技能培训、参考咨询等一系列拓展服务,匹配个性化需求
C14宣传方式宣传内容是否接地气,为用户所接受;宣传形式是否有趣多样,深入人心
C15用户调研建设主体是否通过线上和线下调查,获取相关数据了解读者需求,分析服务绩效,以需求为导向及时改进服务
C16技术更新是否顺应技术变化,运用新技术手段不断完善阅读、检索、推送等服务功能,并提升硬件设备性能
C17资源更新内容和推送更新是否及时与适时,资源新颖度,更新频率
C18队伍建设定期对服务人员进行全面的专业培训,不断提高其实操水平和服务能力
C19参与途径有无途径表达文化需求,以及参与数字农家书屋的共创共建
C20参与形式是否有多种参与数字农家书屋共创共建的方式,如反馈评价、社群互动、自主生产内容等

新窗口打开| 下载CSV


3 数字农家书屋服务效能评价指标权重确定

数字农家书屋服务效能评价体系的指标项已经确立,但要实现其实际应用与评价,尚需对各指标进行权重赋值。为此,本研究邀请专家与村民共同参与打分,以综合考量专业见解与用户意见,从而精准确定各项指标的权重。

3.1 研究设计

本轮研究邀请专家与村民共同参与打分,专家赋值采用层次分析法,村民赋值采用秩和比法,从而分别得到基于专家和村民评价的权重值。最后,本研究将通过计算专家和村民评价权重的算术平均值,确定数字农家书屋服务效能评价指标体系的总体权重。

3.2 基于专家评价的指标权重计算

层次分析法(AHP)是一种结构化的决策分析工具,通过建立层次结构模型,将复杂的决策问题分解为目标层、准则层和方案层,然后通过成对比较各准则或方案的重要性,构建判断矩阵,计算权重,并进行一致性检验,最终得出决策方案的优先级排序。本研究将基于层次分析法基本原理和专家赋值结果进行权重计算。

3.2.1 建立递阶层次结构模型

AHP层次分析法的第一步是建立层次结构模型,笔者依据已建立的评价体系,设计出数字农家书屋服务效能评价体系结构模型,如图1所示。

图1

图1   数字农家书屋服务效能评价体系结构模型


3.2.2 构造对比判断矩阵与专家打分

在AHP层次分析法中,构造判断矩阵是确定各层次元素相对重要性的重要环节,该步骤要求专家根据自己的经验和知识对不同元素之间相对重要性进行打分判断,打分结果使用Saaty提出的1-9比例标度法进行量化。[9]

研究设计基于判断矩阵的数字农家书屋可及性评价指标专家赋权征询问卷,并对熟悉数字出版、数字文化、新媒体研究领域的11位专家发送电子函询邮件,专家信息如表9所示。

表9   专家信息

工作单位研究方向职称/职务
武汉理工大学数字出版副教授
郑州大学数字文化、文化经济执行副院长
武汉理工大学数字出版教授
山西大学社交媒体讲师
武汉理工大学数字出版讲师
郑州大学广告学、传播学副教授
湖北省新华书店(集团)有限公司出版融合发展编审
郑州大学传播学教授
广西大学新闻与传播学院新媒体研究副教授/教师
武汉理工大学学术出版特任研究员
广西农业职业技术大学数字媒体传播副教授

新窗口打开| 下载CSV


将11位专家打分形成11个判断矩阵进行“几何平均”,最终得到6个矩阵表,如表10表15所示。矩阵的对称位置数值互为倒数,体现了各指标间的相对重要性,数值愈大表示其重要性愈突出。[10]

表10   二级指标层评价矩阵

 B5可参与性B4可适应性B3可接受性B2可接近性B1可获得性
B5可参与性10.6440.3120.3190.731
B4可适应性1.55310.3211.020.725
B3可接受性3.2073.11510.7690.507
B2可接近性3.1370.981.30110.885
B1可获得性1.3691.3791.9721.131

新窗口打开| 下载CSV


表11   B1可获得性评价矩阵

 C5经费投入C4人员配置C3文化活动C2阅读资源C1数字设施
C5经费投入12.751.190.8611.325
C4人员配置0.36410.4190.4350.764
C3文化活动0.842.38710.5350.321
C2阅读资源1.1622.31.8710.778
C1数字设施0.7551.3093.121.2861

新窗口打开| 下载CSV


表12   B2可接近性评价矩阵

 C8操作难易度C7获取便利度C6服务知晓度
C8操作难易度10.5521.158
C7获取便利度1.81111.886
C6服务知晓度0.8630.531

新窗口打开| 下载CSV


表13   B3可接受性评价矩阵

 C14宣传形式C13拓展服务C12设备性能C11服务素养C10活动质量C9资源质量
C14宣传形式10.410.3520.2970.3250.331
C13拓展服务2.43610.4310.5660.3680.542
C12设备性能2.8422.3210.6990.4950.495
C11服务素养3.3731.7671.4310.5030.369
C10活动质量3.0762.7172.021.98810.466
C9资源质量3.0171.8462.022.7082.1451

新窗口打开| 下载CSV


表14   B4可适应性评价矩阵

 C18队伍建设C17资源更新C16技术更新C15用户调研
C18队伍建设10.3880.7990.499
C17资源更新2.57911.9560.694
C16技术更新1.2510.51110.65
C15用户调研2.0061.441.5371

新窗口打开| 下载CSV


表15   B5可参与性评价矩阵

 C20参与形式C19参与途径
C20参与形式10.317
C19参与途径3.1511

新窗口打开| 下载CSV


3.2.3 指标矩阵的权重计算及一致性检验

单层权向量是层次分析法(AHP)中,针对只含一个层次的模型,该层次中所有因素的权重向量。[11]应用层次分析法的原理,将各指标矩阵导入SPSSAU计算各项指标权重,并进行一致性检验,分析结果如表16所示,所有判断矩阵均满足一致性检验,因此无须再做修改。

表16   AHP层次分析结果

指标名称特征向量权重值最大特征值CI值RI值CR值一致性检验
B1可获得性1.2550.25115.3560.0891.120.079通过
B2可接近性1.1740.2349
B3可接受性1.2670.2534
B4可适应性0.7860.1573
B5可参与性0.5170.1033
C1数字设施1.2790.25585.2760.0691.120.062通过
C2阅读资源1.1930.2386
C3文化活动0.7870.1574
C4人员配置0.5340.1068
C5经费投入1.2070.2414
C6服务知晓度0.7370.24563.0010.0010.520.001通过
C7获取便利度1.440.4799
C8操作难易度0.8240.2745
C9资源质量1.7820.2971
C10活动质量1.370.2284
C11服务素养0.9440.15736.2760.0551.260.044通过
C12设备性能0.9020.1504
C13拓展服务0.6370.1061
C14宣传方式0.3640.0607
C15用户调研1.3670.3417
C16技术更新0.7540.18844.0470.0160.890.018通过
C17资源更新1.2910.3226
C18队伍建设0.5890.1472
C19参与途径1.5180.7591200null通过
C20参与形式0.4820.2409     

新窗口打开| 下载CSV


3.3 基于村民评价的评价指标权重计算

本研究设计的权重系数调查表包含三个部分,一是对研究目的和填表方式的说明,二是筛选题项,三是对二、三级指标重要性的排序题目。调查依托武汉理工大学社会实践小组进行,共发出问卷280份,将未使用过数字农家书屋和填写时间低于1分钟的问卷剔除后,共收到240份有效问卷。

运用秩和比法确定指标权重,首先需对每个指标的原始数据进行排序,根据大小顺序赋予每个指标一个秩,然后计算每个指标的秩和,最后计算每个指标的权重并进行归一化处理,确保所有权重之和为1。

统计240份问卷对各级指标的排序数据,将排序数据导入SPSSAU后,分别计算各指标的秩和与权重,具体数值如表17所示。

表17   指标排序、秩和与权重

指标名称第一位第二位第三位第四位第五位第六位秩和同级权重
B1可获得性817157283 5210.2553
B2可接近性5664562044 6520.2189
B3可接受性6484621218 5560.2456
B4可适应性19111979112 9740.1294
B5可参与性20104610163 8970.1508
C1数字设施9636364824 5880.2367
C2阅读资源4860367224 6840.2100
C3文化活动5248922424 6400.2222
C4人员配置 60406060 8000.1778
C5经费投入24363636108 8880.1533
C6服务知晓度7610460   4640.3444
C7获取便利度806496   4960.3222
C8操作难易度847284   4800.3333
C9资源质量726543312456050.2133
C10活动质量2634794829248120.1722
C11服务素养4343364558157970.1752
C12设备性能4134263957438860.1575
C13拓展服务4250394436297890.1768
C14宣传方式161417333612411510.1050
C15用户调研60648432  5680.2633
C16技术更新132841212  3840.3400
C17资源更新24807264  6560.2267
C18队伍建设241272132  7920.1700
C19参与途径17268    3080.5722
C20参与形式68172    4120.4278

新窗口打开| 下载CSV


3.4 评价指标体系权重确定

各三级指标的相对权重系数,即为同级权重值乘以对应上层权重值,由此可分别算得基于村民和专家评价的整体指标权重。取专家与村民权重的算术平均值,确立数字农家书屋服务效能评价指标的整体权重,如表18所示。

表18   基于专家与村民评价的数字农家书屋服务效能评价指标的整体权重

二级指标用户专家权重均值三级指标用户专家权重均值
B1可获得性0.25530.25110.2532C1数字设施0.0600.0640.062
C2阅读资源0.0540.0600.057
C3文化活动0.0570.0400.048
C4人员配置0.0450.0270.036
C5经费投入0.0390.0610.050
B2可接近性0.21890.23490.2269C6服务知晓度0.0750.0580.067
C7获取便利度0.0710.1130.092
C8操作难易度0.0730.0640.068
B3可接受性0.24560.25340.2495C9资源质量0.0520.0750.064
C10活动质量0.0420.0580.050
C11服务素养0.0430.0400.042
C12设备性能0.0390.0380.038
C13拓展服务0.0430.0270.035
C14宣传方式0.0260.0150.020
B4可适应性0.12940.15730.1434C15用户调研0.0340.0540.044
C16技术更新0.0440.0300.037
C17资源更新0.0290.0510.040
C18队伍建设0.0220.0230.023
B5可参与性0.15080.10330.1271C19参与途径0.0860.0780.082
C20参与形式0.0650.0250.045

新窗口打开| 下载CSV


4 数字农家书屋服务效能评价实证分析

为验证前文中建立的数字农家书屋服务效能评价体系的科学性和可操作性,笔者将武汉市数字农家书屋确立为案例研究对象,对其进行基于可及性的服务效能评价。武汉市数字农家书屋在管理质量和服务水平方面有着深厚基础和丰富经验,具有较强的代表性。考虑到服务可及性评价中存在的模糊性和难以精确量化的问题,采用模糊综合评价模型进行效能评估。

本轮评价问卷是根据前文所确定的数字农家书屋效能评价指标体系改编而来的,调研仍然依托武汉理工大学社会实践小组进行,问卷通过线上发放和线下实地发放,最终得到178份有效问卷。将178份样本数据导入SPSSAU后,计算得出α系数值为0.709,高于0.7,说明此数据信度质量高,可用于进一步分析。

4.1 模糊综合计算

模糊综合计算是一种处理不确定性的数学方法,它通过模糊逻辑和模糊数学理论,将模糊概念转换为数学表达式,从而解决那些难以用精确数值描述的问题。本研究基于模糊综合计算的基本原理,通过4个步骤对武汉市数字农家书屋服务效能进行了实证评估。

4.1.1 确定因素集与评语集

确定因素集和评语集是模糊综合评价方法中的第一步,因素集是指评价问题中需要考虑的因素或变量,而评语集则是指对这些因素进行评价所使用的词汇或短语。[12]二级指标层因素集可记为U={u1u2u3,…,un},对应的三级指标层可以细分为多个子因素集,Un={un1un2un3,…,unn}代表不同的准则或属性下的具体指标。评语集V={v1v2v3,…,vn}是用来对每个指标进行定性评价的集合,其中n为总的评价等级数量。通过前文可知,本研究的二级指标层因素集为:

U={uB1uB2uB3uB4uB5};

对应三级指标层因素集分别为:

UB1={uC1uC2uC3uC4uC5}

UB2={uC6uC7uC8}

UB3={uC9uC10uC11uC12uC13uC14}

UB4={uC15uC16uC17uC18}

UB5={uC19uC20}。

本文将评语集分为5个等级,V={v1v2v3v4v5}={非常差,较差,一般,较好,非常好}。

4.1.2 确定评价指标权重

在模糊综合评价中,要计算综合评价结果向量。通过层次分析法已计算出数字农家书屋服务效能评价体系各层级的指标权重。所以对应的二级指标层的权向量为WA={0.251,0.235,0.253,0.157,0.103},三级指标层的权向量如下所示:

WB1={0.064,0.060,0.040,0.027,0.061}

WB2={0.058,0.113,0.064}

WB3={0.075,0.058,0.040,0.038,0.027,0.015}

WB4={0.054,0.030,0.051,0.023}

WB4={0.078,0.025}

4.1.3 构建模糊综合评价矩阵

计算R矩阵是模糊综合计算的第三步,R矩阵是用于表示评价指标模糊综合评价值的矩阵。[13]本研究分析了178份有效样本,得出用户对武汉市数字农家书屋服务效能评价的分布情况,得到5个二级指标层的模糊评价矩阵RB1RB2RB3RB4RB5

RB1=[0.034,0.017,0.163,0.298,0.4890.079,0.056,0.169,0.242,0.4550.023,0.062,0.258,0.230,0.4270.028,0.079,0.169,0.236,0.4890.084,0.062,0.157,0.264,0.433]

RB2=[0.034,0.079,0.157,0.264,0.4660.051,0.039,0.208,0.247,0.4550.034,0.079,0.202,0.287,0.399]

RB3=[0.045,0.028,0.140,0.292,0.4940.067,0.051,0.146,0.264,0.4720.028,0.039,0.230,0.270,0.4330.034,0.034,0.202,0.247,0.4830.056,0.039,0.163,0.287,0.4550.056,0.039,0.185,0.298,0.421]

RB4=[0.051,0.039,0.214,0.236,0.4610.028,0.062,0.208,0.247,0.4550.056,0.034,0.140,0.281,0.4890.045,0.051,0.163,0.315,0.427]

RB5=[0.034,0.062,0.191,0.253,0.4610.056,0.039,0.225,0.230,0.449]

4.1.4 计算模糊综合评价值

将模糊评价矩阵R和权重向量导入SPSSAU中,即可计算出每个评价对象在各个评价指标上的模糊综合评价值,逐层向上计算并进行综合。[14]将各指标评价值汇总得出武汉市数字农家书屋服务效能评价总体结果,如表19所示。

表19   武汉市数字农家书屋服务效能评价总体结果

一级指标一级指标评价值二级指标二级指标评价值三级指标三级指标评价值
A可及性4.05B1可获得性4.067C1数字设施4.1914
C2阅读资源3.9385
C3文化活动3.9775
C4人员配置4.079
C5经费投入3.8988
B2可接近性4.002C6服务知晓度4.0505
C7获取便利度4.0172
C8操作难易度3.9382
B3可接受性4.079C9资源质量4.1627
C10活动质量4.0224
C11服务素养4.0394
C12设备性能4.112
C13拓展服务4.045
C14宣传方式3.9887
B4可适应性4.052C15用户调研4.0172
C16技术更新4.0397
C17资源更新4.1124
C18队伍建设4.0282
B5可参与性4.026C19参与途径4.045
C20参与形式3.9771

新窗口打开| 下载CSV


4.2 评价结果与分析

本研究设立的评语集V={V1,V2,V3,V4,V5}={非常差,较差,一般,较好,非常好},经过转换,综合评价值E={1,2,3,4,5}={非常差,比较差,一般,比较好,非常好}。从表4-1中可以看出,各项分值均在4左右,这意味着各指标对应的服务效能都达到了“非常好”或者“比较好”的水平,而且各项指标的评分比较平均,这说明武汉市数字农家书屋的服务没有出现明显的短板。

然而,也有一些指标的评分略低于其他指标。例如,C2阅读资源、C3文化活动、C5经费投入、C8操作难易度、C14宣传方式和C20参与形式的评分分别为3.9385、3.9775、3.8988、3.9382、3.9887和3.9887。这说明武汉市数字农家书屋在阅读资源与活动资源的供给量、系统易用性、宣传方式、提升用户参与性和主体性等方面还有提升空间。

5 数字农家书屋服务效能评价指标体系的推广应用

本研究采用文献分析法、德尔菲专家咨询法以及层次分析法(AHP)构建了一套涵盖一个一级指标、五个二级指标以及二十个三级指标的数字农家书屋服务效能评价指标体系。在此基础上,通过对武汉市数字农家书屋的案例分析,本研究验证了指标体系的科学性和实用性。该评价体系的建立和推广,有助于建设主体有效地评估和优化农家书屋的服务性能,从而为农村居民提供更优质的文化服务。在未来的工作中,建设主体还应进一步调整和完善评价指标体系,以确保其能够充分响应农村文化服务领域的发展动态和需求变化。

5.1 指标体系的功能效用

引入可及性理论建立数字农家书屋服务效能评价指标体系,有助于更精准、更充分地把握当前数字农家书屋服务与建设中存在的不足,从而有针对性地提升服务效能。

5.1.1 客观评价服务质量

评价指标体系的构建应基于科学的理论基础,本研究充分借鉴了国内外可及性理论和数字农家书屋等相关学科的研究成果和实践经验,并遵循科学的方法论,包括明确目标和问题、合理的指标和权重选择、科学的数据处理和分析等。通过设定多层次、多维度的量化指标,本评价体系能够全面、客观评价数字农家书屋的服务质量,因而具有推广使用价值。

5.1.2 指导服务效能提升

本研究所构建评价指标体系不仅是一个评价工具,而是旨在解决数字农家书屋服务中存在的问题,促进数字农家书屋健康发展和长效运行。基于可及性理论设计的不同指标,是为了从供需匹配的角度能够衡量数字农家书屋服务质量,通过对其进行评价发现不足,为建设和运营者指明工作方向,为规划和政策制定者提供理论框架支撑和统计结果支持,从而实现精准有效地提升其服务效能。

5.2 指标体系的持续更新和常态化应用

数字农家书屋服务效能评价指标体系的持续更新与常态化应用,对于保障数字农家书屋评价工作的顺利推进与持续发展具有重要的意义。为确保评价工作的准确性和有效性,建设主体应不断完善指标体系的设计,优化数据收集方式,并强调评价结果的应用。

5.2.1 完善指标体系设计

本文的数字农家书屋服务效能评价指标体系,是基于我国数字农家书屋建设的总体现状构建的。在实际应用中,建设主体可根据地方实际情况对本评价指标体系中的二级指标和三级指标进行适当调整,以确保其适应性和有效性。

一方面,评价指标体系应用应当遵循“因地制宜”的原则,这意味着建设主体在应用评价指标时,需要考虑当地的数字农家书屋建设的特定情况,如地理位置、经济发展水平、居民需求等因素,对指标体系进行适当改造和删减。目前,数字农家书屋主要由各省自主组织实施,平台发展模式和应用终端不一样,考虑各省经济文化水平、客户终端使用特点和数字农家书屋发展阶段差异,在指标的取舍、简化和权重上都可以结合当地情况进行使用,使指标体系更能发挥示范引导作用。

另一方面,评价指标体系不是一成不变的,需要根据外部环境和内部运营的变化进行动态更新调整。指标本身需要定期审查和检验,将最新的服务趋势、技术进步和村民诉求及时纳入其中。指标更新要充分吸纳专家学者、书屋管理者、村民代表、平台运营商和建设主体的意见,经过多轮检验测试,确保信度和效度,并且保持一定的弹性,以适应不断变化的需求和挑战,更好地满足农村居民的文化需求。

5.2.2 优化数据收集方式

本研究的评价指标体系主要用于量化评价数据的收集,但为了达到更为全面的评估效果,实际操作中,建设主体应当兼顾定性数据和定量数据的整合,更深入地了解村民用户的真实使用体验。建设主体也应注意数据收集简便性和易操作性,根据实际情况选择最合适的数据收集方法,这些方法包括但不限于问卷调查、入户访谈、村民读书会讨论以及观察法。通过这些多元化的途径,可以从不同视角和层面获取详尽的用户评价相关数据。此外,建设主体也可引入现代技术手段,例如大数据分析和云计算技术,收集各农家书屋平台中的用户使用与评价数据,搭建智能分析平台,提升数据收集的效率和准确度。

5.2.3 强化评价结果运用

数字农家书屋服务效能评价体系的应用,不仅是对书屋运营效果的量化评估,更是对书屋服务质量的全面提升,为书屋发展指明方向。有时评价结果未能得到充分利用,导致改进措施未能及时落实。这可能是由于沟通不畅、资源限制或执行力度不够等原因造成的。为此,需要强化评价结果的运用。

首先,确保评价工作的严谨性。明确评价目标,继而进行数据的常态化收集与分析,基于此制定针对性的改进措施和激励政策并予以执行。

其次,确保评价结果使用的有效性。建设主体需密切跟踪改进措施和激励政策执行的效果,并定期监控服务效能,在必要时调整评估流程。将评价体系运作与书屋的日常运营相结合,使其成为书屋管理的常态和持续改进的动力。

最后,建立常态评价机制也是确保评价结果有效使用、推动数字农家书屋服务质量持续提升的关键。在较为发达的省份,基于数字农家书屋平台的用户数据挖掘技术的充分使用,使得相关评估指标可以较容易获取数据,因此,评价指标体系的应用可以实现常态化,可以及时发现书屋服务中存在的问题和不足,从而有针对性地加以改进。

基金项目:本文系国家社科基金重点项目“内生型数字农家书屋的治理逻辑与实践路径研究”(21AXW007)的阶段成果。

参考文献

张凌峰洪秋兰.

文化治理视域下“农家书屋+儿童教育”运作模式发展研究

[J]. 图书馆工作与研究,20223):80-87.

[本文引用: 1]

代佳欣.

可及性的概念、测度及影响因素研究:文献综述

[J]. 学习与实践,20174):86-94.

[本文引用: 2]

谢雨婷.

可及性:公众感知视角下的博物馆公共文化服务评价体系

[J]. 东南文化,20212):165-171.

[本文引用: 1]

刘文艳完颜邓邓戴艳清.

我国公共数字文化服务可及性现状调查研究

[J]. 国家图书馆学刊,20232):70-80.

[本文引用: 1]

王前.

农家书屋服务“可及性”评价研究

[J]. 图书馆建设,20154):34-38.

[本文引用: 1]

冯献李瑾.

乡村公共文化服务可及性:指标体系设计与评价应用

[J]. 图书馆,202011):20-26.

[本文引用: 1]

贺怡傅才武.

数字文化空间下公共文化服务体系建设的创新方向与改革路径

[J]. 国家图书馆学刊,20212):105-113.

[本文引用: 1]

刘伟涛顾鸿李春洪.

基于德尔菲法的专家评估方法

[J]. 计算机工程,2011():189-191,204.

[本文引用: 1]

SAATY T L.

Decision making:the analytic hierarchy and network processes(AHP/ANP)

[J]. Systems Science and Systems Engineering,20041):35.

[本文引用: 1]

FAN C X, DOU F S, TONG B M, et al.

Risk analysis based on AHP and fuzzy comprehensive evaluation for maglev train bogie

[J].Mathematical Problems in Engineering,20162016):1-10.

[本文引用: 1]

SAATY T L, VARGAS L G. Models,methods,concepts applications of the analytic hierarchy process[M]. BostonSpringer201258-65.

[本文引用: 1]

WU H, SUN X R, LI D, et al.

Research on learning evaluation of college students based on AHP and fuzzy comprehensive evaluation

[J]. Computational Intelligence and Neuroscience,20228):9160695.

[本文引用: 1]

KAHRAMAN C, ONAR S.

A review on fuzzy multi-criteria decision-making methods

[J]. Computers in Industry,2008593):479-503.

[本文引用: 1]

YU J, YAO J, CHEN Y.

Credit scoring with AHP and fuzzy comprehensive evaluation based on behavioural data from weibo platform

[J]. Tehnički Vjesnik,2019, 262):462-470.

[本文引用: 1]

/