论文部分内容阅读
摘 要：本文在新形势下高校图书馆数字资源绩效评估价值研究的基础上，以江汉大学图书馆数字资源绩效评估指标体系的建立为例，思考影响高校图书馆数字资源绩效评估指标体系的要素及绩效评估的关键点、不足等，并据此提出新形势下高校图书馆数字资源绩效评估指标体系优化的建议。
关键词：高校图书馆;数字资源;绩效评估
信息技术的高速发展使高校图书馆数字资源的构建速度、力度、强度不断提升，纸质资源向数字资源倾斜已成为目前高校图书馆资源发展的趋势。高校图书馆需要明确数字资源的来源、内容、类型等差异性以及按需、按类型进行整合与评估，以发挥数字资源的价值，提高其利用效率，满足读者需求。这意味着从保障高校图书馆数字资源的质量角度出发，按照学校学科建设发展要求来选择适宜的数字资源绩效评估指标体系具有重要性和必要性。
一、新形势下高校图书馆数字资源绩效评估指标体系的价值
1.易于及时提供数字资源采购与决策依据
一方面，数字资源与纸质资源相比，其在采购之前往往需要部分学科带头人、数据库代理商或者出版商等推荐或提供某些专业数字资源，大部分数字资源在采购前都需提供数字资源的试用，但是在试用期的数字资源其数据下载量和浏览量是有限的，仅看下载量和浏览量并不能作为是否购买的依据。同时高校图书馆数字资源的采购不仅需要考虑数字资源的采购经费投入和价格是否合宜，还需要考虑所采购的数字资源能否补充图书馆已有的数字资源体系，以及能否满足图书馆教学科研对数字资源不断变更的需求等。
另一方面，依靠某些学科带头人或者一些数字资源的代理商和出版商的建议显然也难以为高校图书馆数字资源的采购提供比较直观的、能量化的、可横向或者纵向对比的真实数据。因此，高校图书馆数字资源的引进在采购前可参考的依据相对有限。无论从高校图书馆数字资源采购成本优化层面，还是从高校图书馆数字资源利用的需求视角考虑，高校图书馆数字资源的采购、决策等都需要一个能将学科带头人、专家以及读者的意见与建议、资源建设者的意见以及数字资源的价格、代理商或出版商的服务与优势等整合、量化，并使之成为数字化形式呈现的衡量指标，能应用于高校图书馆数字资源采购、评估指标体系及对应的执行方式。高校图书馆数字资源绩效评估指标体系的建立恰恰能在高校图书馆资源数字化管理的背景下，更为全面、科学的完成以上要求。
2.利于规范馆员评估工作提升效率
高校图书馆数字资源的评估不仅要体现在资源内容、类别、性质、价格、质量等方面，还要全面反映出资源的存档形式、供应商服务保障、专业覆盖范围、文种等各类信息。如果高校图书馆只是从下载量、浏览量、访问量等维度评估数字资源绩效，显然难以保障评估结果的全面性，如果在本地访问量与浏览量的基础上，由数字资源的代理商或者出版商提供评估对象或者辅助评估，又难以保障评估结果的规范程度与可信度等。从多个角度构建数字资源績效评估指标体系，以高校图书馆数字资源在整年的使用情况为考核标准，按照数字资源年度横向、纵向对比相关数值方式能规范的、持续为高校图书馆数字资源质量、应用成效的提升提供助力。
此外，学科数字资源评估是高校学科馆员重要工作职责之一，构建并完善高校数字资源绩效评估指标体系能为学科馆员提供评估指标范式与统一化的指标体系。学科馆员能按照评估需求，由浅入深，灵活的选择部分指标评估对口学院的专业数字资源，有效避免学科馆员评估的片面性及切入点差异所导致评估结果难以在不同学院间纵向、横向对比等。
二、高校图书馆数字资源绩效评估指标体系发展的趋势及选择
1. 高校图书馆数字资源绩效评估指标体系发展趋势
国内高校着手图书馆数字资源绩效评估晚于国外，相比较国外电子图书馆发展评估模型、EQUINOX项目等于20世纪90年代业已投入研究，国内2003年才开始涉猎此领域，在“十五”期间，中国高等教育文献保障系统管理中心所成立的“资源与服务”评估子项目组进一步理清了服务与资源评估管理的切入点，并构建了服务与资源评估管理系统，设定了对应的应用指南与评估指标，为我国近些年高校图书馆数字资源绩效评估方式的选择、应用与探索奠定了良好的基础。但是总体而言，我国高校图书馆数字资源绩效评估所需的评价体系和评价标准尚未统一、规范，与高校图书馆数字资源的发展现状、趋势匹配度有限。
2.高校图书馆数字资源绩效评估指标体系的选择
首先，应立足馆内实际需求，设定相对完备的图书馆数字资源绩效评估的指标体系。
高校图书馆数字资源绩效评估需要能支撑其业务流程顺利推进的服务部门，如江汉大学图书馆在2011年就设立了电子资源评估岗位，次年组建了由网络技术部、读者服务部、资源建设部人员组成的跨部门资源评估小组。在历经一年的探索后，立足馆内图书馆数字资源绩效评估的要求，在借鉴国内外图书馆联盟、各类相关文献及数字资源评估项目、数字资源评估项目的实践经验等后，设定了能横向对接CALIS “十五”期间数字资源评估项目且完整的、具有实际可操作性的数字资源评估量化指标体系，并且每一年都在上一年度评估的基础上不断完善。
江汉大学图书馆的数字资源绩效评估体系采用二级权重进行综合评价，一级指标下设多个二级指标，每个指标均有各自权重，用于详细说明指标量化评分标准，并按照实际需求在不同层面选择使用。其中一级指标4个，分别为利用情况、电子资源内容与质量、用户体验以及供应商服务;二级指标共计12个。除客观数据外，其他数据来源为师生及图书馆各工作组的打分评价。为减轻点击利用次数不准确性带来的影响，“利用情况”下面的二级指标权重设为2：6：2。其他二级指标对其一级指标权重均等分配。具体的指标体系及其权重见《江汉大学图书馆电子资源评估综合指标》。
其次，分类待评估对象，以资源利用情况、引文利用情况、读者使用偏好、用户体验以及供应商服务等多个方面为切入点，多角度建立评估指标体系。 江汉大学图书馆数字资源评估指标体系每年都在按照数字资源的存储和使用情况的变化及时进行调整。
（1）确定评估内容，筛选对象，双线问卷摸底使用偏好
以已购电子文献资源整体评估为例，2019年的评估是按照评估对象特征设定评估内容，筛选出不适合参与评估的资源，如不再购买的NOTEFIRST文献管理软件、2019年才正式开通的资源、汇文文献管理系统等，在全校范围内展开问卷调查，调研对象为师生使用电子资源的偏好。江汉大学图书馆利用双线共进，保障按需调研的方式，在网上面向全体师生发放网络开放卷，线下面向院系教师发放定向的纸质问卷。
（2）双向收集数据，利用使用绩效评估
在师生电子资源使用偏好摸底调查完成后，以绩效作为评估辅助，其數据来自两个方面，其一为数据库商所提供的电子资源师生利用频次，含点击利用的情况，如下载量、检索量、点击量;其二为ERS评估系统所提供的本校师生论文发表后所引用的数据库文献数量。
（3）分析指标归属类别，利用二级权重评估
在使用二级权重综合评价时，兼顾一级指标和下设二级指标的所属类别、定义一级评分人专业背景、工作岗位性质、评分立场等各项的实际情况，设定在校学生、学院部分专家和图书馆学科服务部、数字技术部、读者服务中心、资源建设部等部门的馆员对应的指标为评分对象范围，运用Excel 表格汇总、加权计算量化评分结果。
计算公式如下：
电子文献的总得分=∑选用的一级指标得分 * 相应的一级指标权重系数
一级指标得分=∑选用的二级指标得分 * 相应的二级指标权重系数
二级指标得分=AVERAGE（各有效问卷分值）
（4）区分馆藏特征，整体评估馆藏质量
在专业类数据库与综合类数据库等的分析过程中，考虑到其对学科提供支持的侧重性以及当前馆内此类数据库的已有类别，在分析馆藏特征后，调整评估方式，如专业类数据库的分析可从馆藏特征、用户偏好情况、利用情况、综合评分几项着手。综合类数据库的分析主要从期刊量、重复刊量/种的占比情况和独有刊量/种的占比情况三个方面分析，并针对性的提出采购计划的制定建议。在综合评估结果阶段，图书馆往往以评估所得结果为依据调整采购和资源供应方式，如停订资源方面，运用末位淘汰法选择性的停订排名后5位的资源，但是专业性过强，用户面狭窄的数据库，如外文数据库，则需要考虑如何拓展其用户覆盖面，如何强化用户培训和数据库宣传等。
三、新形势下高校图书馆数字资源绩效评估指标体系优化建议
1.确保理论与实践一体，完善绩效评估指标体系
很多高校在图书馆数字资源绩效评估方面，大多停留在理论研究阶段，虽然有的也有实质性的评估，但是数字资源评估指标体系缺乏系统性和科学性，难以保障实践可执行性。对此，建议高校按照理论与实践融合的要求，在当前我国高校图书馆缺乏统一的数字资源评估方式与标准的背景下进行高校图书馆数字资源的绩效评估，还是要从其建设现状及评估需求角度出发，设计出能横向对接CALIS 数字资源评估子项目，可拓展、可创新、可实践应用的数字资源评估指标体系。但是需要注意的是，高校图书馆数字资源的评估和纸质文献资源评估方式与切入点必须区分开来，后者可从高校图书馆集成系统中导出其所需的数据，而前者却不具备能导出资源的可规范化应用的管理系统。
2.引入新技术方法，强化指标体系创新
计算机技术更新迭代迅速，图书馆数字资源的绩效评估应该乘此之风，不断借鉴和吸收新技术和新方法来迎合现代信息技术促动下高校图书馆数字资源绩效评估的新要求。比如，改进熵权法，使用网络分析法组合模式计量绩效指标权重等。借助专家调查方式来丰富重要指标的遴选，以及将更多的新技术融入数字资源绩效评估指标权重计算中，借此来构建和完善绩效评估数学模型等，都有利于提升绩效评估方法体系的可操作性。
在评估定量指标的设定方面，要全面而深入的了解评估要求和需求，可在加大馆员专业培训力度的过程中，提升其对数字资源评估、利用的关注度，全面收集所需的指标数据，逐步进行统计数据的规范化和标准化推进。如江汉大学图书馆数字资源绩效评估中所使用的调研使用偏好，分析馆藏特征，评判采购切入点等的方式就存在定量化指标的辅助性。除以上之外，建议各高校图书馆不断提升评估方式及指标体系的创新性，如按照成本收益法，构建收益指标体系、成本指标体系，在收益模型指标构建时，以售后服务、检索功能、数据库内容与质量作为评估指标等。
3.规范统计数据，拓展绩效评估指标体系
图书馆数字资源绩效评估结果的真实、准确需要规范标准的数据作为支撑。但是目前图书馆数字资源绩效评估方面所面临的最大问题就在于统计数据难以保障统一规范。由此，作为绩效评估的基础保障，图书馆在数字资源采购阶段需将数据商定期提供全面、可靠、真实的统计数据列入合同条款中，细化资源利用统计分析数据供应的需求和相关条款，以此来保障定量指标体系在实践操作中有据可循、可查、可横向与纵向对比等。强化评估指标体系的拓展深度与广度应该作为高校图书馆数字资源绩效评估工作日后的方向。从成本效益角度考虑，诸如购买数字资源成本与产出研究价值的对比还可纳入绩效评估的体系中。毕竟成本和产出价值问题对数字资源馆藏价值和使用价值的判断也是存在直接影响的。
参考文献：
[1]赵德美.高校图书馆数字资源绩效评估研究[J].兰台世界，2019
[2]戴建陆，冯晓丽，张 岚.高校图书馆数字资源绩效评价指标选择[J].四川图书馆学报，2018
[3]刘海燕.高校图书馆数字资源绩效评估研究——以江汉大学图书馆为例[J].图书情报导刊，2018
[4]程小青.高校图书馆数字资源服务绩效评估研究[J].中国管理信息化，2018
[5]浮肖肖.基于成本收益法的高校图书馆数字资源绩效评估[J].科技情报开发与经济，2015
（作者单位：江汉大学图书馆）
关键词：高校图书馆;数字资源;绩效评估
信息技术的高速发展使高校图书馆数字资源的构建速度、力度、强度不断提升，纸质资源向数字资源倾斜已成为目前高校图书馆资源发展的趋势。高校图书馆需要明确数字资源的来源、内容、类型等差异性以及按需、按类型进行整合与评估，以发挥数字资源的价值，提高其利用效率，满足读者需求。这意味着从保障高校图书馆数字资源的质量角度出发，按照学校学科建设发展要求来选择适宜的数字资源绩效评估指标体系具有重要性和必要性。
一、新形势下高校图书馆数字资源绩效评估指标体系的价值
1.易于及时提供数字资源采购与决策依据
一方面，数字资源与纸质资源相比，其在采购之前往往需要部分学科带头人、数据库代理商或者出版商等推荐或提供某些专业数字资源，大部分数字资源在采购前都需提供数字资源的试用，但是在试用期的数字资源其数据下载量和浏览量是有限的，仅看下载量和浏览量并不能作为是否购买的依据。同时高校图书馆数字资源的采购不仅需要考虑数字资源的采购经费投入和价格是否合宜，还需要考虑所采购的数字资源能否补充图书馆已有的数字资源体系，以及能否满足图书馆教学科研对数字资源不断变更的需求等。
另一方面，依靠某些学科带头人或者一些数字资源的代理商和出版商的建议显然也难以为高校图书馆数字资源的采购提供比较直观的、能量化的、可横向或者纵向对比的真实数据。因此，高校图书馆数字资源的引进在采购前可参考的依据相对有限。无论从高校图书馆数字资源采购成本优化层面，还是从高校图书馆数字资源利用的需求视角考虑，高校图书馆数字资源的采购、决策等都需要一个能将学科带头人、专家以及读者的意见与建议、资源建设者的意见以及数字资源的价格、代理商或出版商的服务与优势等整合、量化，并使之成为数字化形式呈现的衡量指标，能应用于高校图书馆数字资源采购、评估指标体系及对应的执行方式。高校图书馆数字资源绩效评估指标体系的建立恰恰能在高校图书馆资源数字化管理的背景下，更为全面、科学的完成以上要求。
2.利于规范馆员评估工作提升效率
高校图书馆数字资源的评估不仅要体现在资源内容、类别、性质、价格、质量等方面，还要全面反映出资源的存档形式、供应商服务保障、专业覆盖范围、文种等各类信息。如果高校图书馆只是从下载量、浏览量、访问量等维度评估数字资源绩效，显然难以保障评估结果的全面性，如果在本地访问量与浏览量的基础上，由数字资源的代理商或者出版商提供评估对象或者辅助评估，又难以保障评估结果的规范程度与可信度等。从多个角度构建数字资源績效评估指标体系，以高校图书馆数字资源在整年的使用情况为考核标准，按照数字资源年度横向、纵向对比相关数值方式能规范的、持续为高校图书馆数字资源质量、应用成效的提升提供助力。
此外，学科数字资源评估是高校学科馆员重要工作职责之一，构建并完善高校数字资源绩效评估指标体系能为学科馆员提供评估指标范式与统一化的指标体系。学科馆员能按照评估需求，由浅入深，灵活的选择部分指标评估对口学院的专业数字资源，有效避免学科馆员评估的片面性及切入点差异所导致评估结果难以在不同学院间纵向、横向对比等。
二、高校图书馆数字资源绩效评估指标体系发展的趋势及选择
1. 高校图书馆数字资源绩效评估指标体系发展趋势
国内高校着手图书馆数字资源绩效评估晚于国外，相比较国外电子图书馆发展评估模型、EQUINOX项目等于20世纪90年代业已投入研究，国内2003年才开始涉猎此领域，在“十五”期间，中国高等教育文献保障系统管理中心所成立的“资源与服务”评估子项目组进一步理清了服务与资源评估管理的切入点，并构建了服务与资源评估管理系统，设定了对应的应用指南与评估指标，为我国近些年高校图书馆数字资源绩效评估方式的选择、应用与探索奠定了良好的基础。但是总体而言，我国高校图书馆数字资源绩效评估所需的评价体系和评价标准尚未统一、规范，与高校图书馆数字资源的发展现状、趋势匹配度有限。
2.高校图书馆数字资源绩效评估指标体系的选择
首先，应立足馆内实际需求，设定相对完备的图书馆数字资源绩效评估的指标体系。
高校图书馆数字资源绩效评估需要能支撑其业务流程顺利推进的服务部门，如江汉大学图书馆在2011年就设立了电子资源评估岗位，次年组建了由网络技术部、读者服务部、资源建设部人员组成的跨部门资源评估小组。在历经一年的探索后，立足馆内图书馆数字资源绩效评估的要求，在借鉴国内外图书馆联盟、各类相关文献及数字资源评估项目、数字资源评估项目的实践经验等后，设定了能横向对接CALIS “十五”期间数字资源评估项目且完整的、具有实际可操作性的数字资源评估量化指标体系，并且每一年都在上一年度评估的基础上不断完善。
江汉大学图书馆的数字资源绩效评估体系采用二级权重进行综合评价，一级指标下设多个二级指标，每个指标均有各自权重，用于详细说明指标量化评分标准，并按照实际需求在不同层面选择使用。其中一级指标4个，分别为利用情况、电子资源内容与质量、用户体验以及供应商服务;二级指标共计12个。除客观数据外，其他数据来源为师生及图书馆各工作组的打分评价。为减轻点击利用次数不准确性带来的影响，“利用情况”下面的二级指标权重设为2：6：2。其他二级指标对其一级指标权重均等分配。具体的指标体系及其权重见《江汉大学图书馆电子资源评估综合指标》。
其次，分类待评估对象，以资源利用情况、引文利用情况、读者使用偏好、用户体验以及供应商服务等多个方面为切入点，多角度建立评估指标体系。 江汉大学图书馆数字资源评估指标体系每年都在按照数字资源的存储和使用情况的变化及时进行调整。
（1）确定评估内容，筛选对象，双线问卷摸底使用偏好
以已购电子文献资源整体评估为例，2019年的评估是按照评估对象特征设定评估内容，筛选出不适合参与评估的资源，如不再购买的NOTEFIRST文献管理软件、2019年才正式开通的资源、汇文文献管理系统等，在全校范围内展开问卷调查，调研对象为师生使用电子资源的偏好。江汉大学图书馆利用双线共进，保障按需调研的方式，在网上面向全体师生发放网络开放卷，线下面向院系教师发放定向的纸质问卷。
（2）双向收集数据，利用使用绩效评估
在师生电子资源使用偏好摸底调查完成后，以绩效作为评估辅助，其數据来自两个方面，其一为数据库商所提供的电子资源师生利用频次，含点击利用的情况，如下载量、检索量、点击量;其二为ERS评估系统所提供的本校师生论文发表后所引用的数据库文献数量。
（3）分析指标归属类别，利用二级权重评估
在使用二级权重综合评价时，兼顾一级指标和下设二级指标的所属类别、定义一级评分人专业背景、工作岗位性质、评分立场等各项的实际情况，设定在校学生、学院部分专家和图书馆学科服务部、数字技术部、读者服务中心、资源建设部等部门的馆员对应的指标为评分对象范围，运用Excel 表格汇总、加权计算量化评分结果。
计算公式如下：
电子文献的总得分=∑选用的一级指标得分 * 相应的一级指标权重系数
一级指标得分=∑选用的二级指标得分 * 相应的二级指标权重系数
二级指标得分=AVERAGE（各有效问卷分值）
（4）区分馆藏特征，整体评估馆藏质量
在专业类数据库与综合类数据库等的分析过程中，考虑到其对学科提供支持的侧重性以及当前馆内此类数据库的已有类别，在分析馆藏特征后，调整评估方式，如专业类数据库的分析可从馆藏特征、用户偏好情况、利用情况、综合评分几项着手。综合类数据库的分析主要从期刊量、重复刊量/种的占比情况和独有刊量/种的占比情况三个方面分析，并针对性的提出采购计划的制定建议。在综合评估结果阶段，图书馆往往以评估所得结果为依据调整采购和资源供应方式，如停订资源方面，运用末位淘汰法选择性的停订排名后5位的资源，但是专业性过强，用户面狭窄的数据库，如外文数据库，则需要考虑如何拓展其用户覆盖面，如何强化用户培训和数据库宣传等。
三、新形势下高校图书馆数字资源绩效评估指标体系优化建议
1.确保理论与实践一体，完善绩效评估指标体系
很多高校在图书馆数字资源绩效评估方面，大多停留在理论研究阶段，虽然有的也有实质性的评估，但是数字资源评估指标体系缺乏系统性和科学性，难以保障实践可执行性。对此，建议高校按照理论与实践融合的要求，在当前我国高校图书馆缺乏统一的数字资源评估方式与标准的背景下进行高校图书馆数字资源的绩效评估，还是要从其建设现状及评估需求角度出发，设计出能横向对接CALIS 数字资源评估子项目，可拓展、可创新、可实践应用的数字资源评估指标体系。但是需要注意的是，高校图书馆数字资源的评估和纸质文献资源评估方式与切入点必须区分开来，后者可从高校图书馆集成系统中导出其所需的数据，而前者却不具备能导出资源的可规范化应用的管理系统。
2.引入新技术方法，强化指标体系创新
计算机技术更新迭代迅速，图书馆数字资源的绩效评估应该乘此之风，不断借鉴和吸收新技术和新方法来迎合现代信息技术促动下高校图书馆数字资源绩效评估的新要求。比如，改进熵权法，使用网络分析法组合模式计量绩效指标权重等。借助专家调查方式来丰富重要指标的遴选，以及将更多的新技术融入数字资源绩效评估指标权重计算中，借此来构建和完善绩效评估数学模型等，都有利于提升绩效评估方法体系的可操作性。
在评估定量指标的设定方面，要全面而深入的了解评估要求和需求，可在加大馆员专业培训力度的过程中，提升其对数字资源评估、利用的关注度，全面收集所需的指标数据，逐步进行统计数据的规范化和标准化推进。如江汉大学图书馆数字资源绩效评估中所使用的调研使用偏好，分析馆藏特征，评判采购切入点等的方式就存在定量化指标的辅助性。除以上之外，建议各高校图书馆不断提升评估方式及指标体系的创新性，如按照成本收益法，构建收益指标体系、成本指标体系，在收益模型指标构建时，以售后服务、检索功能、数据库内容与质量作为评估指标等。
3.规范统计数据，拓展绩效评估指标体系
图书馆数字资源绩效评估结果的真实、准确需要规范标准的数据作为支撑。但是目前图书馆数字资源绩效评估方面所面临的最大问题就在于统计数据难以保障统一规范。由此，作为绩效评估的基础保障，图书馆在数字资源采购阶段需将数据商定期提供全面、可靠、真实的统计数据列入合同条款中，细化资源利用统计分析数据供应的需求和相关条款，以此来保障定量指标体系在实践操作中有据可循、可查、可横向与纵向对比等。强化评估指标体系的拓展深度与广度应该作为高校图书馆数字资源绩效评估工作日后的方向。从成本效益角度考虑，诸如购买数字资源成本与产出研究价值的对比还可纳入绩效评估的体系中。毕竟成本和产出价值问题对数字资源馆藏价值和使用价值的判断也是存在直接影响的。
参考文献：
[1]赵德美.高校图书馆数字资源绩效评估研究[J].兰台世界，2019
[2]戴建陆，冯晓丽，张 岚.高校图书馆数字资源绩效评价指标选择[J].四川图书馆学报，2018
[3]刘海燕.高校图书馆数字资源绩效评估研究——以江汉大学图书馆为例[J].图书情报导刊，2018
[4]程小青.高校图书馆数字资源服务绩效评估研究[J].中国管理信息化，2018
[5]浮肖肖.基于成本收益法的高校图书馆数字资源绩效评估[J].科技情报开发与经济，2015
（作者单位：江汉大学图书馆）