论文部分内容阅读
目的:
建立一种新的综合评价体系,弥补传统单一评价指标无法对不同学科自然科学论文的学术影响力进行公平比较的缺陷,实现对不同研究领域甚至不同科学门类下的学术论文较为公正的评估,从而提高科研绩效评价的科学性、客观性和公正性。
方法:
本研究以2006年至2009年诺贝尔化学奖、诺贝尔生理或医学奖获奖者突出贡献论文作为检验综合评价体系效能的参比论文,并将与每篇参比论文的研究领域密切相关的一组论文划分为论文样本集合,来考察通过综合评价理论和文献计量学方法构建的综合评价体系。
通过文献法和统计学方法筛选出8个指标组成综合评价体系,包括他引量、年均他引量、最大年度他引量、影响因子、年均他引量比同年均值、影响因子比同年最大、他引期刊种类、他引期刊平均影响因子。指标间互为补充和制约,从多维度全面考察学术论文的影响力。论文样本集合各项指标经数理方法处理后,利用逼近理想解的排序法(TOPSIS)得出综合评价值C值及其标化值C值,因子分析法得出综合评价值F值及其标化值F’值,分别在门类内和跨门类将两种方法结果同传统他引量评价结果进行比较,验证该综合评价体系的客观性、公正性。
结果:
应用本研究提出的论文综合评价指标体系和方法进行同一研究领域内以及跨学科门类论文评价获得的结果与传统评价方法有很好的一致性。
在化学、医学各门类内各集合间或化学医学两门类间的F值、F值无显著差异,即在集合间或门类间以其为评价指标更具可比性。
对分别按他引量、C值、C’值、F值、F’值在化学、医学各门类内和在化学医学两门类中排序的结果按是否为参比论文分类,参比论文排序均非常显著地优于非参比论文。
化学门类下参比论文几种综合评价值排序结果都与他引量排序结果有相关性,且排序结果间无显著差异,未改变他引量排序的总体趋势。但是C’值、F值、F值的排秩结果能使参比论文的平均序位较他引量的平均序位提前,C’值、F值排序优者多于他引量。
医学门类下参比论文几种综合评价值与他引量跨集合排秩的结果无显著差异,且排序结果间无显著差异,未改变他引量排序的总体趋势。但是C值、C’值、F值、F值的排秩结果均能使参比论文的平均序位较他引量的平均序位提前,C’值、F值、F’值排序优者多于他引量。
对化学、医学两大门类参比论文的跨门类排序结果表明,C值、C’值、F值、F’值的排秩结果均能使参比论文的平均序位较他引量的平均序位提前;C值、C’值、F值、F’值排序优者多于他引量;F值、F’值优于他引量的排秩结果具有统计学意义的显著差异。
结论:
本研究构建的包含8个指标的多维度综合评价指标体系,能够纠正现有论文学术影响力评价中常以论文他引量、论文发表期刊IF值作为评价标准的片面性,更全面地反映学术论文的影响力水平。
TOPSIS法和因子分析法适用于该体系下的综合评价,其综合评价值在同一研究领域(论文集合)中不仅保持了与传统他引量等指标评价结果的相同趋势,而且在学科门类或研究领域不同的论文比较时,与他引量传统指标相比可以提高具有高学术影响力特征的论文(参比论文)的显示度。
因子分析法F值、F’值在跨学科门类论文的评价中较他引量或TOPSIS法C值和C’值更具优势。