论文部分内容阅读
摘 要：应用基础研究计划绩效评估是加强政府资金宏观管理，提高资金使用效果的重要手段。在计划层面进行绩效评估，通过对绩效评估方法的选择及对评估框架的设计探索，研究以定性评估为主，定量分析评估为辅的方法，并确定科技项目绩效评估是科技计划绩效评估的必要条件和基础，设计应用基础研究计划绩效评估框架，科学地对宁夏应用基础研究计划进行绩效评估。
关键词：绩效评估；定性与定量分析；指标框架
宁夏应用基础研究计划是宁夏科技计划之一，由宁夏自然科学基金组成。由于计划是通过具体项目实施，科技项目的成功实施是科技计划成功的必要条件和基础。因此科技计划绩效评估与科技项目绩效评估既有不同又有密切联系。
科技计划绩效评估关注重点为计划总体目标的实现程度和产生的效果和对区域经济社会发展产生的影响，科技项目绩效评估关注重点为项目具体目标实现程度和产生的效果及其对具体实施单位产生的影响。
科技计划的效果和影响源自于各个项目的产出与经济或社会的互动，不是各个项目的简单汇总，需要综合分析评估。特别是单个项目从研究结果、技术解决方案或经济结果方面来衡量可能是很成功的，而对计划则有可能会出现未曾预料的、甚至是负面的经济或社会效应。
通过对自治区自然科学基金项目，在单项目绩效评价的基础上，进行总结分析，对总体实施效果做出评估。
1 评价指标体系构建原则
宁夏应用基础研究计划绩效评估建立完善的评价指标体系是科学、合理、公正地评价项目绩效的重要保证，是准确评价项目绩效的一种有效方法。因此，在进行评价指标体系的设计时，应从实际出发，做到既科学，又切实可行，应依据以下原则：
1.1 需求导向原则
科技计划绩效评估不应追求面面俱到，应以满足委托需求为原则确定评估的重点、设计评估框架指标体系进行绩效评估。在满足需求的前提下，选择尽可能少、数据信息易获取的评估指标。
1.2 定量与定性相结合原则
由于计划评估的复杂性和综合性，评估既不能单纯依据客观数据、也不能完全依靠专家主观意见，应以客观数据为基础，结合专家意见，将客观数据事实与主观综合评判相结合作为评估的主要依据，进行全面评估。
1.3 微观与宏观相结合原则
由于科技计划的基本构成单元是项目，各个科技项目实施成功与否是计划成功与否的关键和基础。因此，科技计划绩效评估必须充分重视单个项目实施取得的技术成果、产生的经济效益及对承担单位技术创新能力与竞争力的提升所发挥的作用和影响等微观层面绩效评估，为科技计划实施是否成功提供基本支撑依据。单个项目取得的技术创新成果通过技术外溢的形式带动整个行业经济效益的提高，与其密切相关的行业也会受到不同程度的影响。因此地方科技计划绩效评估必须将项目微观评估与计划总体的宏观效果和影响等方面相结合，进行综合评估。
2 绩效评估方法选择
宁夏应用基础研究计划绩效评估的方法主要有定性和定量方法。
定性法主要包括理论分析法、对比分析法、同行评议法（专家判断法）等，特点是理论性强，评估结论比较直观，但受主观因素影响较大。
定量法是指运用数量指标来进行评估，主要包括问卷调查法、文献计量法（科学计量法）、模糊数学分析法、数理模型分析方法等，特点是单指标评估较为客观、科学，但无法完整地反映出项目研究成果的品質、技术的领先性以及与利益相关者的关系。
科技计划对社会经济影响的时间滞后性、创新结果的不可预期性等，都限制了对其潜在作用与影响的评估；再加上诸如经济增长、创造就业机会和社会福利等长期效应、间接效应，那就更难归结到特定的科技计划中；政府科技计划项目处于产业链条中上游的行业，其技术创新活动会极大的影响整个产业链条，而处于产业链条末端的行业会受到上游所有行业技术创新行为的影响。因此，仅运用定量法评估科技计划绩效是不够的，满足不了需要。
根据宁夏近几年应用基础研究计划绩效评估实践经验，科技计划应采用以定性评估为主、以定量分析评估为辅的方法是可行的，主要原因：
2.1 定量指标的作用和局限性
科技计划、项目绩效评估中都涉及到经费、人员投入、科技论文、专利、新产品、新服务、经济效益等定量指标，运用这些定量指标客观分析、对比科技计划、项目投入产出的规模，比较客观、科学性。但这些定量指标及定量分析方法仅能反映科技计划、项目投入产出的数量和规模，无法完整地反映出研究成果的品质、技术的领先性。
2.2 效果与影响——定量指标不可描述性
科技计划、项目的效果与影响是绩效评估的重要方面，往往无法用定量指标描述。例如：一个计划项目形成的技能和知识是一种重要的但无法用定量指标描述的效果；科技计划的影响是在不同时期出现的，短期影响可能会由于市场条件的变化而突然中止，有些可能在几年内不会发生，但由于互补性技术的开发而突然变得很重要，这些情况定量指标是反映不出的。
2.3 定性分析判断的主观性
科技计划、项目产出成果品质、技术的领先性以及与利益相关者的关系、产出的效果、影响难以定量分析判断，应用专家评议方法进行定性判断，但专家分析判断属于主观判断，判断准确性很大程度上依赖专家知识背景和水平，受主观因素影响较大。
2.4 定性与定量相结合综合评估方法的有效性和可行性
近年来，我区科技计划项目绩效评估采用以定性為主、定量为辅的综合评估方法，即专家在定量指标数据对比、分析的基础上，结合其专业知识对项目绩效进行评价、判断，实践证明有效、可行，评估效果较明显。一方面避免了定量指标分析评价中评价标准制定问题。地方科技计划项目绩效评估中管理者或评估报告使用者除了要求对项目实施成功与否做出判断外，还要求对项目绩效做出排序，由于既是同类科技计划项目涉及的行业与技术领域不同，很难建立科学、合理的统一定量评价标准进行定量评价判断，通过专家对项目客观数据的分析，结合专业知识和背景知识直接做出判断，避免了定量分析判断的标准问题。另一方面专家判断是在较多定量数据基础上做出的，对专家有较强的约束，可在很大程度上减少主观性。 3 绩效评估框架设计
宁夏应用基础研究计划由宁夏自然科学基金项目组成，其总目标是坚持“支持基础研究、堅持自由探索、发挥导向作用”的原则，以吸引、稳定和培养科技人才为重点，主要解决应用基础理论和基础技术问题，促进知识创新和技术创新相结合，为全面提升宁夏自主创新能力提供基础支撑。主要资助对象为高等院校、科研院所和具有基础研究条件的高新技术企业的科研人员。
3.1 应用基础研究计划绩效评估内容
宁夏应用基础研究计划的总目标决定了其绩效评估的核心内容为知识创新及人才培养的效果，在计划层面的绩效评估内容主要包括项目分布领域、资金投入构成、论文与专利产出、人才培养及知识产出的应用前景。具体评估内容有以下方面：
3.1.1项目与计划相符性分析评价
调查各自然基金项目所属学科技术领域，分析评价项目是否符合计划支持的方向，并按应用基础研究计划的学科技术领域划分方法进行归类、分析学科领域分布状况。
3.1.2人员投入分析评价
调查统计各项目投入人员数量、职称或学历等信息，按照项目學科或技术领域分析评价人员投入数量、人员结构的合理性。
3.1.3资金投入分析评价
调查各项目总投资、资金构成数据，分析评价计划的资金投入规模、资金来源及政府资金投入在计划中所发挥的作用。
3.1.4知识产权产出分析评价
调查各项目实施取得的专利、发表的学术论文，分析评价计划知识产权产出量和水平。
3.1.5人才培养效果分析评价
调查第一次主持自治区自然科学基金项目人数、项目实施中培养的博士、硕士人数，分析评价应用基础研究计划的人才培养效果。
上述内容仅对计划层面的投入、产出和效果进行宏观分析评价，并不能对计划实施是否成功、效果是否满意做出判断。要对计划成功与否、效果是否满意必须对具体项目进行绩效评价。
3.2 应用基础研究计划项目绩效评估框架
应用基础研究计划是由各个自然科学基金项目组成的，计划的绩效目标实现程度和效果取决于自然科学基金项目实施绩效，计划绩效评估最终落实到项目的绩效评估。按照本研究的评估指标框架构建原则和方法，结合自然科学基金项目特点设计绩效评估指标框架，具体框架见右表。
宁夏自然科学基金项目绩效评估指标框架
参考文献：
[1] 江永真.福建省科技计划评估体系研究[J].科技管理，2002（4）.
[2] 李婷.基于科技计划的绩效评价的文献综述[J].消费导刊，2013（9）.
[3] 王淑慧，戴菁菁.基础研究科技项目绩效评价文献述评与研究展望[J].时代金融2014（4）.
作者简介：任丽萍（1984-），女，汉族，安徽濉溪县人，硕士，主要从事科技项目绩效评估工作。
关键词：绩效评估；定性与定量分析；指标框架
宁夏应用基础研究计划是宁夏科技计划之一，由宁夏自然科学基金组成。由于计划是通过具体项目实施，科技项目的成功实施是科技计划成功的必要条件和基础。因此科技计划绩效评估与科技项目绩效评估既有不同又有密切联系。
科技计划绩效评估关注重点为计划总体目标的实现程度和产生的效果和对区域经济社会发展产生的影响，科技项目绩效评估关注重点为项目具体目标实现程度和产生的效果及其对具体实施单位产生的影响。
科技计划的效果和影响源自于各个项目的产出与经济或社会的互动，不是各个项目的简单汇总，需要综合分析评估。特别是单个项目从研究结果、技术解决方案或经济结果方面来衡量可能是很成功的，而对计划则有可能会出现未曾预料的、甚至是负面的经济或社会效应。
通过对自治区自然科学基金项目，在单项目绩效评价的基础上，进行总结分析，对总体实施效果做出评估。
1 评价指标体系构建原则
宁夏应用基础研究计划绩效评估建立完善的评价指标体系是科学、合理、公正地评价项目绩效的重要保证，是准确评价项目绩效的一种有效方法。因此，在进行评价指标体系的设计时，应从实际出发，做到既科学，又切实可行，应依据以下原则：
1.1 需求导向原则
科技计划绩效评估不应追求面面俱到，应以满足委托需求为原则确定评估的重点、设计评估框架指标体系进行绩效评估。在满足需求的前提下，选择尽可能少、数据信息易获取的评估指标。
1.2 定量与定性相结合原则
由于计划评估的复杂性和综合性，评估既不能单纯依据客观数据、也不能完全依靠专家主观意见，应以客观数据为基础，结合专家意见，将客观数据事实与主观综合评判相结合作为评估的主要依据，进行全面评估。
1.3 微观与宏观相结合原则
由于科技计划的基本构成单元是项目，各个科技项目实施成功与否是计划成功与否的关键和基础。因此，科技计划绩效评估必须充分重视单个项目实施取得的技术成果、产生的经济效益及对承担单位技术创新能力与竞争力的提升所发挥的作用和影响等微观层面绩效评估，为科技计划实施是否成功提供基本支撑依据。单个项目取得的技术创新成果通过技术外溢的形式带动整个行业经济效益的提高，与其密切相关的行业也会受到不同程度的影响。因此地方科技计划绩效评估必须将项目微观评估与计划总体的宏观效果和影响等方面相结合，进行综合评估。
2 绩效评估方法选择
宁夏应用基础研究计划绩效评估的方法主要有定性和定量方法。
定性法主要包括理论分析法、对比分析法、同行评议法（专家判断法）等，特点是理论性强，评估结论比较直观，但受主观因素影响较大。
定量法是指运用数量指标来进行评估，主要包括问卷调查法、文献计量法（科学计量法）、模糊数学分析法、数理模型分析方法等，特点是单指标评估较为客观、科学，但无法完整地反映出项目研究成果的品質、技术的领先性以及与利益相关者的关系。
科技计划对社会经济影响的时间滞后性、创新结果的不可预期性等，都限制了对其潜在作用与影响的评估；再加上诸如经济增长、创造就业机会和社会福利等长期效应、间接效应，那就更难归结到特定的科技计划中；政府科技计划项目处于产业链条中上游的行业，其技术创新活动会极大的影响整个产业链条，而处于产业链条末端的行业会受到上游所有行业技术创新行为的影响。因此，仅运用定量法评估科技计划绩效是不够的，满足不了需要。
根据宁夏近几年应用基础研究计划绩效评估实践经验，科技计划应采用以定性评估为主、以定量分析评估为辅的方法是可行的，主要原因：
2.1 定量指标的作用和局限性
科技计划、项目绩效评估中都涉及到经费、人员投入、科技论文、专利、新产品、新服务、经济效益等定量指标，运用这些定量指标客观分析、对比科技计划、项目投入产出的规模，比较客观、科学性。但这些定量指标及定量分析方法仅能反映科技计划、项目投入产出的数量和规模，无法完整地反映出研究成果的品质、技术的领先性。
2.2 效果与影响——定量指标不可描述性
科技计划、项目的效果与影响是绩效评估的重要方面，往往无法用定量指标描述。例如：一个计划项目形成的技能和知识是一种重要的但无法用定量指标描述的效果；科技计划的影响是在不同时期出现的，短期影响可能会由于市场条件的变化而突然中止，有些可能在几年内不会发生，但由于互补性技术的开发而突然变得很重要，这些情况定量指标是反映不出的。
2.3 定性分析判断的主观性
科技计划、项目产出成果品质、技术的领先性以及与利益相关者的关系、产出的效果、影响难以定量分析判断，应用专家评议方法进行定性判断，但专家分析判断属于主观判断，判断准确性很大程度上依赖专家知识背景和水平，受主观因素影响较大。
2.4 定性与定量相结合综合评估方法的有效性和可行性
近年来，我区科技计划项目绩效评估采用以定性為主、定量为辅的综合评估方法，即专家在定量指标数据对比、分析的基础上，结合其专业知识对项目绩效进行评价、判断，实践证明有效、可行，评估效果较明显。一方面避免了定量指标分析评价中评价标准制定问题。地方科技计划项目绩效评估中管理者或评估报告使用者除了要求对项目实施成功与否做出判断外，还要求对项目绩效做出排序，由于既是同类科技计划项目涉及的行业与技术领域不同，很难建立科学、合理的统一定量评价标准进行定量评价判断，通过专家对项目客观数据的分析，结合专业知识和背景知识直接做出判断，避免了定量分析判断的标准问题。另一方面专家判断是在较多定量数据基础上做出的，对专家有较强的约束，可在很大程度上减少主观性。 3 绩效评估框架设计
宁夏应用基础研究计划由宁夏自然科学基金项目组成，其总目标是坚持“支持基础研究、堅持自由探索、发挥导向作用”的原则，以吸引、稳定和培养科技人才为重点，主要解决应用基础理论和基础技术问题，促进知识创新和技术创新相结合，为全面提升宁夏自主创新能力提供基础支撑。主要资助对象为高等院校、科研院所和具有基础研究条件的高新技术企业的科研人员。
3.1 应用基础研究计划绩效评估内容
宁夏应用基础研究计划的总目标决定了其绩效评估的核心内容为知识创新及人才培养的效果，在计划层面的绩效评估内容主要包括项目分布领域、资金投入构成、论文与专利产出、人才培养及知识产出的应用前景。具体评估内容有以下方面：
3.1.1项目与计划相符性分析评价
调查各自然基金项目所属学科技术领域，分析评价项目是否符合计划支持的方向，并按应用基础研究计划的学科技术领域划分方法进行归类、分析学科领域分布状况。
3.1.2人员投入分析评价
调查统计各项目投入人员数量、职称或学历等信息，按照项目學科或技术领域分析评价人员投入数量、人员结构的合理性。
3.1.3资金投入分析评价
调查各项目总投资、资金构成数据，分析评价计划的资金投入规模、资金来源及政府资金投入在计划中所发挥的作用。
3.1.4知识产权产出分析评价
调查各项目实施取得的专利、发表的学术论文，分析评价计划知识产权产出量和水平。
3.1.5人才培养效果分析评价
调查第一次主持自治区自然科学基金项目人数、项目实施中培养的博士、硕士人数，分析评价应用基础研究计划的人才培养效果。
上述内容仅对计划层面的投入、产出和效果进行宏观分析评价，并不能对计划实施是否成功、效果是否满意做出判断。要对计划成功与否、效果是否满意必须对具体项目进行绩效评价。
3.2 应用基础研究计划项目绩效评估框架
应用基础研究计划是由各个自然科学基金项目组成的，计划的绩效目标实现程度和效果取决于自然科学基金项目实施绩效，计划绩效评估最终落实到项目的绩效评估。按照本研究的评估指标框架构建原则和方法，结合自然科学基金项目特点设计绩效评估指标框架，具体框架见右表。
宁夏自然科学基金项目绩效评估指标框架
参考文献：
[1] 江永真.福建省科技计划评估体系研究[J].科技管理，2002（4）.
[2] 李婷.基于科技计划的绩效评价的文献综述[J].消费导刊，2013（9）.
[3] 王淑慧，戴菁菁.基础研究科技项目绩效评价文献述评与研究展望[J].时代金融2014（4）.
作者简介：任丽萍（1984-），女，汉族，安徽濉溪县人，硕士，主要从事科技项目绩效评估工作。