论文部分内容阅读
在许多评价活动中,受评价对象的复杂性、评价信息的模糊性以及主体判断的不完备性、有偏性等因素的影响,常常需要通过构建一个由多个评价主体组成的群组来进行评价,并把个体意见按照约定的方式加以汇总或集成,这种评价技术即为“群组评价”。而当群组趋于大规模,或成员和被评对象的构成呈现异质化时,为避免评价意见的“潜在不可比”或无法“统一集成”,通常需要采用分组的办法,本文称之为“基于子群的群组评价”。然而,尽管实践中存在着大量的这种基于子群的评价组织形式,但至今为止,无论是综合评价学界,还是决策科学界,或系统科学界,并没有对这一种评价或决策组织形式的有关理论问题,特别是如何在实践中针对不同情形设计评价机制进行深入系统的研究。本文基于子群群组评价的框架,运用共识度测算技术,结合统计抽样和分组理论,系统讨论了不同情形下子群意见的集成问题和评价机制的构建问题,以期为相关理论的进一步发展提供参考,主要工作概括如下:第一,在同质性假设条件下,将群组评价技术拓展到子群维度,分别提出了简单标准化评价机制、引入信息反馈的评价机制以及引入评价主体权重的评价机制。首先,考虑到不同子群间的评价值差异主要受专家的评价尺度、认知等主观因素影响,具体表现为不同子群意见在均值和标准差上的差异,提出了简单标准化评价机制。然后,为有效整合专家的评价信息,提高评价结论可接受性,提出了引入信息反馈的评价机制。其与简单标准化评价机制的主要区别在于采用交互的方式得到一致性意见,即,当专家的评价意见未通过共识度检验后,组织者需要将信息反馈给对应的专家,而对应的专家需要再根据得到的信息修正评价意见。最后,考虑到个体评价者会因认知、经验或其他主客观因素给出非共识意见,抑或是拒绝修改评价意见从而对评价效率产生影响,提出了引入评价主体权重的评价机制。该机制通过对共识度较差的专家赋予较小的权重,对共识度较高的专家则赋予较高的权重,有效减弱了非共识专家的意见对评价结论的影响。第二,基于前述拓展的子群评价框架,分别设计了基于均衡理论的子群评价机制和存在领导者的自组织子群评价机制。其中,前者主要根据初次评价的结论对客体进行均衡分组,以保证再次评价时各子群符合同质性假设。然后,采用简单标准化修正机制实现不同子群间评价意见的可比性;后者则主要针对群组评价中存在的主客观约束问题和领导者的“超权威”效应,通过选择性评价确定专家的信度与效度,进而利用自回归函数修正专家意见,使其与领导者达成一致,以避免因时间限制或专家不愿修改意见而对评价活动产生影响。第三,鉴于现实评价活动中主体和客体更符合异质性假设,提出了“链”式评价的思想。传统群组评价理论假设评价主客体是同质的,即,不同子群内的评价客体在整体上具有同分布、同方差和同均值的特点。同时,主体群组在整体上也具有相似的经验、背景与认知能力。但在实际情形中,评价主客体表现出了更多的异质性。基于此,提出通过构造不同子群间“公共因子”或“共同评价要素”来充当子群间评价值换算关系的“桥梁”或“媒介”,以实现不同子群间原始评价分数的“换算”或“等价”,并将该类思想定义为“链式子群评价”。第四,基于异质性子群评价的框架,分别提出了基于信息熵理论的链式子群评价机制、两阶段子群评价机制和主体存在变动的动态子群评价机制。(1)针对子群评价过程中的意见集成问题,提出了基于信息熵理论的链式评价机制。该方法首先利用信息熵理论对专家的评价信息进行筛选,以确定链式专家和链式关系。然后,根据得到“链式关系专家”的评价信息修正不同群组之间打分的不一致性,调整子群间平均分和标准差的差异对总排名的影响,以提高基于子群的群组评价的共识度;(2)考虑到评价主客体趋于大规模时,仍采用“逐一评价”和“交互式评价”的方式进行群组评价是十分困难的,故提出了两阶段子群群组评价机制。该机制根据子群内的一致性意见进行等距抽样,并对样本实行全体成员间的交互式评价。在此基础上,利用得到的样本意见对非样本客体进行测验等值,保证了评价结论的可靠性;(3)考虑到现有动态群组评价理论主要基于时间这一要素展开,但不同时期的评价主体也可能存在变化,故提出了主体存在变动的动态子群评价机制。该机制首先将评价意见进行差异化分解,并通过测度变动主体与同时期内其他主体意见的冲突程度,消除了评价对象因时间层面的水平变化对评价结论产生影响。最后,通过未变动主体的评价信息构建“桥(链)”,实现了全体评价意见在不同时期的可比。最后,简单总结了全文得到的主要结论,并指出了本文存在的不足和进一步研究的方向。