《2021年咨询工程师继续教育讲义-公共政策评价指南.doc》由会员分享,可在线阅读,更多相关《2021年咨询工程师继续教育讲义-公共政策评价指南.doc(24页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、公共政策评价指南 (第一部分)课程概述课程简介当前,加强政府公共财政支出的绩效管理和评价受到了各级政府的高度重视和社会各界的广泛关注。保证公共资金能发挥最大的社会、经济效益显得尤为重要。要做到这一点,必须保证政策的制定以可靠且充分的证据为基础,而高质量的评价对此非常关键。评价活动是为评定某项政策是否实现了预期效果及成本收益,而对其实际执行情况及影响进行的检查。评价结果能够辨别“哪些奏效”,问题在哪儿、突出好的实践经验、确定未预期结果以及展示政策的投入价值,以改善今后的决策。 我国在公共财政绩效评价方面还缺乏成熟的经验和高度契合新时代中国特色社会主义建设的评价框架,迫切需要从中国的国情出发,系统
2、地了解、学习和借鉴国际经验,以加强我国公共财政绩效评价的制度建设和能力建设。本课程希望能为从事或有意从事公共政策评估的工程咨询师们提供一个设计和实施绩效评价活动的参考模型。同时,对于需要了解绩效评价基本轮廓的管理决策者来说,也可以通过它获得简明扼要的信息。本课程有助于政策决策者、管理者、执行者与评价人员的沟通和理解,这对于绩效评价活动的顺利开展及评价结果的有效应用都是十分有益的。 课程深入阐述了如何具体设计和开展评价活动。不进行评价或是低水平的评价会导致政策制定者无法知晓政策是否有效,甚至带来事与愿违的结果、付出昂贵的代价。如果缺乏高质量的评价证据,即使制订了切实有效的政策,也无法保证纳税人的
3、钱得到合理利用。通过有效评价,我们能够提高政策的有效性,同时为制定新政策提供信息,并使新政策达到最佳效果。课程还充分阐释了评价在政策制定过程中所占的核心地位,并强调为获得理想的评估证据,评价的设计与政策的设计和执行同样重要。这意味着政策制定者在确保获取有力证据方面,比以往肩负着更加重大的责任,且其在政策执行方面稍加调整,就能在很大程度上帮助我们获取高质量的评价证据。 课程概述课程对象本课程适用于以下人员:希望为政策的有效性及投入价值提供证据的政策制定者;对政策、项目、计划或服务进行委派、管理、执行或提供建议的人员;希望了解或使用评价证据的人员,尤其是那些要利用评价信息改进当前政策及要制定未来政
4、策的人员。本课程着重讲述公共政策评价中的以下要点:设计和管理评价时的关键点和主要问题可供选择的多种评价方式,评价如何改善政策制定如何解释和呈现评价结果及证据如何在政策设计之前和设计过程中考虑评价问题能提高评价质量,又不妨碍政策执行过程。 课程概述课程结构课程由以下两部分组成,本学期讲述第一部分。第一部分专门针对政策制定者阐明什么是评价以及高质量评价所带来的益处解释高质量评价所需的条件介绍一些政策制定者可采取的简单步骤,以帮助实现对政策的高质量评价探讨如何诠释和展示评价结果,特别是关乎评价证据质量的问题。第二部分针对分析人员和对此感兴趣的政策制定者详细阐述设计和执行评价的关键性步骤如何通过不同的
5、评价研究设计来解答评价研究中的问题探讨解释评价证据的方法。 课程概述课程目录第一部分第一章 政策评价的关键议题第二章 选择正确的政策评价类型第三章 在政策设计中考虑影响评价第四章 设计评价需考虑哪些实际操作问题第一章解释了高质量评价的益处,以及不进行评价或低质量评价可能带来的问题。第二章探讨了评价能够解决哪些类型的问题,并对各种评价进行了概述。该章还谈到影响政策评价质量的因素,以及这些因素对选择和设计最佳评价方案的意义。第三章主要阐明评价政策的影响会受限于政策自身的特征,并论述了如何通过细微调整来提高获得高质量评价的几率。最后,第四章讨论了设计评价的一些实际操作问题。 第二部分第五章 评价的阶
6、段第六章 制定评价框架第七章 数据收集第八章 过程评价、行动研究和案例研究第九章 实证影响评价第十章 评价证据的汇总和报告本部分针对分析人员和感兴趣的政策制定者,设计规划、设计和实施评价时应考虑的关键议题,描述了规划评价和数据收集的过程,以及开展影响和过程评价的具体要求。 第一章政策评价的关键议题1.1概述本章简要介绍了评价及其在政策周期中所处的位置。本章还解释了什么是评价,为什么评价十分重要,以及不评价或低质量评价的代价。 1.2什么是评价以及评价能带来什么益处1、本课程主要关注政策评价,即审查某项政策或其他干预活动的设计、执行和结果。2、本章的关注点是政策的实际操作和政策执行所带来的结果(
7、而不是政策的预期或意图,政策预期和意图是预评估(可研)的关注点)。评价中可使用各种分析方法搜集和处理信息,而每项评价使用何种方法取决于多个因素,本课程第二部分重点讨论了这些因素。此外,所选择的评价方法会影响评价所能解释的问题以及评价结论的可信度。本书侧重于政策的实际操作经验,这意味着书中所阐述的评价是一个中立的过程,只涉及如下客观性问题,例如:政策的影响力如何?政策是如何实施的?该政策的投入是否有价值? 3、即使评价提出主观问题(例如利益相关方对政策效果的看法),也期待得到相对客观的回答,例如:利益相关者认为该政策目标实现程度如何?该政策是否加深了公众对问题的认识?4、实际中的问题往往更加复杂
8、具体,通常会考虑到政策本身的各项特点如何影响其执行和实施过程,以及会给受影响的各方面带来什么变化:也就是说,政策在什么情况下对谁起作用。第二章主要讨论了不同类型的评价分别能够回答什么样的问题。本书所描述的高质量评价是一个客观的过程,因此所得出的结果是对政策绩效的中立评价。正因为如此,评价结果在某些情况下可能被质疑。 5、高质量的评价应该能为改进低效政策提供信息,为向其他项目做进一步投入提供证据支撑,或者能帮助节省开支。总的来说,评价能够提供有价值的信息,有助于实现一系列行动和目标。比如,高质量的评价能够:通过提供可靠信息,明确哪些政策发挥了作用,从而为政策制定提供坚实的科学依据。了解政策如何起
9、作用和为什么发挥作用,能帮助我们制定新政策,并提高已有政策的有效性;支撑资源获取和政策决策,如经费支出审批和制定新的战略等。评价有助于确立政策和项目目标,以及证明这些目标是如何实现的;评价能够通过证明经费是如何使用的,获得了哪些收益以及资源的回报率等进行问责,满足外部审查的要求。6、高质量评价及其提供的可靠证据,不仅能促进政策的执行、提高政策执行绩效和有效性,而且是政府高效服务的重要基础,能够保障纳税人的钱获得合理回报。因此,高质量评价是政策制定和有效执政不可分割的一部分,是政策制定者的有力工具。 1.3影响政策评价的因素1、评价是下文所述政策周期的重要组成部分(在某些情况下是必要的组成部分)
10、,在战略制定和实际收益两方面都具有重要意义。由于时间或资源有限,或者由于难以给出结论而带来的风险,人们试图省略评价,或对政策的绩效进行非正规、较为主观的评价这些做法都是有代价的。不对政策进行评价,或进行非正规、不可靠的评价,可能会带来以下风险:无效的政策有可能被继续实施;当前或将来会造成负面影响或巨大损失;丧失改进政策、节省经费或对其他更具价值的项目进行再投资的机会。2、另一方面,即使某项政策确实高效或产生很好的回报,不规范的评价或不评价意味着:政策制定者将无法证明所获得的良好效果是由该政策产生的,还是偶然发生的,抑或是其他政策引起的;因此,政策制定者也无法证实其干预活动产生了回报,或已通过恰
11、当的分析得以展示。 3、关键是要明确“高质量评价”的内涵、高质量的评价由什么决定,以及实现高质量的评价的必要条件。这将在本课程随后几章中加以阐述。决定哪种评价方法最适合某类具体案例时,需要考虑诸多因素,包括:政策的性质、目标范围、复杂性、创新性、实施形式以及未来的走向;评价的目的和需要回答问题的类型;关键性政策决策的时点和所需的基础信息;预期影响的类型、影响的时间跨度,以及相关信息数据的可用性;评价可用的时间及其他资源。4、选择何种评价类型通常需要在上述因素间取舍平衡,这一问题在第二章中有更详细的讨论。在某些情况下,彻底、严格的评价并不适用,而限定范围的、“温和”的评价更为适用。在其他情况下,
12、选择严格意义的评价,并限定评价的范围,会使所获得的证据更可靠有用。但是,做类似选择前,必须充分认识到评价类型可能给评价结果表达带来的局限性。5、在政策制定过程中,越早计划评价活动,越有可能综合平衡各种因素,选择最为适合的评价类型。越晚考虑评价,可供选择的方案就越少。在制定政策时,必须判断所需的评价规模和形式。而一旦评价的规模和形式确定,可能需要反过来考虑是否需要调整政策执行,使评价更加可行。对评价的规模和形式的判断涉及一些技术性问题,需要向分析专家咨询如何权衡各种因素以及不同选择间的差异。 1.4评价是如何嵌入政策周期的1、评价是“合理性分析、目标设定、预评估、监测、评价、反馈”这一政策周期中
13、不可或缺的一部分。虽然评价证据的反馈能够应用于整个政策周期的各个环节,但这里有必要强调重点使用证据的几个关键环节:预评估始于政策的合理性分析和目标确定之后。其目的是在政策执行前确定如何最有效地推行政策;监测主要用于核查政策是否按计划目标推进,是否已成功的支出了预算并获得了产出,以及节点目标是否实现;评价是指在政策执行中和执行后发生了哪些变化,衡量其有效性和效率。评价旨在确定政策效果和影响,以评定其是否实现预期收益。 2、政策周期的各阶段是递进式的。但实际上,这种沿单一方向推进的情况极少出现,往往是相互交叉的,存在很强的依存关系。例如:评价时经常使用监测活动得出的数据。此外,评价通过试点等方式,
14、能够在政策周期的不同阶段保持反馈链的存在,从而在政策制定过程中也发挥作用。3、尽管评价通常在政策执行后进行,但实际上,评价可以在任何时间开展。值得注意的是,能够影响评价或与评价相关的决策总是在政策执行早期做出的。第三章解释了政策制定或执行过程中,看似细微的环节如何对开展严格意义的评价产生巨大影响。因此,必须在政策制定的同时设计评价活动,这样才能确保考虑到政策周期各环节之间的关系。 本章小结评价是了解某项政策或干预活动的执行情况、效果、对象、方法及原因的客观过程。评价必须按照法策的类型及所需解决的问题量身定做。在政策指定周期中越早考虑评价问题,选择和采用最佳评价方式的可能性越大。高质量评价能带来
15、可靠结果,可以放心使用和引用。高质量的评价有助于改进政策,以确定再投资或停止投资以节约资源,指出政策是否按计划实施以及资源是否有效利用。高质量评价在制定和执行政府优先发展领域和目标、展示责任以及为独立审查程序提供证据方面都有重要意义。高质量的评价还能为以证据为基础的政策提供宝贵信息,有利于未来的政策制定,是政策周期中的关键因素。不进行评价或低质量的评价,就意味着政策制定者无法提供有力证据证明政策的有效性。在这种情况下,任何关于政策有效性的声明或宣传都是无稽之谈。 第二章选择正确的政策评价类型2.1概述1、本章探讨了评价能够回答哪些类型的问题,并对各种评价类型做出了概述。评价主要能够回答以下三大
16、类问题:政策是如何实施的?政策带来了哪些变化?政策的成本收益如何?2、多数情况下,我们也非常有必要了解政策以某种方式加以实施的原因、政策为何带来(或没有带来)变化、以及成本和收益是如何产生的。 2.2过程评价:政策是如何实现的?1、政策如何实施,这一问题与政策所涉及的程序、执行活动及实施方式密切相关。不同性质的政策在实施情况上差异很大,因此没有类似影响评价那样简单通用的问题。2、我们可以举个实际例子,例如近期各地执行的有关招募人员参加职业培训计划以提高就业率的政策,可能涉及的问题包括如何招募学员、采用的什么标准招募、教员的资历等。需要调查这些因素的地区差异性,招募程序是否对特定人群有利或不利。
17、可以调查按计划实施干预活动的过程中是否遇到困难或障碍,采取了何种方式提高培训课程的听课率。一般来说,与过程相关的问题通常使用描述性问题,可以利用多种数据收集方法、覆盖多方参与者,并有针对性的面向政策实施过程的各个特定环节。 2.3影响评价:政策带来了哪些变化?1、要了解政策所带来的变化,需重点关注政策的效果。效果是一些可取得的成果,这些成果要么本身就是政策的目标(或至少对实现政策目标有贡献)要么是政策带来的益处。2、关于政策带来的变化,可能涉及以下问题:政策效果如何,实施前后有何变化,如果有变化,变化多大,其中哪些是由该政策而不是其他因素引起的?该政策是否实现了既定目标?该政策带来的变化在不同
18、个体、利益相关者及社会领域之间有何不同,与预期相比如何?是否出现了计划外的效果,如果有,是什么样的效果,有多重要? 3、影响评价试图明确回答某项政策是否实现了其预定目标。原则上,影响是指政策所带来的效果,但重点关注与政策最终目标密切相关的效果。一项为失业者提供培训以提高其工作技能的计划,其最终目标可能是提高就业率和降低失业成本。为了实现这一最终目标,研讨班的参与度、就业机会、就业期、失业成本等结果都可以看作政策的预期效果。(例如面试约次数、就业率)4、显而易见,过程评价和影响评价所回答的问题有交叉重合之处。政策实施情况可以通过产出数量来表示,例如受训人员的数量和特点、举办了多少场培训研讨班以及
19、参加培训项目后多少人得以就业等。这就意味着在设计过程评价的同时,必须考虑到影响评价的目的和数据需求,反之亦然。因此,同时计划和使用两种评价能保证在评价的过程中充分考虑二者间的依存关系。要想得到令人信服的解释,主要取决于干预活动的内在逻辑即干预活动将如何发挥作用。 2.4经济评价:政策的成本收益情况如何?1、可靠的影响评价可以展示并量化政策所带来的效果,但其自身无法证明是否值得为这些效果出台政策。经济评价能回答这些问题,包括政策的收益是否大于成本。经济评价包括以下几类:成本效果分析(CEA),主要评价政策执行和实施的成本,并与政策的总效果结合起来,计算出“每单位效果的成本”(例如每增加一个就业人
20、员的成本);成本收益分析(CBA),比成本效果分析更进一步,分析结果变化所体现的货币价值(如增加一个就业人员的价值)。因此,成本收益分析能够评价一项政策的整体可信性(“收益是否大于成本?”),并对产生不同效果的政策进行对比。成本收益分析尽可能将政策的成本和收益量化,甚至包括政策广义的社会和环境影响(如犯罪、大气污染、交通事故等)。本课程用“货币价值”一词笼统指代以成本收益分析为基础的方法,但需要认识到,更广义的成本收益包括通常无法用货币进行衡量的那部分价值。2、经济学方法计算投入和效果的方式比较特别,因此在设计阶段就考虑经济评价的需求非常关键。否则,即便评价所获得的信息有价值且证据确凿,也可能
21、不符合成本收益分析框架,从而很难进行经济评价。 2.5为什么会产生如此结果?最后一个需要解决的问题是,为什么会产生现有的政策过程或效果。在少数案例中,这一问题不是特别重要只要政策见效,其见效的原因并不十分重要。在另一些案例中,所采用的特定评价技巧可能无法解释上述机制。但是,了解是什么原因促使政策产生如此的过程和效果是必要的,原因包括:通过突出政策最成功的部分和最大限度减少(甚至停止执行)其无效部分,能提高政策的有效性和货币价值。同时,还能帮助消除阻碍政策发挥有效性的因素,包括让政策更多地服务于受益不足的群体或地区,以避免出现不符合需要的或预期之外的结果;能有效扩大政策的范围和覆盖面(例如在地区
22、试点后在全国推行)。通过提供“有效政策”的证据,帮助改进今后的政策制定;如第一章所述,了解一项政策的运行情况及其成功的原因,能有效增加政策价值的可信度,并提高透明度,改进政策决策。 2.6选择哪种政策评价类型?1、前面提到了为政策选择合适的评价类型时应该考虑的几个因素。第一点是明确需要该政策的哪些信息,也就是评价需要回答什么样的问题。有些情况下,过程评价和影响评价会考虑类似的议题和问题过程效果(如培训计划后应聘面试的次数)也可以是“影响效果(如受训群体总体就业面试次数的增加情况)。2、接下来的问题是过程评价和影响评价能够提供何种答案。本章提到过程评价提供的答案描述性较强,而影响评价给出的答案更
23、为明确、在某种程度上更为有力。这主要是因为高质量的影响评价尝试控制其他所有可能产生效果的因素。但是,过程评价和影响评价之间的区别并不仅仅局限于这一点。3、控制其他因素的重要性,取决于这些因素的数量及其对结果产生作用的可能性。如果要评测的政策与预期效果之间的关系简单而又直接,那么可能存在的干预因素就较少,不需要通过与对照组进行比较评价反事实。这种情况下,过程评价所提供的更具描述性的结论就足以证明该政策是否实现了预期效果。然而,如果要评测的政策与预期效果之间的关系较为复杂,有很多影响结果的潜在因素,描述性的评价就无法可靠地解释所有这些因素,就需要利用更加正规的方法来估测反事实情景。 2.7评价问题
24、与干预活动的内在“逻辑”联系是什么?1、显而易见,评价所提出的问题与所包含关系的复杂性相关这里就涉及到干预活动的“理论”或“逻辑模型”。逻辑模型描述政策的投入、活动、产出、效果和影响之间的关系,这些概念的定义见下表。表1 逻辑模型术语定义术语定义举例投入实现政策目标所需的公共资源用来实施政策的资源活动代表公共部门向受众提供的服务组织研讨会、培训、咨询会等产出受众利用的资源、建议/培训或相关政策所完成的培训课程数量中期效果政策带给受众的效果创造的就业机会、营业额、成本的降低或提供的培训机会影响更广泛的经济社会效果个人收入的变化,以及最终个人幸福指数的交化 2、以就业技能培训计划为例,过程评价适合
25、查明哪些参与者获得了何种类型的就业机会,这些参与者有何特点。这些信息对于回答以下问题也有很大帮助,“培训是否提高了参与者的就业率和收入”,但鉴于影响该结果的潜在因素众多,只有影响评价才可能提供可靠答案。3、如果问题是“该计划多大程度上成功地为参与者提供了培训机会?”,那么过程评价就足以提供所需答案了。如果参与者在计划前没有接触过这些培训,那么有理由相信机会的增加是该计划的功劳。对于如此简单的问题,虽然影响评价可能会给出更为有力的答案,但并不比过程评价的结论更为全面。4、最后,问题可能是“该计划对整体失业率有何影响”。决定整体失业率的因素众多(如宏观经济状况、当地行业性质等),因此只有影响评价才
26、可能保证答案的可靠性。然而,鉴于关系如此复杂,即便是对于很小的区域就业情况,单个培训计划带来影响的几率也非常小,除非该计划是重要政策转变和长期资源投入的一部分。即使如此,十分深入的影响评价也很难从其他催生效果的影响因素中发现该计划的影响。 2.8评价方法选择的影响因素综上所述,评价方法的选择取决于一系列因素,包括:干预活动与其效果之间关系的复杂程度。控制其他影响因素的必要性有多大?如果有必要控制,那么采用影响评价更为恰当。对于简单的关系,过程评价往往足以胜任;潜在效果对整体政策目标实现的“意义”有多大。有限的、中期的效果较容易准确的评价,但政策的收益较难进行准确或直接衡量;在引起改变或增加资源
27、方面,某干预活动的重要性。这一重要性将影响到对效果的预期。项目、政策、计划、战略和“最佳实践之间之所以有区别,是因为它们在体现干预活动效果方面存在很大差异;干预活动是如何实施的,实施过程推动还是阻碍了反事实情景估测。 本章小结1.通过设计,评价可以回答一系列问题,包括政策的实施情况、政策带来了哪些变化、是否可以进行改进,以及成本收益是否理想等。2.总体来说,这些问题可以通过三种主要类型的评价获得答案。过程评价主要审查政策是否按预期执行,实际执行情况与预期的差异及其原因。影响评价试图客观地衡量政策执行后发生了哪些变化,这些变化在多大程度上是该政策带来的。经济评价,简而言之,就是对比政策的收益与成
28、本。3.要想了解为何一项干预活动采取某种实施模式,以及其效果,就必须将不通类型评价的信息和分析方式结合起来。因此,几种评价的设计和计划应该同时进行。4.评价方式的选择应基于政策的目标及其背后的理论或逻辑支撑该政策预期将如何对目标效果产生作用。政策背后的逻辑越复杂,就越应该考虑其他因素对政策效果的影响。5.在政策制定的早期就明确所需回答的问题及所需的评价类型,有助于评价的设计和确定所需的专业知识。 第三章在政策设计中考虑影响3.1概述本章更为详细地讨论了影响评价,以及政策设计过程中一些细微的调整能够提高评价的质量和可靠性。3.2在设计政策时考虑影响评价1、高质量影响评价的关键之一就是估测出可靠的
29、反事实结果:如果没有实施该政策将会发生什么。这通常是影响评价中非常困难的部分,因为除了政策本身外,总有大量的其他因素能影响公共政策效果的测度。影响评价有多种方法,能将政策带来的影响与其他因素带来的影响区分开。这些方法成功与否主要取决于它们能否通过建立“对照组(或控制组)”来进行反事实情景分析。而这二点在很大程度上受到政策“部署”的制约,也就是何时、何地、对谁执行了,谁或哪些地区在什么时候获得该政策。2、政策的设计和执行影响着其评价结果的可信度。政策执行的微小调整都能造成不同的结果,即能够进行可靠的影响评价或者根本无法获得任何有价值的政策影响证据。本章简要介绍了对照组在改善政策评价方面的作用,并
30、简要举例说明细微的政策调整是如何提高评价可靠性的。最后,本章讨论了在判断这些政策调整是否合理时应该考虑哪些因素。 3.3对照组在确定政策影响中的作用1、影响评价通常需要确保部分个人、人群或地区在政策实施的某个时点不受该政策影响,以此来进行反事实情景估测。这样,就能对政策覆盖的人群和未覆盖的人群进行比较。举个简单的例子,对于一项药品实验,一组参与者(“治疗”组)接受药物治疗,另一组(“对照”或“控制”组)使用安慰剂,通过严格的随机取样程序随机决定谁服用药物或安慰剂。接下来,只要保证治疗组和控制组在其他相关方面情况相似,就可以进行相互对比。如果在两组之间观察到任何不同的结果,就有理由认为(在特定的
31、技术假设条件下)是该项政策(治疗)造成了这种差异。 2、将这一简单情景运用于公共政策则存在两个明显的困难。1)首先,实际接受政策(“治疗”)的地区或个体与不接受政策的地区或个体之间,往往存在明显、实质性的差别。降低犯罪率的政策总是在犯罪率较高的地区执行,且执行力度更大。参与就业援助计划的人员往往工作技能不足、教育程度较低,居住在经济状况较差的地区。参与药物滥用治疗的人通常更具有改善生活状况、减少药物开支的动力。如此一来,治疗组与控制组之间的差异,不仅在于一方接受干预措施而另一方没有,同时还在于二者固有的特征有很大的不同。二者间的比较就好比是对比“苹果和梨”,我们无法区分观察到的不同结果是由于预
32、措施造成的,还是其他因素造成的。2)其次,社会干预措施往往不能不顾需求、正当性等因素而随机选择对象组予以实施。因此,通常并不存在符合要求却被有意排除在干预措施之外的对象。那些未接受干预措施的人群或地区往往不适合该政策,因此与接受措施的人群或地区存在着系统性的差异。如此一来,很难找到与政策目标人群特征相似却未接受政策的对照组。 3.4可以对政策进行哪些调整,为什么?1、控制政策的部署(哪些个人或地区在何时接受什么样的干预措施)对成功开展影响评价起到关键的作用,因为它影响到是否存在合适的对照组。公共政策干预措施的部署方式往往与开展高质量的影响评价存在冲突,但对政策部署进行某些细微的调整,就能显著提
33、高影响评价的质量。本课程的第二部分将简要解释这类调整。2、初看起来,按照这些方式来考虑评价似乎要求在政策有效性方面做出让步。有人可能会担心对影响评价进行规划会推迟政策的启动。有人会认为政策没有完全瞄准那些最“需要”的对象会减少政策受益者的收益。还有人认为建立对照组使得这部分人群无法接受政策,减少了受益人数。通过精心的评价设计,我们能对上述看法进行有力的反驳。3、政策开始实施的时点。良好的项目管理需要避免政策执行的延迟。在制定政策的同时也要为评价做好准备。有利于影响评价的政策部署机制大多只需要在实践过程中做出细微调整,不会造成政策实施的重大延迟。只要在政策制定阶段尽早考虑评价问题,那么高质量的影
34、响评价不会造成政策实施的延迟。 4、有人认为政策执行的调整会降低其有效性,或者随机部署会引发道德问题,即政策没有落实到最需要的对象中。至少对于效果或经济价值不确定的政策来说,开展影响评价的一个主要原因就是为了确定该项政策是否有效或是否有经济价值。在这些情况下,暂时的限定实施或随机部署等调整并不一定会降低政策的有效性。反之,评价可以避免今后资源浪费在无效或无经济价值的政策上,反而会提高政策整体的有效性。5、即使某项政策开始实施时限是在一定范围内(例如试点或分步实施),之后的实施还是有可能采取非随机的方法,针对那些被视为最需要的对象。这么做也许能够“安抚”那些对政策效果心存顾虑的人,但也可能会给最
35、终评价带来负面影响。不但更难获取可靠的结果(由于前面提及的“苹果和梨”原因),而且获取的结果也不能适用于政策广泛实施推广时涉及的所有地区或个人个体。这将给评价的推断过程带来更大困难。6、显然,影响评价有其特定要求。多数情况下,在政策制定过程中采取相对简单的措施就能满足这些要求。我们必须认识到上文所讨论的风险,但不应该夸大这些风险,或是将其作为不开展高质量评价的惯用借口?有时由于各种压力,需要尽快地实施政策,无暇考虑随后的评价工作。即使遇到这种情况,还是应该在确定了政策实施方式,并考虑了实施方式对评价和证据的影响后再做决定。有时,给政策实施施加压力,意味着施压者未意识到这种做法会给评价带来的负面
36、影响,或者简单地认为评价的需求很容易得到满足。 本章小结1.影响评价有其特殊要求,在政策设计阶段就考虑这些要求有利于将来开展影响评价。这是因为需要分析如果没有该项政策将会出现什么情况(通常是通过检验对照组,即未受政策影响的个人或地区来实现的)2.政革设计上的细微调整就能显著地改善评价方案,提高评价质量。反之,如果未能及早考虑评价事宜可能会限制评价方案和所获证据的可信度。3.在考虑影响评价是,需要同时考虑随机控制试验和试点方法。如果该方法不适用,政策执行的替代方式,如基于评分结果的分步实施和部署方式,能显著地加强评价。4.这类调整并不会导致政策实施延迟或复杂化。但是,如果由于其他更为重要的因素而
37、导致政策制定者不去考虑这些问题,那他们只能在对不同政策执行方式以及每种方式的优缺点惊醒全面检验后才能这么做。 第四章评价设计需考虑哪些实际操作问题4.1概述第一章到第四章介绍了评价的关键理论概念,以及它们对政策设计的意义。本章将讨论在评价的规划过程中需要考虑的实际问题,包括何时需要进行评价、如何评价以及评价所需的资源。 4.2评价的主要步骤规划和开展评价涉及到多个步骤和需要考虑的问题。在早期制定严密的计划对评价大有禅益,能保证所有方面都考虑周全,同时有助于指导评价活动。表2列举了与之相关的步骤。课程的第二部分将对这些步骤进行更为详细地介绍。表2评价规划的步骤评价步骤需考虑的问题界定政策目标和预
38、期效果在特定的政策背景下,关于投入是如何带来产出、效果和影响的逻辑或理论是什么?考虑政策设计对评价可行性的影响能否采取适当的步骤提高评价的质量?在政策执行过程中,哪些调整既能提高评价的可行性,又仍然符合政策的整体目标?确定评价的报告对象谁是评价结果的主要使用者,他们将如何参与到评价中?确定评价目标和需研究的问题政策制定者需要知道计划带来了哪些变化,以及计划是如何实施的?评价的范围包括哪些?选择评价方法需进行影响评价、过程评价还是二者都包括?是否需要进行经济评价?评价的内容和深度。评价要达到什么样的有效程度?确定所需的数据应当评价什么时点的影响?需要哪些数据?具备哪些数据?还需要收集哪些数据?谁
39、来负责数据收集,需遵循什么样的程序?明确所需的资源和管理机制政策的规模/受关注度如何,评价需要哪些资源?评价的预算是多少,是否与评价要求相一致?预算中是否包含足够的预留费用?谁是政策的实施方,谁负责提供分析支持,以及谁参与指导小组工作?评价的质量保证程序是什么?评价步骤需考虑的问题开展评价是进行外部评价还是内部评价?谁将负责编写评价说明、招标、项目管理和质量保障?何时开始收集一手数据?是否需要对研究工具进行试点或认知测试?评价何时开始何时结束?使用和扩散评价发现评价发现将用于哪些方面?将有助于做出哪些决策?如何分享和扩散评价的发现评价发现如何为政策周期提供反馈? 4.3如何确保评价满足要求:管
40、理和质量控制1、质量控制对于评价至关重要。否则,就无法保证评价方法和结果达到高标准或是满足评价目的。这意味着,所获得的证据不足以回答评价所需解决的问题,或是不足以为政策制定过程提供可靠的信息。质量控制主要包括以下几点:质量控制能保证评价设计、规划和实施的合理开展,并符合专业标准(例如道德标准)和分析的最低要求;质量控制的信息来源于管理机构(如评价指导小组、其他利益相关者、评价小组、评价委托机构中的评价管理者、外部评议人(外部专家),以及适当情况下委托的研究小组等;质量控制将保证数据收集、评价方法以及报告和解释评价发现的一致性。2、没有良好的质量控制,评价的结论就不可靠。因此,评价中必须包括质量
41、控制程序,以便及时发现和纠正评价方法、设计、数据收集等过程中的不足,从而减轻和避免对评价结果或可信度带来的不良影响。要做到这一点,可以采用执行部门现有的研究和评价质量标准和程序,并与政府分析和评价专家密切合作。评价委托机构中的评价管理者应负责质量控制标准的执行,聘请外部审核人员和/或进行同行评议也能发挥质量控制的作用,这通常也是标准的做法。 3、要想符合质量原则和标准,评价管理通常要做到独立、广泛参与、透明和高质量:研究人员的独立性和客观性对于任何评价都尤为重要。但是,这并不意味着必须使用外部评价机构或与评价小组保持距离,因为在保持独立和客观的同时,研究团队与政策制定实施者间的紧密互动对于有效
42、开展评价有着重要作用;将政策实施对象、实施机构或利益相关者都纳入进来(如建立指导小组)将有助于从评价中学习,也有助于提高对评价结果的接受程度。但这是一个不断沟通和参与的过程,需要进行积极地管理,包括提高对评价的认识,获取对评价设计的反馈,以及就评价范围、初步结论和最终结论进行沟通等;任何评价都必须透明,尤其是对高风险或创新型政策的评价。评价方案应包括评价的目标和问题、评价方式、时间表及对评价发现的使用。反之,这也将促进利益相关者的参与,发现并管理可能的问题与风险,认可评价产出与实施节点。评价报告应公开并包括技术细节,以便他人能够评判评价发现是否有效;评价方案和/或最终报告的质量要通过必要的分析
43、标准进行评判:a)所设计的评价能否提供有力的证据用以回答评价问题,和/或b)评价发现和结论的阐述是否准确、清晰。 4.4评价时点的选择1、当一项新政策在执行过程中开始遇到困难的时候,通常就可以开展过程评价,它有助于解决这类问题。在过程评价之后开展影响评价可能更好,这样分析人员和政策制定者能更加确信影响评价测度的是政策本身,而不是政策实施问题带来的结果。当然,这可能会延长整个评价的周期。虽然通常会获得有价值的评价结果,但有时候针对一项新政策的过程评价和影响评价需要花费几年的时间才能完成。2、评价时点还会受政策效果和特殊关注点的影响。有的政策影响需要很长时间(例如几年)才会显现,在过程评价中同时评
44、价这些影响是不可行的,因为成本太高。在此情况下,政策执行后一段时间开展影响评价,可能是测度这些影响唯一可行的选择,但此时评价对政策的执行或推广作用可能较小。3、回溯性影响评价使用现有数据资源,通常不受政策执行的影响,有时几周之内就能完成。但是,仅依靠行政管理数据往往会限制评价的作用,无法全面解释为什么预期影响会发生、如何发生。 4.5评价需要哪些类型的资源?为了确保评价的合理设计和成功开展,分析人员和政策制定者需要做大量的工作。不管是委托外部评价还是内部评价,都是如此。要尽早考虑评价所需的各种资源,最好是在政策设计阶段就予以考虑。表3列举了可能需要的资源类型。表3评价所需的资源类型资源类型描述
45、资金资源大部分评价成本发生在政策执行之后。因此,在编制政策预算时就应考虑评价所需的资金资源。如果能够使用现有的数据和/或监测活动所收集的数据,会大大降低评价成本。如果政策是全新的,或其目标结果不同寻常或是难以测量,那么就需要经费来支持数据收集活动管理资源内部评价和外部评价都需要尽职的项目经理(具有专业技术知识,以保证评价质量)。其职责包括:委托评价任务(外部评价),日常管理,向评价受委托方提供建议,以及对评价议题做出反应。虽然管理投入主要集中在几个关键环节(尤其是设计和任务委托阶段),但管理投入是持续性的,不要低估专家资源由于许多评价涉及诸多学科,因此必须考虑到机构内部有哪些方面的分析专家(如社会学专家、经济学家、统计学家、运筹学研究人员及职业心理学家等),能在需要的时候提供建议,并帮助设计评价方法和评价产出。他们还能就政策设计对不同类型评价可行性的影响方面给出意见。这样可以确保评价设计能为回答评价问题提供证据,同时如有必要,也保证能聘请到胜任的评价人员。专家还能在指导评价和保证评价产出质量方面发挥作用政策执行机构成功的评价往往取决于政策执行机构和个人在早期就开始介入评价,并不断与评价人员保持合作。重要的是,要与他们沟通评价的目的,他们需要投入什么,以及他们将如何从评价发现中获益更广
限制150内