影响评估(影响评估的十大误区)

清华大学公共管理学院副教授、清华大学慈善研究院副院长贾西津:

影响评估是“结果说话”和“数据说话”两个维度的交集。“结果说话”是什么意思，你可能会忽略？可能会忽略要解决的问题，在流程执行前忙于显示性能。“数据说话”是什么意思，你可能会忽略？他们可能会忽略假设、理论，测试，思考，或者使用更简单的方法收集信息。

这正是本文作者列出的不适合评价影响力的4大类10种情况，即漫无目的、评论不做、无能、无用之举。作者为每种情况提出的替代方案是回到被忽视的一面。如果“建立合适的数据系统”是作者想提出的实践原则，那么背后的问题更值得利益相关者关注:工具好，数据好，但不要忘记时刻反思，回归目的。

良好的影响评估可以为相关的政策问题提供严谨的答案，并促进相关领域的知识、政策和做法的发展。然而，大量的金钱和时间仍然浪费在设计不良、执行不良和构思不良的影响评估项目上。

影响力的泛滥不仅会导致劣质研究和资金浪费，还会分散和抢夺数据收集所需的资源，而正确的数据收集方法可以帮助组织提高项目绩效。

为了建立一个合适的证据体系，不仅要考虑什么时候衡量影响，还要考虑什么时候不衡量影响。

01.影响评估不是重中之重。

既然影响评估如此重要，我们为什么要提倡限制它的使用呢？评价影响力快速上升的背后，是数据收集和分析成本的大幅下降。在过去，非营利组织可能会认为收集数据太耗时、太昂贵，但现在收集、存储和分析数据的成本已经大大降低了。

衡量项目成果变得更加容易，公共和社会部门对问责制有了更多的要求。像盖茨基金会这样的资助机构要求被资助的组织提供他们影响力的证据。社会影响债券和基于成果的支付通过将资金与经证明的成果挂钩来支持有效的行动。

虽然目前影响评估的趋势大多是积极的，但强制要求展示影响也造成了资源的浪费，使项目监控与影响评估妥协，也助长了影响的劣质甚至误导性表达。比如很多机构收集的数据超出了手头资源的分析范围，导致时间和人力的浪费。糟糕的影响评估还可能导致误导甚至完全错误的结果，从而导致未来决策的偏差。

这种浪费很大程度上来自于对“影响力”这个词的滥用。影响力不仅仅是一个流行语，更是一种因果关系。它告诉我们一个项目或组织如何改变了我们周围的世界。换句话说，影响评估必须包括对项目不存在的情况的评估，即评估者所说的“反向事实”。如果条件允许，创造一个反向事实最直接的方法就是随机对照试验。

在接下来的篇幅中，我们将列出10种不适合评估影响力的情况，并在此基础上提出一个建立合适的监测和评估体系的框架，帮助非营利组织找到问责、学习和改进等不同场合所需的数据。

02.影响评价的十大误区

影响力评价的10大误区可以分为四种:漫无目的、评论不做、不能随心所欲、无用。在下文中，我们将详细解释这10个误解，同时为热衷于影响评估的人们提供替代方法的建议。

类型1

漫无目的:没有找到合适的评价手段。

1.手段和目标不匹配。

在评估一个项目的时候，可以思考以下几个问题:一个成功或失败项目的客户背后有什么故事？能否通过改进运营模式来降低同样服务的成本？我们是在为目标群体服务吗？

这些通常是主要利益相关者想要知道的问题。这些问题有些可以用数据来回答，有些则很难处理。但关键的一点是，这些问题的答案并不是影响力的衡量标准。

备选方案:为了回答这些问题，数据收集和分析必须更准确地关注所提出的问题。需要反馈数据来了解目标人群的满意度。提高项目实施的成本效益需要的是每个地方、产品或服务的具体成本数据。这些是需要收集的重要项目监测数据，但都不需要进行影响评估。

类型2

不予置评:评价时机尚未成熟。

2.项目设计不到位。

运用变革理论是设计监测或评估的第一步。变更理论解释了项目应该包含什么，需要做什么工作，以及预期的结果是什么变更。没有类似的梳理，执行人员无法对项目如何操作、为什么要操作有清晰的认识，可能导致执行中出现巨大偏差。如果在测试变革理论中的关键假设之前进行大规模的影响评估，很可能导致对如何解释结果的误导和不同意见。

替代方案:验证变革理论中的基本步骤是影响评估之前的关键。以一个通过向孕妇传播有关儿童健康发育和营养的信息来改善产前保健结果的项目为例。在不知道准妈妈们是否会参加培训并采用推荐的做法之前，就开始影响评估是没有意义的。所以首先要保证的是项目的基本参与。

如果一个变革理论还在构建过程中，那么显然需要围绕项目构建一个理论，根据项目实施的每一步来检验相应的假设，并收集数据进行检验，然后收集项目实施和使用的监测数据，最后评估影响。

3.项目实施不力。

如果发现一个执行不好的项目缺乏影响力，这样的评价很难说清楚。这一发现是执行不力的结果，还是因为内乱等外部因素？无论如何，如果项目实施效果不佳，此时确实不宜进行影响评价。

替代方案:收集高质量的监测数据，并将其用于改善项目的实施。评估员可以与项目负责人合作改进实施，或者决定某个组织不适合进行影响评估。

4.太晚了。

当一个项目的规模已经扩大，但没有进一步扩大的计划时，人们往往希望进行影响评估。但是，这个时候可能已经晚了。

替代方案:为未来扩张做计划。这个项目会在其他地方扩展吗？如果有，考虑影响评估是否可行。此外，如果这个项目随着非营利组织的学习和改进有了很大的改变，那么影响评估可能是合适的时机。

类型3

不充分:没有足够的能力完成评估。

5.资源不够。

资源有限会从两个方面影响评价的质量:项目规模可能太小，或者资源太少，无法进行高质量的评价。

替代方案:如果你的规模有限，不要试图勉强回答关于影响力的问题，而是考虑其他选项。因为你面临的大部分问题在别处已经有了答案。通过查阅文献，可以了解到其他相关评价对此是如何回应的。如果资金有限，非营利组织需要重新考虑成本的构成。数据的获取是评估的主要成本。然而，随机对照试验的随机部分实际上是免费的。

6.项目的间接影响无法确定。

许多项目包含对项目变更理论至关重要的间接影响。例如，一个农业信息干预项目不仅向农民传授新技术，还希望他们与邻居分享所学。正确衡量这些间接影响对于理解项目的实际影响非常重要。

备选方案:项目间接影响的评价可以成为高质量评价的重要组成部分。在考虑如何处理间接影响时，我们应该首先回顾现有的文献和理论，以预测这些因素的重要性。

7.项目环境中的变量太多。

有些情况不适合进行影响评估。例如，许多救灾行动必须随着情况的变化而不断调整。此时，严格按照设计方案，会增加成本，影响项目实施质量。

替代方案:跟踪项目的实施情况，收集可用于加强项目的其他管理数据。比如考虑是否有有价值的运营问题。一些操作测试可以帮助改进实现，例如:通过短信提醒客户端会影响短期行为吗？

8.执行水平“高不可攀”。

想想货币或贸易政策。这种改革通常发生在国家层面，在全国范围内进行政策的随机对照试验显然不可行。同样，政策宣传活动往往针对更高层次，如国家或区域，因此不容易进行影响评估。

替代方案:如何预期政策变化的清晰理论是关键。然后，是跟踪执行情况，获取反馈信息，收集管理数据，以显示该理论所隐含的变革是否如期发生。

类型4

无用:重复评价或无评价价值。

9.重复评估。

在某些情况下，一个项目是否有效可以通过另一个项目或一系列研究来回答。此时，另一个影响评估不会带来任何新的收获。

替代方案:拒绝不必要的影响评估，找一个好的理论依据，证明现有的证据可以应用到手头的项目上。简而言之，评估现有研究的适用性，两个主要条件非常重要:第一，被评估项目的理论必须与你的相似；其次，项目的背景特征要相对清晰，与手头的项目背景相似。

10.没有应用价值。

影响评估不仅要显示项目是否有效，还要帮助揭示项目为什么有效。如果不能回答“为什么”，评价只对实施项目的组织和具体项目有用，没有可以推广的知识和经验，那么就不应该进行影响评价。该标准适用于规模扩张可能性不大的项目。

替代方案:如果一个项目缺乏扩展或复制的潜力，那么最好的行动计划是测量实施情况，以确保项目的实施符合预期。如果需要关于“为什么”的答案，那么清晰的项目理论和高质量的实施数据可以帮助了解这个项目为什么有效。但是，在这种情况下，评估投资影响是不合适的。

本文提出的关于影响评估的问题，可以理解为从另一个角度思考在合适的时间为决策者做出更有用、更严谨的评估的必要性。当非营利组织或项目没有准备好进行影响评估时，他们仍然需要高质量的数据来辅助决策或改进项目模型的实施。当一个或几个随机评价表明某个模型确实有效，准备扩大规模时，一个基于完美变化理论的监控系统是关键环节，在项目规模扩大时可以保证实施的质量。在过渡时期，我们希望将大家的注意力转向建立有助于组织学习和改进的证据体系。

本文发表于《斯坦福社会创新评论》中文版第06期。

作者:Mary Kay Gugerty，华盛顿大学丹尼尔·j·埃文斯公共事务学院非营利管理教授，南希·贝尔·埃文斯非营利和公益中心学术主任；

西北大学凯洛格管理学院经济学和金融学教授迪恩·卡兰(Dean Kahlan)也是巴菲特全球研究学院全球贫困研究实验室的联合主任，扶贫创新倡议的创始人和ImpactMatters的联合创始人。

译者:廖爱万。