ABSTRACT

Recent evaluations have begun to use qualitative data in a manner that helps improve the quality and relevance of studies through the inferences that are drawn from them, and their applicability to policy makers and programme implementers. This paper reviews this work and identifies good practices to integrate qualitative methods into quantitative impact evaluations (IEs) and systematic reviews (SRs). Using recent literature on the characteristics of such practices, we developed two tools to assess the methodological rigour and mixed methods integration of 40 IEs and 7 SRs, drawing upon previous approaches. Our findings are that successful mixed methods quantitative impact evaluations: (1) provide a clear rationale for integration of methods; (2) deploy multidisciplinary teams; (3) provide adequate documentation; and (4) acknowledge limitations to the generalisability of qualitative and quantitative findings. Successful integration tended to improve mixed methods impact evaluations by collecting better data to inform the study design and findings, which helped contextualise quantitative findings. Our main observation on the integration of mixed methods in the systematic reviews is that mixed methods systematic reviews bringing together literatures that answer different questions can go beyond the ‘sum of their parts’ to provide holistic answers about development effectiveness. The findings of this study inform several recommendations to improve the conduct and reporting of mixed methods impact evaluations and systematic reviews.

摘要

最近的评估已开始使用定性数据，其方式可通过从研究中得出的推论及其对政策制定者和计划实施者的适用性来帮助提高研究的质量和相关性。本文回顾了这项工作，并确定了将定性方法整合到定量影响评估（IE）和系统评价（SR）中的良好做法。利用有关此类行为特征的最新文献，我们在以前的方法的基础上，开发了两种工具来评估40个IE和7个SR的方法严谨性和混合方法集成。我们的发现是成功的混合方法定量影响评估：（1）为方法整合提供了明确的理由；（2）部署多学科团队；（3）提供足够的文件；（4）承认对定性和定量结果普遍性的限制。成功的整合往往会通过收集更好的数据来为研究设计和发现提供信息，从而改善定量方法的研究背景，从而改善混合方法的影响评估。我们对混合方法在系统评价中的整合的主要观察结果是，混合方法系统评价汇集了回答不同问题的文献，可以超越“部分和”，从而提供有关开发有效性的整体答案。这项研究的发现为改善混合方法影响评估和系统评价的实施和报告提供了一些建议。成功的整合往往会通过收集更好的数据来为研究设计和发现提供信息，从而改善定量方法的研究背景，从而改善混合方法的影响评估。我们对混合方法在系统评价中的整合的主要观察结果是，混合方法系统评价汇集了回答不同问题的文献，可以超越“部分和”，从而提供有关开发有效性的整体答案。这项研究的发现为改善混合方法影响评估和系统评价的实施和报告提供了一些建议。成功的整合往往会通过收集更好的数据来为研究设计和发现提供信息，从而改善定量方法的研究背景，从而改善混合方法的影响评估。我们对混合方法在系统评价中的整合的主要观察结果是，混合方法系统评价汇集了回答不同问题的文献，可以超越“部分和”，从而提供有关开发有效性的整体答案。这项研究的发现为改善混合方法影响评估和系统评价的实施和报告提供了一些建议。我们对混合方法在系统评价中的整合的主要观察结果是，混合方法系统评价汇集了回答不同问题的文献，可以超越“部分和”，从而提供有关开发有效性的整体答案。这项研究的发现为改善混合方法影响评估和系统评价的实施和报告提供了一些建议。我们对混合方法在系统评价中的整合的主要观察结果是，混合方法系统评价汇集了回答不同问题的文献，可以超越“部分和”，从而提供有关开发有效性的整体答案。这项研究的发现为改善混合方法影响评估和系统评价的实施和报告提供了一些建议。