Vignette methods are widely used in psychology and the social sciences to obtain responses to multi-dimensional scenarios or situations. Where quantitative data are collected this presents challenges to the selection of an appropriate statistical model. This depends on subtle details of the design and allocation of vignettes to participants. A key distinction is between factorial survey experiments where each participant receives a different allocation of vignettes from the full universe of possible vignettes and experimental vignette studies where this restriction is relaxed. The former leads to nested designs with a single random factor and the latter to designs with two crossed random factors. In addition, the allocation of vignettes to participants may lead to fractional or unbalanced designs and a consequent loss of efficiency or aliasing of the effects of interest. Many vignette studies (including some factorial survey experiments) include unmodeled heterogeneity between vignettes leading to potentially serious problems if traditional regression approaches are adopted. These issues are reviewed and recommendations are made for the efficient design of vignette studies including the allocation of vignettes to participants. Multilevel models are proposed as a general approach to handling nested and crossed designs including unbalanced and fractional designs. This is illustrated with a small vignette data set looking at judgements of online and offline bullying and harassment.

中文翻译：

---

心理学中小插曲数据的统计建模

小插图方法广泛用于心理学和社会科学，以获得对多维场景或情况的反应。在收集定量数据的地方，这对选择合适的统计模型提出了挑战。这取决于小插图设计和分配给参与者的微妙细节。一个关键的区别是因子调查实验，其中每个参与者从可能的小插图的整个宇宙中接收不同分配的小插图和放宽此限制的实验小插图研究。前者导致具有单个随机因子的嵌套设计，后者导致具有两个交叉随机因子的设计。此外，将插图分配给参与者可能会导致设计不完整或不平衡，从而导致效率损失或感兴趣的效果混叠。许多小插图研究（包括一些因子调查实验）包括小插图之间未建模的异质性，如果采用传统的回归方法会导致潜在的严重问题。审查了这些问题并提出了有效设计小插图研究的建议，包括为参与者分配小插图。多级模型被提议作为处理嵌套和交叉设计（包括不平衡和部分设计）的通用方法。这一点用一个小的插图数据集来说明，该数据集着眼于对线上和线下欺凌和骚扰的判断。许多小插图研究（包括一些因子调查实验）包括小插图之间未建模的异质性，如果采用传统的回归方法会导致潜在的严重问题。审查了这些问题并提出了有效设计小插图研究的建议，包括为参与者分配小插图。多级模型被提议作为处理嵌套和交叉设计（包括不平衡和部分设计）的通用方法。这一点用一个小的插图数据集来说明，该数据集着眼于对线上和线下欺凌和骚扰的判断。许多小插图研究（包括一些因子调查实验）包括小插图之间未建模的异质性，如果采用传统的回归方法会导致潜在的严重问题。审查了这些问题并提出了有效设计小插图研究的建议，包括为参与者分配小插图。多级模型被提议作为处理嵌套和交叉设计（包括不平衡和部分设计）的通用方法。这一点用一个小的插图数据集来说明，该数据集着眼于对线上和线下欺凌和骚扰的判断。审查了这些问题并提出了有效设计小插图研究的建议，包括为参与者分配小插图。多级模型被提议作为处理嵌套和交叉设计（包括不平衡和部分设计）的通用方法。这一点用一个小的插图数据集来说明，该数据集着眼于对线上和线下欺凌和骚扰的判断。审查了这些问题并提出了有效设计小插图研究的建议，包括为参与者分配小插图。多级模型被提议作为处理嵌套和交叉设计（包括不平衡和部分设计）的通用方法。这一点用一个小的插图数据集来说明，该数据集着眼于对线上和线下欺凌和骚扰的判断。