More alike than different? A comparison of variance explained by cross-cultural models

Abstract

Relatively little is known about the extent to which culture moderates findings in applied psychology research. To address this gap, we leverage the metaBUS database of over 1,000,000 published findings to examine the extent to which six popular cross-cultural models explain variance in findings across 136 bivariate relationships and 56 individual cultural dimensions. We compare moderating effects attributable to Hofstede’s dimensions, GLOBE’s practices, GLOBE’s values, Schwartz’s Value Survey, Ronen and Shenkar’s cultural clusters, and the United Nations’ M49 standard. Results from 25,296 multilevel meta-analyses indicate that, after accounting for statistical artifacts, cross-cultural models explain approximately 5–7% of the variance in findings. The variance explained did not vary substantially across models. A similar set of analyses on observed effect sizes reveal differences of |r| = .05–.07 attributable to culture. Variance among the 136 bivariate relationships was explained primarily by sampling error, indicating that cross-cultural moderation assessments require atypically large sample sizes. Our results provide important information for understanding the overall level of explanatory power attributable to cross-cultural models, their relative performance, and their sensitivity to variance in the topic of study. In addition, our findings may be used to inform power analyses for future research. We discuss implications for research and practice.

Résumé

Relativement limitée est notre connaissance de l’ampleur des effets modérateurs de la culture sur les résultats de la recherche en psychologie appliquée. Pour y remédier, nous nous appuyons sur plus de 1 000 000 résultats publiés dans la base de données metaBUS, afin d’examiner dans quelle mesure les six modèles interculturels populaires expliquent la variance des résultats dans 136 relations bivariées et 56 dimensions culturelles individuelles. Nous comparons les effets modérateurs attribuables aux dimensions de Hofstede, aux pratiques de GLOBE, aux valeurs de GLOBE, à l’enquête sur la valeur de Schwartz, aux clusters culturels de Ronen & Shenkar et à la norme M49 des Nations Unies. Les résultats de 25 296 méta-analyses multiniveaux indiquent qu'après avoir pris en compte des artefacts statistiques, les modèles interculturels expliquent environ 5 à 7% de la variance des résultats. La variance expliquée ne variait pas substantiellement d'un modèle à l'autre. Une série d'analyses similaires sur les ampleurs des effets observées révèle des différences de | r | = 0,05–0,07 imputables à la culture. La variance entre les 136 relations bivariées a été principalement expliquée par une erreur d'échantillonnage, ce qui indique que les évaluations des effets modérateurs interculturels nécessitent des tailles d'échantillon exceptionnellement grandes. Nos résultats apportent des renseignements importants pour comprendre le niveau global de pouvoir explicatif attribuable aux modèles interculturels, leur performance relative et leur sensibilité à la diversité des objets de recherche. De plus, nos résultats peuvent renseigner de futures recherches sur des analyses de pouvoir. Sont également discutées des implications pour la recherche et la pratique.

Resumen

Relativamente poco se conoce sobre hasta qué punto la cultura modera los hallazgos de la investigación en psicología aplicada. Para abordar esta brecha, nos apalancamos en la base de datos meta BUS de más de 1’000.000 de resultados publicados para examinar hasta que punto seis modelos transculturales populares explican la varianza de los resultados en 136 relaciones bivariadas y 56 dimensiones culturales individuales. Comparamos los efectos moderados atribuibles a las dimensiones de Hofstede, las prácticas de GLOBE, los valores de GLOBE, la encuesta de valores de Schwartz, los clústeres culturales de Shenkar, y el estándar M49 de las Naciones Unidos. Los resultados de 25.296 meta-análisis multinivel indican que, después de contabilizar los artefactos estadísticos, los modelos transculturales explican solamente entre el 5 y 7% de la varianza en los hallazgos. La varianza explicada no varió sustancialmente entre los modelos. Un conjunto similar de análisis sobre los tamaños de los efectos observados revela diferencias de |r| = .05–.07 atribuible a la cultura. La varianza entre las entre las 136 relaciones bivariadas fue explicada se explica principalmente por un error de muestreo, con esto indicando que las evaluaciones de la moderación transcultural requieren tamaños de muestra atípicamente grandes. Nuestros resultados proporcionan información importante para entender el nivel general de poder explicativo atribuible a los modelos transculturales, su desempeño relativo, y su sensibilidad a la varianza en el tema de estudio. Adicionalmente, nuestros hallazgos pueden ser usados para informar sobre los análisis de potencia para futuras investigaciones. Discutimos las implicaciones para la investigación y la práctica.

Resumo

Relativamente pouco se sabe sobre até que ponto a cultura modera descobertas na pesquisa em psicologia aplicada. Para abordar essa lacuna, aproveitamos o banco de dados metaBUS de mais de 1.000.000 descobertas publicadas para examinar até que ponto seis modelos interculturais populares explicam a variância nas descobertas em 136 relações bivariadas e 56 dimensões culturais individuais. Comparamos efeitos moderadores atribuíveis a dimensões de Hofstede, a práticas GLOBE, a valores do GLOBE, a Pesquisa de Valor de Schwartz, a clusters culturais de Ronen & Shenkar e ao padrão M49 das Nações Unidas. Resultados de 25.296 meta-análises multiníveis indicam que, após contabilizar artefatos estatísticos, modelos transculturais explicam aproximadamente 5-7% da variância nos resultados. A variância explicada não variou substancialmente entre os modelos. Um conjunto semelhante de análises sobre os tamanhos do efeito observado revela diferenças de | r | = 0,05-0,07 atribuível a cultura. A variância entre as 136 relações bivariadas foi explicada principalmente por erro de amostragem, indicando que avaliações de moderação intercultural requerem tamanhos de amostra atipicamente grandes. Nossos resultados fornecem informações importantes para a compreensão do nível geral de poder explicativo atribuível a modelos transculturais, seu desempenho relativo e sua sensibilidade à variância no tópico de estudo. Além disso, nossos resultados podem ser usados para informar análises de poder para pesquisas futuras. Discutimos implicações para pesquisa e prática.

摘要

在应用心理学研究中, 文化调节研究发现的程度知之甚少。为了解决这一差距, 我们用metaBUS数据库中超过1,000,000篇已发表的研究发现, 来检验六个流行的跨文化模型在136种双变量关系和56种个体文化维度上解释研究发现方差的程度。我们比较了霍夫斯泰德的维度、GLOBE的实践、GLOBE的价值观、施瓦茨的价值观调查、Ronen和Shenkar的文化集群, 以及联合国M49标准的缓和效应。来自25,296项多级荟萃分析的结果表明, 在考虑了统计假象后, 跨文化模型解释了研究发现方差的大约5-7%。所解释的方差在模型之间没有很大的不同。一组对所观察的效应大小的类似分析揭示了| r | = .05-.07的差异归因于文化。136个二元关系之间的方差主要来自抽样误差, 这表明跨文化缓和评估需要非典型的大样本量。我们的结果为理解跨文化模型的整体解释能力、它们的相对表现和它们对研究课题方差的敏感度提供了重要信息。此外, 我们的发现可用于对未来研究提供能力分析信息。我们讨论了对研究和实践的启示。