Bayesian optimal experiments that maximize the information gained from collected data are critical to efficiently identify behavioral models. We extend a seminal method for designing Bayesian optimal experiments by introducing two computational improvements that make the procedure tractable: (1) a search algorithm from artificial intelligence that efficiently explores the space of possible design parameters, and (2) a sampling procedure which evaluates each design parameter combination more efficiently. We apply our procedure to a game of imperfect information to evaluate and quantify the computational improvements. We then collect data across five different experimental designs to compare the ability of the optimal experimental design to discriminate among competing behavioral models against the experimental designs chosen by a “wisdom of experts” prediction experiment. We find that data from the experiment suggested by the optimal design approach requires significantly less data to distinguish behavioral models (i.e., test hypotheses) than data from the experiment suggested by experts. Substantively, we find that reinforcement learning best explains human decision-making in the imperfect information game and that behavior is not adequately described by the Bayesian Nash equilibrium. Our procedure is general and computationally efficient and can be applied to dynamically optimize online experiments.

最大化从收集到的数据中获得的信息的贝叶斯最优实验对于有效识别行为模型至关重要。我们通过引入两个使程序易于处理的计算改进扩展了设计贝叶斯最优实验的开创性方法：（1）来自人工智能的搜索算法，可有效探索可能的设计参数的空间，以及（2）评估每个的采样程序更有效地设计参数组合。我们将我们的程序应用于不完美信息的游戏，以评估和量化计算改进。然后，我们收集五个不同实验设计的数据，以比较最佳实验设计区分竞争行为模型的能力与“专家智慧”预测实验选择的实验设计的能力。我们发现，与专家建议的实验数据相比，优化设计方法建议的实验数据需要更少的数据来区分行为模型（即检验假设）。实质上，我们发现强化学习最能解释不完美信息博弈中的人类决策，而贝叶斯纳什均衡并未充分描述行为。我们的程序通用且计算效率高，可用于动态优化在线实验。我们发现，与专家建议的实验数据相比，优化设计方法建议的实验数据需要更少的数据来区分行为模型（即检验假设）。实质上，我们发现强化学习最能解释不完美信息博弈中的人类决策，而贝叶斯纳什均衡并未充分描述行为。我们的程序通用且计算效率高，可用于动态优化在线实验。我们发现，与专家建议的实验数据相比，优化设计方法建议的实验数据需要更少的数据来区分行为模型（即检验假设）。实质上，我们发现强化学习最能解释不完美信息博弈中的人类决策，而贝叶斯纳什均衡并未充分描述行为。我们的程序通用且计算效率高，可用于动态优化在线实验。我们发现强化学习最能解释人类在不完美信息博弈中的决策，而贝叶斯纳什均衡并未充分描述这种行为。我们的程序通用且计算效率高，可用于动态优化在线实验。我们发现强化学习最能解释人类在不完美信息博弈中的决策，而贝叶斯纳什均衡并未充分描述这种行为。我们的程序通用且计算效率高，可用于动态优化在线实验。