While calculating intercoder reliability (ICR) is straightforward for text-based data, such as for interview transcript excerpts, determining ICR for naturalistic observational video data is much more complex. To date, there have been few methods proposed in literature that are robust enough to handle complexities such as the occurrence of simultaneous event complexity and partial agreement by the raters. This is especially important with the emergence of high-resolution video data, which collects nearly continuous or continuous observational data in naturalistic settings. In this paper, we present three approaches to calculating ICR. First, we present the technical approach to clean and compare two coders’ results such that traditional metrics of ICR (e.g., Cohen’s κ, Krippendorff’s α, Scott’s Π) can be calculated, methods previously unarticulated in literature. However, these calculations are intensive, requiring significant data manipulation. As an alternative, this paper also proposes two novel methods to calculate ICR by algorithmically comparing visual representations of each coders’ results. To demonstrate efficacy of the approaches, we employ all three methods on data from two separate ongoing research contexts using observational data. We find that the visual methods perform as well as the traditional measures of ICR and offer significant reduction in the work required to calculate ICR, with an added advantage of allowing the researcher to set thresholds for acceptable agreement in lag time. These methods may transform the consideration of ICR in other studies across disciplines that employ observational data.

虽然对于基于文本的数据（例如，采访笔录摘录）而言，计算编码器可靠性（ICR）很简单，但为自然观察性视频数据确定ICR则要复杂得多。迄今为止，文献中提出的方法很少，其鲁棒性足以处理复杂性，例如同时发生事件的复杂性和评估者的部分同意。随着高分辨率视频数据的出现，这一点尤为重要，因为高分辨率视频数据可以在自然环境中收集几乎连续或连续的观测数据。在本文中，我们提出了三种计算ICR的方法。首先，我们介绍一种技术方法来清理和比较两个编码器的结果，以便可以计算ICR的传统指标（例如，科恩的κ，克里彭多夫的α，斯科特的Π），以前文献中未阐明的方法。但是，这些计算是密集的，需要大量的数据处理。作为替代方案，本文还提出了两种新颖的方法，可以通过算法比较每个编码器结果的视觉表示来计算ICR。为了证明这些方法的有效性，我们采用观察数据，对来自两个单独的进行中的研究背景的数据采用了全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。这些计算是密集的，需要大量的数据处理。作为替代方案，本文还提出了两种新颖的方法，可以通过算法比较每个编码器结果的视觉表示来计算ICR。为了证明这些方法的有效性，我们采用观察数据，对来自两个单独的进行中的研究背景的数据采用了全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。这些计算是密集的，需要大量的数据处理。作为替代方案，本文还提出了两种新颖的方法，可以通过算法比较每个编码器结果的视觉表示来计算ICR。为了证明这些方法的有效性，我们采用观察数据，对来自两个单独的进行中的研究背景的数据采用了全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。本文还提出了两种新颖的方法，可以通过算法比较每个编码器结果的视觉表示来计算ICR。为了证明这些方法的有效性，我们采用观察数据，对来自两个单独的进行中的研究背景的数据采用了全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。本文还提出了两种新颖的方法，可以通过算法比较每个编码器结果的视觉表示来计算ICR。为了证明这些方法的有效性，我们采用观察数据，对来自两个单独的进行中的研究背景的数据采用了全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。我们使用观察数据，对来自两个独立的进行中的研究背景的数据采用全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。我们使用观察数据，对来自两个独立的进行中的研究背景的数据采用全部三种方法。我们发现，视觉方法的性能与传统的ICR一样好，并且显着减少了计算ICR所需的工作，并具有一个额外的优势，即允许研究人员为滞后时间设置可接受的一致性阈值。这些方法可能会改变使用观察数据的跨学科其他研究中对ICR的考虑。