This article considers how to estimate the accuracy of a diagnostic test when there are repeated observations, but without the availability of a gold standard or reference test. We identify conditions under which the structure of the observed data is rich enough to provide sufficient degrees of freedom, such that a suitable latent class model can be fitted with identifiable accuracy parameters. We show that a Rule of Three applies, specifying that accuracy can be evaluated as long as there are at least three observations per individual with the given test. This rule also applies if the three observations arise from combinations of different test methods, or from a sequential design in which individuals are tested for a maximum number of times with the same test but stopping if a positive (or negative) result occurs. The rule pertains to tests having an arbitrary number of response categories. Accuracy is evaluated by parameters reflecting rates of misclassification among the response categories, and the model also provides estimates of the underlying distribution of the true disease state. These ideas are illustrated by data from two medical studies. Issues discussed include the advantages and disadvantages of analyzing the response variable as binary or multinomial, as well as the feasibility of testing goodness of fit when the model incorporates a large number of parameters. Comparisons are possible between models that do or do not assume equal accuracy rates for the observations, and between models where certain misclassification parameters are or are not assumed to be zero.

中文翻译：

---

诊断测试准确性的估计：重复观察但没有金标准的数据的“三规则”

本文考虑如何在重复观察但没有金标准或参考测试的情况下估计诊断测试的准确性。我们确定观察数据的结构足够丰富以提供足够的自由度的条件，这样合适的潜在类模型可以与可识别的精度参数相匹配。我们展示了适用的三规则，指定只要每个人对给定测试至少有三个观察值，就可以评估准确性。如果三个观察结果来自不同测试方法的组合，或者来自连续设计，其中个人使用相同的测试进行最大次数的测试，但如果出现阳性（或阴性）结果则停止，则此规则也适用。该规则适用于具有任意数量响应类别的测试。准确性通过反映响应类别之间错误分类率的参数进行评估，并且该模型还提供对真实疾病状态潜在分布的估计。两项医学研究的数据说明了这些想法。讨论的问题包括将响应变量分析为二元或多项式的优缺点，以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。准确性通过反映响应类别之间错误分类率的参数进行评估，并且该模型还提供对真实疾病状态潜在分布的估计。两项医学研究的数据说明了这些想法。讨论的问题包括将响应变量分析为二元或多项式的优缺点，以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值相等的准确率的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。准确性通过反映响应类别之间错误分类率的参数进行评估，并且该模型还提供对真实疾病状态潜在分布的估计。两项医学研究的数据说明了这些想法。讨论的问题包括将响应变量分析为二元或多项式的优缺点，以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。该模型还提供了对真实疾病状态潜在分布的估计。两项医学研究的数据说明了这些想法。讨论的问题包括将响应变量分析为二元或多项式的优缺点，以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。该模型还提供了对真实疾病状态潜在分布的估计。两项医学研究的数据说明了这些想法。讨论的问题包括将响应变量分析为二元或多项式的优缺点，以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。以及当模型包含大量参数时测试拟合优度的可行性。可以在假设或不假设观测值的准确率相等的模型之间进行比较，也可以在假设某些误分类参数为零或不为零的模型之间进行比较。