A storm of favorable or critical publications regarding p-values-based procedures has been observed in both the theoretical and applied literature. We focus on valid definitions of p-values in the scenarios when composite null models are in effect. A valid p-value (VpV) statistic can be used to make a prefixed level-decision. In this context, Kolmogorov Smirnov goodness-of-fit tests and the normal two sample problem are considered. In particular, we examine an issue regarding the goodness-of-fit testability based on a single observation. This article exemplifies constructions of new test procedures, advocating practical reasons to implement VpV-based mechanisms. The VpV framework induces an extension of the conventional expected p-value (EPV) tool for measuring the performance of a test. Associating the EPV concept with the receiver operating characteristic (ROC) curve methodology, a well-established biostatistical approach, we propose a Youden index based optimality principle to derive critical values of decision making procedures. In these terms, the significance level alpha=0.05 can be suggested, in many situations. In light of an ROC curve analysis, we introduce partial EPVs to characterize properties of tests including their unbiasedness. We also provide the intrinsic relationship between the Bayes Factor (BF) test statistic and the BF of test statistics. Keywords: AUC; Bayes Factor; Expected p-value; Kolmogorov Smirnov tests; Likelihood ratio; Nuisance parameters; P-value; ROC curve; Pooled data; Single observation; Type I error rate; Youden index

中文翻译：

---

重新审视有效的 p 值和 p 值的期望

在理论和应用文献中都观察到了大量关于基于 p 值的程序的有利或关键的出版物。当复合空模型有效时，我们专注于 p 值的有效定义。可以使用有效的 p 值 (VpV) 统计量来进行带前缀的级别决策。在这种情况下，考虑了 Kolmogorov Smirnov 拟合优度检验和正态二样本问题。特别是，我们基于单个观察检查了有关拟合优度可测试性的问题。本文举例说明了新测试程序的构建，提倡实施基于 VpV 的机制的实际原因。VpV 框架引入了用于测量测试性能的传统预期 p 值 (EPV) 工具的扩展。将 EPV 概念与接受者操作特征 (ROC) 曲线方法学（一种行之有效的生物统计方法）相关联，我们提出了基于约登指数的最优性原则，以推导出决策程序的临界值。在这些方面，在许多情况下，可以建议显着性水平 alpha=0.05。根据 ROC 曲线分析，我们引入了部分 EPV 来表征测试的特性，包括它们的无偏性。我们还提供了贝叶斯因子 (BF) 检验统计量和检验统计量的 BF 之间的内在关系。关键词：AUC；贝叶斯因子；预期 p 值；Kolmogorov Smirnov 检验；似然比；干扰参数；P值；ROC曲线；汇集数据；单次观察；I类错误率；约登指数 我们提出了一个基于约登指数的最优原则来推导出决策程序的临界值。在这些方面，在许多情况下，可以建议显着性水平 alpha=0.05。根据 ROC 曲线分析，我们引入了部分 EPV 来表征测试的特性，包括它们的无偏性。我们还提供了贝叶斯因子 (BF) 检验统计量和检验统计量的 BF 之间的内在关系。关键词：AUC；贝叶斯因子；预期 p 值；Kolmogorov Smirnov 检验；似然比；干扰参数；P值；ROC曲线；汇集数据；单次观察；I类错误率；约登指数 我们提出了一个基于约登指数的最优原则来推导出决策程序的临界值。在这些方面，在许多情况下，可以建议显着性水平 alpha=0.05。根据 ROC 曲线分析，我们引入了部分 EPV 来表征测试的特性，包括它们的无偏性。我们还提供了贝叶斯因子 (BF) 检验统计量和检验统计量的 BF 之间的内在关系。关键词：AUC；贝叶斯因子；预期 p 值；Kolmogorov Smirnov 检验；似然比；干扰参数；P值；ROC曲线；汇集数据；单次观察；I类错误率；约登指数 根据 ROC 曲线分析，我们引入了部分 EPV 来表征测试的特性，包括它们的无偏性。我们还提供了贝叶斯因子 (BF) 检验统计量和检验统计量的 BF 之间的内在关系。关键词：AUC；贝叶斯因子；预期 p 值；Kolmogorov Smirnov 检验；似然比；干扰参数；P值；ROC曲线；汇集数据；单次观察；I类错误率；约登指数 根据 ROC 曲线分析，我们引入了部分 EPV 来表征测试的特性，包括它们的无偏性。我们还提供了贝叶斯因子 (BF) 检验统计量和检验统计量的 BF 之间的内在关系。关键词：AUC；贝叶斯因子；预期 p 值；Kolmogorov Smirnov 检验；似然比；干扰参数；P值；ROC曲线；汇集数据；单次观察；I类错误率；约登指数