OBJECTIVES The German Association for Medical Informatics, Biometry and Epidemiology implemented a field test for the ICD-11 Beta Draft. Aim was to analyze completeness and appropriateness of the ICD-11 Beta Draft in its entire breadth. METHODS Starting point was the synonym thesaurus ("Alphabet") of the German modification of ICD-10. The Alphabet included a list of diagnoses terms that supports the coding of diagnoses with ICD-10. A sample of 60,328 diagnosis terms was drawn to be mapped to the ICD-11 Beta Draft. A subsample of 13,975 diagnosis terms was prepared for assessing reliability. First, the coders had to assign a diagnosis term from the sample to an appropriate English one. This included the automatic selection of the respective code from the ICD-11 Beta Draft. Secondly, the coders had to answer questions regarding completeness, appropriateness, and other issues. RESULTS Finally, 49,184 results from 36 coders were available for the analysis. Problems with completeness were indicated in 4.7% of the results, problems with appropriateness in 5.3%. On the level of chapters, Cohen's kappa reached grade "fair" at a maximum. The coders agreed in 31.4% of the terms. CONCLUSIONS Problems with the ICD-11 Beta Draft appeared to be moderate. Completeness was high, reliability was low as it is known for ICD-10. Concerns with the structure of the ICD-11 Beta Draft were noted, e. g. for neoplasms. A post processing of the ICD-11 Beta Draft seems to be sufficient with regard to the content. Methodologically, a thorough review of the structure might be advisable.

中文翻译：

---

从德国角度看ICD-11 Beta草案的质量：基于ICD-10-GM 2017字母的评估

目标德国医学信息学，生物统计学和流行病学协会对ICD-11 Beta草案进行了现场测试。目的是在整个范围内分析ICD-11 Beta草案的完整性和适当性。方法起点是ICD-10的德语修改形式的同义词库（“字母”）。字母包含诊断术语列表，这些术语支持使用ICD-10进行诊断编码。抽取了60,328个诊断术语的样本以映射到ICD-11 Beta草案。准备了13975个诊断术语的子样本以评估可靠性。首先，编码人员必须将样本中的诊断术语分配给适当的英语术语。这包括从ICD-11 Beta草案中自动选择相应的代码。其次，编码人员必须回答有关完整性，适当性和其他问题的问题。结果最后，来自36个编码器的49,184个结果可用于分析。4.7％的结果表示完整性问题，5.3％的问题表示适当性问题。在章节层次上，科恩的kappa最高达到“公平”等级。编码人员同意31.4％的条款。结论ICD-11 Beta草案的问题似乎是中等的。正如ICD-10所知，完整性很高，可靠性很低。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。来自36个编码器的49,184个结果可用于分析。4.7％的结果表示完整性问题，5.3％的问题表示适当性问题。在章节层次上，科恩的kappa最高达到“公平”等级。编码人员同意31.4％的条款。结论ICD-11 Beta草案的问题似乎是中等的。众所周知，ICD-10的完整性很高，可靠性却很低。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。来自36个编码器的49,184个结果可用于分析。4.7％的结果表示完整性问题，5.3％的问题表示适当性问题。在章节层次上，科恩的kappa最高达到“公平”等级。编码人员同意31.4％的条款。结论ICD-11 Beta草案的问题似乎是中等的。众所周知，ICD-10的完整性很高，可靠性却很低。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，ICD-11 Beta草案的后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。在章节层次上，科恩的kappa最高达到“公平”等级。编码人员同意31.4％的条款。结论ICD-11 Beta草案的问题似乎是中等的。众所周知，ICD-10的完整性很高，可靠性却很低。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。在章节层次上，科恩的kappa最高达到“公平”等级。编码人员同意31.4％的条款。结论ICD-11 Beta草案的问题似乎是中等的。众所周知，ICD-10的完整性很高，可靠性却很低。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。注意到与ICD-11 Beta草案结构有关的问题，例如肿瘤。就内容而言，对ICD-11 Beta草案进行后期处理似乎就足够了。从方法上讲，建议对结构进行彻底检查。