当前位置：
X-MOL 学术
›
JAMA Neurol.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Interrater Reliability of Experts in Identifying Interictal Epileptiform Discharges in Electroencephalograms.
JAMA Neurology ( IF 20.4 ) Pub Date : 2019-10-21 , DOI: 10.1001/jamaneurol.2019.3531 Jin Jing 1, 2 , Aline Herlopian 1, 3 , Ioannis Karakis 4 , Marcus Ng 5 , Jonathan J Halford 6 , Alice Lam 1 , Douglas Maus 1 , Fonda Chan 1 , Marjan Dolatshahi 1 , Carlos F Muniz 1 , Catherine Chu 1 , Valeria Sacca 7 , Jay Pathmanathan 1, 8 , WenDong Ge 1 , Haoqi Sun 1 , Justin Dauwels 2 , Andrew J Cole 1 , Daniel B Hoch 1 , Sydney S Cash 1 , M Brandon Westover 1
JAMA Neurology ( IF 20.4 ) Pub Date : 2019-10-21 , DOI: 10.1001/jamaneurol.2019.3531 Jin Jing 1, 2 , Aline Herlopian 1, 3 , Ioannis Karakis 4 , Marcus Ng 5 , Jonathan J Halford 6 , Alice Lam 1 , Douglas Maus 1 , Fonda Chan 1 , Marjan Dolatshahi 1 , Carlos F Muniz 1 , Catherine Chu 1 , Valeria Sacca 7 , Jay Pathmanathan 1, 8 , WenDong Ge 1 , Haoqi Sun 1 , Justin Dauwels 2 , Andrew J Cole 1 , Daniel B Hoch 1 , Sydney S Cash 1 , M Brandon Westover 1
Affiliation
|
Importance
The validity of using electroencephalograms (EEGs) to diagnose epilepsy requires reliable detection of interictal epileptiform discharges (IEDs). Prior interrater reliability (IRR) studies are limited by small samples and selection bias.
Objective
To assess the reliability of experts in detecting IEDs in routine EEGs.
Design, Setting, and Participants
This prospective analysis conducted in 2 phases included as participants physicians with at least 1 year of subspecialty training in clinical neurophysiology. In phase 1, 9 experts independently identified candidate IEDs in 991 EEGs (1 expert per EEG) reported in the medical record to contain at least 1 IED, yielding 87 636 candidate IEDs. In phase 2, the candidate IEDs were clustered into groups with distinct morphological features, yielding 12 602 clusters, and a representative candidate IED was selected from each cluster. We added 660 waveforms (11 random samples each from 60 randomly selected EEGs reported as being free of IEDs) as negative controls. Eight experts independently scored all 13 262 candidates as IEDs or non-IEDs. The 1051 EEGs in the study were recorded at the Massachusetts General Hospital between 2012 and 2016.
Main Outcomes and Measures
Primary outcome measures were percentage of agreement (PA) and beyond-chance agreement (Gwet κ) for individual IEDs (IED-wise IRR) and for whether an EEG contained any IEDs (EEG-wise IRR). Secondary outcomes were the correlations between numbers of IEDs marked by experts across cases, calibration of expert scoring to group consensus, and receiver operating characteristic analysis of how well multivariate logistic regression models may account for differences in the IED scoring behavior between experts.
Results
Among the 1051 EEGs assessed in the study, 540 (51.4%) were those of females and 511 (48.6%) were those of males. In phase 1, 9 experts each marked potential IEDs in a median of 65 (interquartile range [IQR], 28-332) EEGs. The total number of IED candidates marked was 87 636. Expert IRR for the 13 262 individually annotated IED candidates was fair, with the mean PA being 72.4% (95% CI, 67.0%-77.8%) and mean κ being 48.7% (95% CI, 37.3%-60.1%). The EEG-wise IRR was substantial, with the mean PA being 80.9% (95% CI, 76.2%-85.7%) and mean κ being 69.4% (95% CI, 60.3%-78.5%). A statistical model based on waveform morphological features, when provided with individualized thresholds, explained the median binary scores of all experts with a high degree of accuracy of 80% (range, 73%-88%).
Conclusions and Relevance
This study's findings suggest that experts can identify whether EEGs contain IEDs with substantial reliability. Lower reliability regarding individual IEDs may be largely explained by various experts applying different thresholds to a common underlying statistical model.
中文翻译：
鉴定脑电图中发作性癫痫样放电的专家的评估者间可靠性。
重要性使用脑电图（EEG）诊断癫痫病的有效性需要可靠地检测发作间期癫痫样放电（IED）。先前的间质可靠性（IRR）研究受到小样本和选择偏见的限制。目的评估专家在常规EEG中检测IED的可靠性。设计，设置和参与者这项前瞻性分析分两个阶段进行，其中包括作为参与者的医生，他们至少接受了1年的临床神经生理学亚专业培训。在第1阶段中，有9位专家在病历中报告的991个EEG中独立识别出候选IED（每个EEG中有1位专家），其中包含至少1个IED，产生了87636个IED。在第2阶段，将候选IED聚类为具有不同形态特征的组，从而产生12602个聚类，并从每个聚类中选择一个具有代表性的候选IED。我们添加了660个波形（从60个随机选择的EEG中报告为不含IED的11个随机样本中提取11个随机样本）作为阴性对照。八位专家分别对13 262名候选人作为独立爆炸装置或非独立爆炸装置进行了评分。该研究中的1051个脑电图记录于2012年至2016年之间在马萨诸塞州总医院记录。主要结果和措施主要结局指标是单个IED的同意百分率（PA）和超越性同意百分率（Gwetκ）（IED明智的IRR）。以及EEG是否包含任何IED（EEG方式的IRR）。次要结果是专家在个案之间标记的简易爆炸装置数量，校准专家评分以达成小组共识，以及多因素Logistic回归模型如何解释专家之间IED评分行为的差异的接收者操作特征分析。结果在该研究评估的1051个脑电图中，女性为540个（51.4％），男性为511个（48.6％）。在阶段1中，有9位专家分别在65个（四分位间距[IQR]，28-332）EEG的中位数标出了潜在的IED。标出的IED候选人总数为87636。13 262个单独注释的IED候选人的专家IRR合理，平均PA为72.4％（95％CI，67.0％-77.8％），平均κ为48.7％（95） ％CI，37.3％-60.1％）。EEG方面的IRR很高，平均PA为80.9％（95％CI，76.2％-85.7％），平均κ为69.4％（95％CI，60.3％-78.5％）。基于波形形态特征的统计模型，当提供个性化阈值时，以80％的高度准确性（范围为73％-88％）来解释所有专家的中值二值分数。结论与相关性这项研究的发现表明，专家们可以确定脑电图是否包含具有高可靠性的简易爆炸装置。有关各个IED的较低可靠性，可能在很大程度上由各种专家将不同的阈值应用于共同的基础统计模型来解释。
更新日期：2020-01-13
中文翻译：
鉴定脑电图中发作性癫痫样放电的专家的评估者间可靠性。
重要性使用脑电图（EEG）诊断癫痫病的有效性需要可靠地检测发作间期癫痫样放电（IED）。先前的间质可靠性（IRR）研究受到小样本和选择偏见的限制。目的评估专家在常规EEG中检测IED的可靠性。设计，设置和参与者这项前瞻性分析分两个阶段进行，其中包括作为参与者的医生，他们至少接受了1年的临床神经生理学亚专业培训。在第1阶段中，有9位专家在病历中报告的991个EEG中独立识别出候选IED（每个EEG中有1位专家），其中包含至少1个IED，产生了87636个IED。在第2阶段，将候选IED聚类为具有不同形态特征的组，从而产生12602个聚类，并从每个聚类中选择一个具有代表性的候选IED。我们添加了660个波形（从60个随机选择的EEG中报告为不含IED的11个随机样本中提取11个随机样本）作为阴性对照。八位专家分别对13 262名候选人作为独立爆炸装置或非独立爆炸装置进行了评分。该研究中的1051个脑电图记录于2012年至2016年之间在马萨诸塞州总医院记录。主要结果和措施主要结局指标是单个IED的同意百分率（PA）和超越性同意百分率（Gwetκ）（IED明智的IRR）。以及EEG是否包含任何IED（EEG方式的IRR）。次要结果是专家在个案之间标记的简易爆炸装置数量，校准专家评分以达成小组共识，以及多因素Logistic回归模型如何解释专家之间IED评分行为的差异的接收者操作特征分析。结果在该研究评估的1051个脑电图中，女性为540个（51.4％），男性为511个（48.6％）。在阶段1中，有9位专家分别在65个（四分位间距[IQR]，28-332）EEG的中位数标出了潜在的IED。标出的IED候选人总数为87636。13 262个单独注释的IED候选人的专家IRR合理，平均PA为72.4％（95％CI，67.0％-77.8％），平均κ为48.7％（95） ％CI，37.3％-60.1％）。EEG方面的IRR很高，平均PA为80.9％（95％CI，76.2％-85.7％），平均κ为69.4％（95％CI，60.3％-78.5％）。基于波形形态特征的统计模型，当提供个性化阈值时，以80％的高度准确性（范围为73％-88％）来解释所有专家的中值二值分数。结论与相关性这项研究的发现表明，专家们可以确定脑电图是否包含具有高可靠性的简易爆炸装置。有关各个IED的较低可靠性，可能在很大程度上由各种专家将不同的阈值应用于共同的基础统计模型来解释。
京公网安备 11010802027423号