As of common routine in tumor resections, surgeons rely on local examinations of the removed tissues and on the swiftly made microscopy findings of the pathologist, which are based on intraoperatively taken tissue probes. This approach may imply an extended duration of the operation, increased effort for the medical staff, and longer occupancy of the operating room (OR). Mixed reality technologies, and particularly augmented reality, have already been applied in surgical scenarios with positive initial outcomes. Nonetheless, these methods have used manual or marker-based registration. In this work, we design an application for a marker-less registration of PET-CT information for a patient. The algorithm combines facial landmarks extracted from an RGB video stream, and the so-called Spatial-Mapping API provided by the HMD Microsoft HoloLens. The accuracy of the system is compared with a marker-based approach, and the opinions of field specialists have been collected during a demonstration. A survey based on the standard ISO-9241/110 has been designed for this purpose. The measurements show an average positioning error along the three axes of (x, y, z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) mm. Compared with the marker-based approach, this shows an increment of the positioning error of approx. 3 mm along two dimensions (x, y), which might be due to the absence of explicit markers. The application has been positively evaluated by the specialists; they have shown interest in continued further work and contributed to the development process with constructive criticism.

中文翻译：

---

混合现实辅助颌面手术的无标记配准方法：试点评估。

作为肿瘤切除术的常见常规，外科医生依靠对切除组织的局部检查和病理学家迅速做出的显微镜检查结果，这些检查结果基于术中采取的组织探针。这种方法可能意味着延长手术时间、增加医务人员的工作量以及延长手术室 (OR) 的使用时间。混合现实技术，尤其是增强现实技术，已经在手术场景中得到了应用，并取得了积极的初步成果。尽管如此，这些方法都使用了手动或基于标记的配准。在这项工作中，我们设计了一个应用程序，用于对患者的 PET-CT 信息进行无标记注册。该算法结合了从 RGB 视频流中提取的面部标志，以及由 HMD Microsoft HoloLens 提供的所谓的空间映射 API。系统的准确性与基于标记的方法进行了比较，并在演示过程中收集了现场专家的意见。为此目的设计了一项基于标准 ISO-9241/110 的调查。测量结果显示沿三个轴 (x, y, z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) mm 的平均定位误差。与基于标记的方法相比，这表明定位误差增加了约。沿两个维度 (x, y) 3 毫米，这可能是由于没有明确的标记。该应用程序已得到专家的积极评价；他们对继续开展进一步的工作表现出了兴趣，并以建设性的批评为发展进程做出了贡献。并在演示过程中收集了现场专家的意见。为此目的设计了一项基于标准 ISO-9241/110 的调查。测量结果显示沿三个轴 (x, y, z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) mm 的平均定位误差。与基于标记的方法相比，这表明定位误差增加了约。沿两个维度 (x, y) 3 毫米，这可能是由于没有明确的标记。该应用程序已得到专家的积极评价；他们对继续开展进一步的工作表现出了兴趣，并以建设性的批评为发展进程做出了贡献。并在演示过程中收集了现场专家的意见。为此目的设计了一项基于标准 ISO-9241/110 的调查。测量结果显示沿三个轴 (x, y, z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) mm 的平均定位误差。与基于标记的方法相比，这表明定位误差增加了约。沿两个维度 (x, y) 3 毫米，这可能是由于没有明确的标记。该应用程序已得到专家的积极评价；他们对继续开展进一步的工作表现出了兴趣，并以建设性的批评为发展进程做出了贡献。z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) 毫米。与基于标记的方法相比，这表明定位误差增加了约。沿两个维度 (x, y) 3 毫米，这可能是由于没有明确的标记。该应用程序已得到专家的积极评价；他们对继续开展进一步的工作表现出了兴趣，并以建设性的批评为发展进程做出了贡献。z) = (3.3 ± 2.3, - 4.5 ± 2.9, - 9.3 ± 6.1) 毫米。与基于标记的方法相比，这表明定位误差增加了约。沿两个维度 (x, y) 3 毫米，这可能是由于没有明确的标记。该应用程序已得到专家的积极评价；他们对继续开展进一步的工作表现出了兴趣，并以建设性的批评为发展进程做出了贡献。