As a new method of human-computer interaction, inertial sensor-based in-air handwriting can provide natural and unconstrained interaction to express more complex and rich information in 3D space. However, most of the existing literature is mainly focused on in-air handwriting recognition (IAHR), which makes these works suffer from the poor readability of inertial signals and the lack of labeled samples. To address these two problems, we use an unsupervised domain adaptation method to recover the trajectory of inertial signals and generate inertial samples using handwritten trajectories. In this paper, we propose an Air-Writing Translator model to learn the bi-directional translation between trajectory domain and inertial domain in the absence of paired inertial and trajectory samples. Through latent-level adversarial learning and latent classification loss, the proposed model learns to extract domain-invariant features between the inertial signal and the trajectory while preserving semantic consistency during the translation across the two domains. In addition, the proposed framework can accept inputs of arbitrary length and translate between different sampling rates. Experiments on two public datasets, 6DMG (in-air handwriting dataset) and CT (handwritten trajectory dataset), are conducted and the results demonstrate that the proposed model can achieve reliable translation between inertial domain and trajectory domain. Empirically, our method also yields the best results in comparison to the state-of-the-art methods for IAHR.

作为人机交互的一种新方法，基于惯性传感器的空中手写可以提供自然而不受约束的交互，以在3D空间中表达更复杂，更丰富的信息。然而，大多数现有文献主要集中在空中手写识别（IAHR），这使得这些作品遭受惯性信号可读性差和缺乏标记样本的困扰。为了解决这两个问题，我们使用一种无​​监督域自适应方法来恢复惯性信号的轨迹并使用手写轨迹生成惯性样本。在本文中，我们提出了一种空文字翻译器模型，以在不存在惯性和轨迹样本成对的情况下学习轨迹域和惯性域之间的双向转换。通过潜在的对抗学习和潜在的分类损失，该模型学习了提取惯性信号和轨迹之间的领域不变特征，同时在跨两个领域进行翻译的过程中保留了语义一致性。另外，提出的框架可以接受任意长度的输入并在不同的采样率之间转换。进行了两个公共数据集6DMG（空中手写数据集）和CT（手写轨迹数据集）的实验，结果表明所提出的模型可以实现惯性域和轨迹域之间的可靠转换。从经验上讲，与IAHR的最新方法相比，我们的方法也能产生最佳结果。所提出的模型学习提取惯性信号和轨迹之间的领域不变特征，同时在跨两个领域进行翻译的过程中保留语义一致性。另外，提出的框架可以接受任意长度的输入并在不同的采样率之间转换。进行了两个公共数据集6DMG（空中手写数据集）和CT（手写轨迹数据集）的实验，结果表明所提出的模型可以实现惯性域和轨迹域之间的可靠转换。从经验上讲，与IAHR的最新方法相比，我们的方法也能产生最佳结果。所提出的模型学习提取惯性信号和轨迹之间的领域不变特征，同时在跨两个领域进行翻译的过程中保留语义一致性。另外，提出的框架可以接受任意长度的输入并在不同的采样率之间转换。进行了两个公共数据集6DMG（空中手写数据集）和CT（手写轨迹数据集）的实验，结果表明所提出的模型可以实现惯性域和轨迹域之间的可靠转换。从经验上讲，与IAHR的最新方法相比，我们的方法也能产生最佳结果。提出的框架可以接受任意长度的输入，并可以在不同的采样率之间转换。进行了两个公共数据集6DMG（空中手写数据集）和CT（手写轨迹数据集）的实验，结果表明所提出的模型可以实现惯性域和轨迹域之间的可靠转换。从经验上讲，与IAHR的最新方法相比，我们的方法也能产生最佳结果。提出的框架可以接受任意长度的输入，并可以在不同的采样率之间转换。进行了两个公共数据集6DMG（空中手写数据集）和CT（手写轨迹数据集）的实验，结果表明所提出的模型可以实现惯性域和轨迹域之间的可靠转换。从经验上讲，与IAHR的最新方法相比，我们的方法也能产生最佳结果。