当前位置: X-MOL 学术Pervasive Mob. Comput. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Air-writing recognition using smart-bands
Pervasive and Mobile Computing ( IF 4.3 ) Pub Date : 2020-06-17 , DOI: 10.1016/j.pmcj.2020.101183
Tomer Yanay , Erez Shmueli

We propose a novel approach for textual input which is based on air-writing recognition using smart-bands. The proposed approach enables the user to hand-write in the air in an intuitive and natural way, where text is recognized by analyzing the motion signals captured by an off-the-shelf smart-band worn by the user. Unlike existing studies that proposed the use of motion signals to recognize written letters, our approach does not require an extra dedicated device, nor it imposes unnecessary limitations on the writing process of the user. To test the feasibility of the new approach, we developed two air-writing recognition methods: a user-dependent method, based on K-Nearest-Neighbors with Dynamic-Time-Warping as the distance measure, and a user-independent method, based on a Convolutional-Neural-Network. The first creates a tailored model for each user, using a set of reference samples collected from the user in an enrollment phase, and therefore has the potential to be more accurate. The latter involves a preliminary training phase which generates a single model to fit all users, and therefore does not require an enrollment phase for new users. In order to evaluate our methods, we collected 15 sets of the English alpha-bet letters (written on the air and collected using a smart-band) from 55 different subjects. The results of our evaluation demonstrate the ability of the proposed methods to successfully recognize air-written letters with a high degree of accuracy, obtaining 89.2% average accuracy for the user-dependent method, and 83.2% average accuracy (95.6% when applying an auto-correction phase) for the user-independent method.



中文翻译:

使用智能手环进行空中写作识别

我们提出了一种新的文本输入方法,该方法基于使用智能带的航迹识别。所提出的方法使用户能够以直观自然的方式在空中手写,其中通过分析由用户佩戴的现成智能带捕获的运动信号来识别文本。与现有的研究建议使用运动信号来识别书面字母不同,我们的方法不需要额外的专用设备,也不会对用户的书写过程施加不必要的限制。为了测试该新方法的可行性,我们开发了两种空中书写识别方法:一种基于用户的方法,该方法基于K-最近邻,采用动态时间扭曲作为距离度量;一种基于用户的方法,基于在卷积神经网络上 首先,它使用在注册阶段从用户收集的一组参考样本为每个用户创建量身定制的模型,因此有可能变得更加准确。后者涉及一个初步培训阶段,该阶段会生成一个适合所有用户的模型,因此不需要新用户注册。为了评估我们的方法,我们从55个不同的主题中收集了15套英语字母(空中广播并使用智能手环)。我们的评估结果表明,所提出的方法能够成功地以较高的准确度识别空中书写的字母,针对用户依赖的方法获得89.2%的平均准确度,以及83.2%的平均准确度(应用自动方式时为95.6%) -更正阶段),用于与用户无关的方法。使用在注册阶段从用户那里收集的一组参考样本,因此有可能变得更加准确。后者涉及初步培训阶段,该阶段会生成一个适合所有用户的模型,因此不需要新用户注册。为了评估我们的方法,我们从55个不同的主题中收集了15套英语字母(空中广播并使用智能手环)。我们的评估结果表明,所提出的方法能够成功地以较高的准确度识别空中书写的字母,针对用户依赖的方法获得89.2%的平均准确度,以及83.2%的平均准确度(应用自动方式时为95.6%) -更正阶段),用于与用户无关的方法。使用在注册阶段从用户那里收集的一组参考样本,因此有可能变得更加准确。后者涉及一个初步培训阶段,该阶段会生成一个适合所有用户的模型,因此不需要新用户注册。为了评估我们的方法,我们从55个不同的主题中收集了15套英语字母(空中广播并使用智能手环收集)。我们的评估结果表明,所提出的方法能够成功地以较高的准确度识别空中书写的字母,针对用户依赖的方法获得89.2%的平均准确度,以及83.2%的平均准确度(应用自动方式时为95.6%) -更正阶段),用于与用户无关的方法。

更新日期:2020-06-17
down
wechat
bug