Virtual Reality (VR) Head-Mounted Display (HMD) technology immerses a user in a computer generated virtual environment. However, a VR HMD also blocks the users’ view of their physical surroundings, and so prevents them from using their mobile phones in a natural manner. In this paper, we present a novel Augmented Virtuality (AV) interface that enables people to naturally interact with a mobile phone in real time in a virtual environment. The system allows the user to wear a VR HMD while seeing his/her 3D hands captured by a depth sensor and rendered in different styles, and enables the user to operate a virtual mobile phone aligned with their real phone. We conducted a formal user study to compare the AV interface with physical touch interaction on user experience in five mobile applications. Participants reported that our system brought the real mobile phone into the virtual world. Unfortunately, the experiment results indicated that using a phone with our AV interfaces in VR was more difficult than the regular smartphone touch interaction, with increased workload and lower system usability, especially for a typing task. We ran a follow-up study to compare different hand visualizations for text typing using the AV interface. Participants felt that a skin-colored hand visualization method provided better usability and immersiveness than other hand rendering styles.

虚拟现实（VR）头戴式显示器（HMD）技术使用户沉浸在计算机生成的虚拟环境中。但是，VR HMD还会遮挡用户对其周围环境的视野，因此会阻止他们以自然的方式使用手机。在本文中，我们提出了一个新颖的增强虚拟化（AV）界面，使人们能够在虚拟环境中与手机自然自然地进行实时交互。该系统允许用户佩戴VR HMD，同时观看由深度传感器捕获并以不同样式渲染的3D手，并使用户能够操作与他们的真实电话对齐的虚拟移动电话。我们进行了正式的用户研究，以比较AV接口和物理触摸交互对五个移动应用程序中用户体验的影响。参与者报告说，我们的系统将真实的手机带入了虚拟世界。不幸的是，实验结果表明，在VR中使用带有AV接口的手机比常规的智能手机触摸交互更加困难，这增加了工作量，降低了系统可用性，尤其是对于打字任务而言。我们进行了一项后续研究，以比较使用AV界面键入文字的不同可视化效果。与会者认为，与其他手势样式相比，肤色的手可视化方法提供了更好的可用性和沉浸性。特别是对于打字任务。我们进行了一项后续研究，以比较使用AV界面键入文字的不同可视化效果。与会者认为，与其他手势样式相比，肤色的手可视化方法提供了更好的可用性和沉浸性。特别是对于打字任务。我们进行了一项后续研究，以比较使用AV界面键入文字的不同可视化效果。与会者认为，与其他手势样式相比，肤色的手可视化方法提供了更好的可用性和身临其境的感觉。