Escape room is a live-action adventure game, where the players search clues, solve puzzles and achieve the assigned tasks. This paper proposed a novel escape room system combining augmented reality and deep learning technology. The system adopts a client–server architecture and can be divided into the server module, the smart glasses module and the player–hardware interaction module. The player–hardware interaction module consists of subsystems each of which includes a Raspberry Pi 3. HoloLens is used as the smart glasses in the experiment of the paper. The server communicates with all the Raspberry Pis and HoloLens through TCP/IP protocol and manages all the devices to achieve the game flow by following the process timeline. The smart glasses module provides two display modes, i.e., the AR 3D models display and the 2D text clues display. In the first mode, the SDK Vuforia is used for detection and tracking of markers. In the second mode, the scene images captured by HoloLens camera are sent to the pre-trained image classifier based on deep convolutional neural network. Considering both the image category and the game status value, the server decides the text clue image to be displayed on HoloLens. The accuracy of the image classification model reaches 94.9%, which can be correctly classified for a certain rotation angle and partial occlusion. The integration of AR, deep learning, electronics and escape room games opens up exciting new directions for the development of escape room. Finally, a built mini-escape room is analyzed to prove that the proposed system can support more complicated narratives showing the potential of achieving immersion.

逃生室是一款真人冒险游戏，玩家可以在其中寻找线索，解决难题并完成分配的任务。本文提出了一种结合增强现实和深度学习技术的新型逃生室系统。该系统采用客户端-服务器架构，可以分为服务器模块，智能眼镜模块和播放器-硬件交互模块。播放器与硬件的交互模块由子系统组成，每个子系统都包括Raspberry Pi3。在本文的实验中，HoloLens被用作智能眼镜。服务器通过TCP / IP协议与所有Raspberry Pi和HoloLens进行通信，并按照流程时间表管理所有设备以实现游戏流程。智能眼镜模块提供两种显示模式，即AR 3D模型显示和2D文本提示显示。在第一种模式下，SDK Vuforia用于检测和跟踪标记。在第二种模式下，基于深度卷积神经网络将HoloLens摄像机捕获的场景图像发送到预训练图像分类器。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，分析了一个建成的微型逃生室，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。SDK Vuforia用于检测和跟踪标记。在第二种模式下，基于深度卷积神经网络将HoloLens摄像机捕获的场景图像发送到预训练图像分类器。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，分析了一个建成的微型逃生室，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。SDK Vuforia用于检测和跟踪标记。在第二种模式下，基于深度卷积神经网络将HoloLens摄像机捕获的场景图像发送到预训练图像分类器。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，对一个建成的微型逃生室进行分析，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。基于深度卷积神经网络，将HoloLens摄像机捕获的场景图像发送到预训练的图像分类器。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，对一个建成的微型逃生室进行了分析，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。基于深度卷积神经网络，将HoloLens摄像机捕获的场景图像发送到预训练的图像分类器。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，对一个建成的微型逃生室进行分析，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，对一个建成的微型逃生室进行了分析，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。同时考虑图像类别和游戏状态值，服务器决定要在HoloLens上显示的文本提示图像。图像分类模型的准确率达到94.9％，可以针对一定的旋转角度和部分遮挡进行正确分类。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，对一个建成的微型逃生室进行分析，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，分析了一个建成的微型逃生室，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。AR，深度学习，电子产品和逃生室游戏的集成为逃生室的发展开辟了令人振奋的新方向。最后，分析了一个建成的微型逃生室，以证明所提出的系统可以支持更复杂的叙述，显示出实现沉浸的潜力。