With the continuous increase in interstate highway traffic and demand for higher safety standards, there is a growing need for rapidly scalable road inspection. Currently, inspection and condition assessment of roadways involve manual operations which increase labor costs and limit the scalability and inspection coverage. Furthermore, manually inspecting highways adds additional safety risks for highway workers and road inspectors. To address these challenges, we envision a fully automated process of highway inspection. This paper presents a novel low-power drone-mountable real-time artificial intelligence (AI) framework for road asset classification through visual sensing, which is the first step toward a fully automated inspection system. We analyzed a state DOT dataset, consisting of 14 different kinds of defected road assets. To this end, we developed our baseline framework using MobileNet-V2, which is a convolutional neural network (CNN) specially developed for mobile and embedded platforms. Since our target dataset was small and CNNs networks require a huge amount of data, we leveraged transfer learning, by pretraining MobileNet-V2 using the ImageNet dataset and then fine-tuned it on our target dataset. This new framework was ported to embedded platforms Nvidia Jetson Nano with the capability to perform on-board drone processing. Overall, our results demonstrate 81.33% accuracy on the test set while processing 7.4 frames per second and occupying a total power of 1.9 W. It achieved a Power Reduction Factor (PRF) of 21.17 over Nvidia TitanV implementation, with only 8.74% impact on the projected drone flight time.

随着州际高速公路交通的不断增长以及对更高安全标准的需求，对快速可扩展的道路检查的需求日益增长。当前，道路的检查和状态评估涉及人工操作，这增加了人工成本并限制了可扩展性和检查范围。此外，手动检查高速公路会增加高速公路工人和道路检查员的安全风险。为了应对这些挑战，我们设想了全自动的公路检查流程。本文提出了一种新颖的低功耗可无人机安装的实时人工智能（AI）框架，用于通过视觉传感进行道路资产分类，这是朝着全自动检查系统迈出的第一步。我们分析了一个状态DOT数据集，该数据集由14种不同类型的缺陷公路资产组成。为此，我们使用MobileNet-V2开发了基准框架，该框架是专门为移动和嵌入式平台开发的卷积神经网络（CNN）。由于我们的目标数据集很小，而且CNN网络需要大量数据，因此我们通过使用ImageNet数据集对MobileNet-V2进行预训练，然后在目标数据集上进行微调来利用转移学习。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。这是专门为移动和嵌入式平台开发的卷积神经网络（CNN）。由于我们的目标数据集很小，而且CNN网络需要大量数据，因此我们通过使用ImageNet数据集对MobileNet-V2进行预训练，然后在目标数据集上进行微调来利用转移学习。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。这是专门为移动和嵌入式平台开发的卷积神经网络（CNN）。由于我们的目标数据集很小，而且CNN网络需要大量数据，因此我们通过使用ImageNet数据集对MobileNet-V2进行预训练，然后在目标数据集上进行微调来利用转移学习。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。由于我们的目标数据集很小，而且CNN网络需要大量数据，因此我们通过使用ImageNet数据集对MobileNet-V2进行预训练，然后在目标数据集上进行微调来利用转移学习。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。由于我们的目标数据集很小，而且CNN网络需要大量数据，因此我们通过使用ImageNet数据集对MobileNet-V2进行预训练，然后在目标数据集上进行微调来利用转移学习。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。这个新框架已移植到具有执行机载无人机处理能力的嵌入式平台Nvidia Jetson Nano。总体而言，我们的结果表明，测试集的准确度为81.33％，同时每秒处理7.4帧，总功率为1.9W。与Nvidia TitanV实施相比，它实现了21.17的功率降低因子（PRF），而对Nvidia TitanV的实现仅为8.74％预计的无人机飞行时间。