In the field of information security, the unpredictability of random numbers plays determinant role according to the security of cryptographic systems. However, limited by the capability of pattern recognition and data mining, statistical-based methods for random number security assessment can only detect whether there are obvious statistical flaws in random sequences. In recent years, some machine learning-based techniques such as deep neural networks and prediction-based methods applied to random number security have exhibited superior performance. Concurrently, the proposed deep learning models bring out issues of large number of parameters, high storage space occupation and complex computation. In this paper, for the challenge of random number security analysis: building high-performance predictive models, we propose an effective analysis method based on pruning and quantized deep neural network. Firstly, we train a temporal pattern attention-based long short-term memory (TPA-LSTM) model with complex structure and good prediction performance. Secondly, through pruning and quantization operations, the complexity and storage space occupation of the TPA-LSTM model were reduced. Finally, we retrain the network to find the best model and evaluate the effectiveness of this method using various simulated data sets with known min-entropy values. By comparing with related work, the TPA-LSTM model provides more accurate estimates: the relative error is less than 0.43%. In addition, the model weight parameters are reduced by more than 98% and quantized to 2 bits (compression over 175x) without accuracy loss.

中文翻译：

---

基于剪枝和量化深度神经网络的最小熵评价改进

在信息安全领域，随机数的不可预测性对密码系统的安全起着决定性的作用。然而，受模式识别和数据挖掘能力的限制，基于统计的随机数安全评估方法只能检测随机序列是否存在明显的统计缺陷。近年来，一些基于机器学习的技术，如深度神经网络和应用于随机数安全的基于预测的方法，表现出了优越的性能。同时，所提出的深度学习模型带来了参数量大、存储空间占用高和计算复杂的问题。在本文中，针对随机数安全分析的挑战：构建高性能预测模型，我们提出了一种基于剪枝和量化深度神经网络的有效分析方法。首先，我们训练了一个基于时间模式注意力的长短期记忆（TPA-LSTM）模型，该模型具有复杂的结构和良好的预测性能。其次，通过剪枝和量化操作，降低了TPA-LSTM模型的复杂度和存储空间占用。最后，我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估该方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。首先，我们训练了一个基于时间模式注意力的长短期记忆（TPA-LSTM）模型，该模型具有复杂的结构和良好的预测性能。其次，通过剪枝和量化操作，降低了TPA-LSTM模型的复杂度和存储空间占用。最后，我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估该方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。首先，我们训练了一个基于时间模式注意力的长短期记忆（TPA-LSTM）模型，该模型具有复杂的结构和良好的预测性能。其次，通过剪枝和量化操作，降低了TPA-LSTM模型的复杂度和存储空间占用。最后，我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估该方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。我们训练了一个基于时间模式注意力的长短期记忆（TPA-LSTM）模型，该模型具有复杂的结构和良好的预测性能。其次，通过剪枝和量化操作，降低了TPA-LSTM模型的复杂度和存储空间占用。最后，我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估该方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。我们训练了一个基于时间模式注意力的长短期记忆（TPA-LSTM）模型，该模型具有复杂的结构和良好的预测性能。其次，通过剪枝和量化操作，降低了TPA-LSTM模型的复杂度和存储空间占用。最后，我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估该方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估此方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。我们重新训练网络以找到最佳模型，并使用具有已知最小熵值的各种模拟数据集评估此方法的有效性。通过与相关工作的比较，TPA-LSTM 模型提供了更准确的估计：相对误差小于 0.43%。此外，模型权重参数减少了 98% 以上并量化为 2 位（压缩超过 175 倍）而没有精度损失。