Abstract This work describes a novel application of robust estimation to the detection of volumetric anomalies in computer network traffic. The proposed tests are based on sample location and dispersion and derived from relatively unknown Zero Order Statistics. The proposed tests are non-parametric and suitable for a range of applications to heavy-tailed data analysis outside of network traffic. The performance of these tests is examined using two different real-world denial-of-service attacks contained in actual high-volume backbone traffic. The proposed tests outperform traditional metrics such as mean and variance due to the presence of heavy tails in the network traffic, a frequent characteristic of traffic in actual networks. Monte Carlo analysis is used to quantify the performance gains and show an improvement in accuracy between 7 – 11% at very low false alarm rates. The proposed tests also demonstrate equivalent or superior performance to the median, a common robust statistic. Constructive timing of key system processes is used to demonstrate near real-time performance. Three- and six- second data windows containing between 750 and 1200 elements can be processed in less than one second using commodity hardware running unoptimized code. These timing results imply scalability to a variety of networks and commercial applications. Scalability prospects are further enhanced by demonstrating resilient detection performance at attack volumes between 25 and 100 percent of baseline rates in both real and generated traffic.

中文翻译：

---

使用新型非参数统计检验的弹性实时网络异常检测

摘要 这项工作描述了稳健估计在检测计算机网络流量中的体积异常方面的新应用。建议的测试基于样本位置和分散，并从相对未知的零阶统计数据中得出。建议的测试是非参数的，适用于网络流量之外的重尾数据分析的一系列应用。这些测试的性能使用包含在实际高容量骨干网流量中的两种不同的现实世界拒绝服务攻击进行检查。由于网络流量中存在重尾，所提出的测试优于传统指标，例如均值和方差，这是实际网络中流量的常见特征。Monte Carlo 分析用于量化性能增益，并显示在非常低的误报率下准确度提高了 7 – 11%。提议的测试还证明了与中位数相当或更好的性能，这是一个常见的稳健统计。关键系统进程的建设性时间用于展示近乎实时的性能。使用运行未优化代码的商用硬件，可以在不到一秒的时间内处理包含 750 到 1200 个元素的三秒和六秒数据窗口。这些时序结果意味着可扩展到各种网络和商业应用程序。通过在实际流量和生成流量的 25% 到 100% 之间的攻击量展示弹性检测性能，进一步增强了可扩展性前景。提议的测试还证明了与中位数相当或更好的性能，这是一个常见的稳健统计。关键系统进程的建设性时间用于展示近乎实时的性能。使用运行未优化代码的商用硬件，可以在不到一秒的时间内处理包含 750 到 1200 个元素的三秒和六秒数据窗口。这些时序结果意味着可扩展到各种网络和商业应用程序。通过在实际流量和生成流量的 25% 到 100% 之间的攻击量展示弹性检测性能，进一步增强了可扩展性前景。提议的测试还证明了与中位数相当或更好的性能，这是一个常见的稳健统计。关键系统进程的建设性时间用于展示近乎实时的性能。使用运行未优化代码的商用硬件，可以在不到一秒的时间内处理包含 750 到 1200 个元素的三秒和六秒数据窗口。这些时序结果意味着可扩展到各种网络和商业应用程序。通过在实际流量和生成流量的 25% 到 100% 之间的攻击量展示弹性检测性能，进一步增强了可扩展性前景。使用运行未优化代码的商用硬件，可以在不到一秒的时间内处理包含 750 到 1200 个元素的三秒和六秒数据窗口。这些时序结果意味着可扩展到各种网络和商业应用程序。通过在实际流量和生成流量的 25% 到 100% 之间的攻击量展示弹性检测性能，进一步增强了可扩展性前景。使用运行未优化代码的商用硬件，可以在不到一秒的时间内处理包含 750 到 1200 个元素的三秒和六秒数据窗口。这些时序结果意味着可扩展到各种网络和商业应用程序。通过在实际流量和生成流量的 25% 到 100% 之间的攻击量展示弹性检测性能，进一步增强了可扩展性前景。