![]()
![]()
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。本期 AI Drive，我们邀请到北京航空航天大学计算机学院博士生张帅，为大家在线解读 AAAI 2021 最佳论文 Informer：比 Transformer 更有效的长时间序列预测方法。对本期主题感兴趣的小伙伴，3 月 23 日（周二）晚 7 点，我们准时相约 PaperWeekly B 站直播间。
长时间序列分析预测一直是人工智能基础理论研究的难点，对工业健康维护、疾病传播预测、网络安全分析等关键领域具有重要作用。本文指出“传统循环神经网络因误差逐层累积”已不能满足长序列数据分析的需求，并首次明确了 Transformer 神经网络架构对长序列问题建模的重要意义。该架构的核心优势是构建了自注意力机制来捕捉跨长度的前后相关性，但其伴随的重大挑战是自注意力操作具有随输入长度的二次时间复杂度，无法适用于长序列输入和输出。据此，本论文突破了传统自注意力的计算复杂度限制，提出一种全新的从概率角度进行自注意力矩阵稀疏化的模型。该模型可以允许以非启发式的方式对自注意力计算进行长尾显著性分析，摘取长序列中重要的前后相关性对，可以依采样方案将计算复杂度降低至对数线性复杂度，使得自注意力满足长序列分析的建模要求。同时，该论文还提出了注意力蒸馏机制来允许构建更深的长序列堆叠模型，同时通过生成式解码来实现长序列单次前向输出。这是首次在长序列问题上运用 Transformer 神经网络架构，依靠所提出的可分析稀疏化、注意力蒸馏和生成式解码组成 Informer 网络结构，可以在同样硬件限制下显著提高序列分析任务性能，为解决长序列问题提供了一种全新的解决方案。解释长时间序列分析预测问题
介绍 Informer 模型
论文实验结果分析
总结
张帅，北京航空航天大学计算机学院博士生，研究方向为机器学习与工业、医疗等产业界中实际问题的结合与应用。参与研制的设备故障预测系统在国家电网山东等省份 1300 余台大型变压器上应用，2020 年参与高精尖创新中心的新冠疫情大数据防控分析任务，支撑国家疫情防控决策，得到了国务院办公厅、北京市卫健委等专函致谢。
本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。
B 站直播间：
https://live.bilibili.com/14884511
![]()
![]()
![]()
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
![]()
![]()