Portfolio management aims at maximizing the return on investment while minimizing risk by continuously reallocating the assets forming the portfolio. These assets are not independent but correlated during a short time period. A graph convolutional reinforcement learning framework called DeepPocket is proposed whose objective is to exploit the time-varying interrelations between financial instruments. These interrelations are represented by a graph whose nodes correspond to the financial instruments while the edges correspond to a pair-wise correlation function in between assets. DeepPocket consists of a restricted, stacked autoencoder for feature extraction, a convolutional network to collect underlying local information shared among financial instruments, and an actor-critic reinforcement learning agent. The actor-critic structure contains two convolutional networks in which the actor learns and enforces an investment policy which is, in turn, evaluated by the critic in order to determine the best course of action by constantly reallocating the various portfolio assets to optimize the expected return on investment. The agent is initially trained offline with online stochastic batching on historical data. As new data become available, it is trained online with a passive concept drift approach to handle unexpected changes in their distributions. DeepPocket is evaluated against five real-life datasets over three distinct investment periods, including during the Covid-19 crisis, and clearly outperformed market indexes.

中文翻译：

---

用于金融投资组合管理的深度图卷积增强学习-DeepPocket

资产组合管理旨在通过不断重新分配构成资产组合的资产，在最大化投资回报率的同时将风险降至最低。这些资产不是独立的，而是在短时间内关联的。提出了一种称为DeepPocket的图卷积增强学习框架，其目的是利用金融工具之间的时变相互关系。这些相互关系由一个图形表示，该图形的节点对应于金融工具，而边沿对应于资产之间的成对相关函数。DeepPocket包括一个用于特征提取的受限制的堆叠式自动编码器，一个用于收集在金融工具之间共享的底层本地信息的卷积网络，以及一个参与者批评强化学习代理。参与者-批评者结构包含两个卷积网络，参与者在其中学习并执行一项投资策略，然后由评论家对其进行评估，以便通过不断重新分配各种投资组合资产以优化预期收益来确定最佳行动方案。投资。最初对代理进行脱机训练，并根据历史数据进行在线随机批处理。随着新数据的获得，将使用被动概念漂移方法在线对其进行培训，以处理其分布中的意外变化。在三个不同的投资时期（包括在Covid-19危机期间）对DeepPocket的五个真实数据集进行了评估，其表现明显好于市场指数。由评论家进行评估，以便通过不断重新分配各种投资组合资产来优化预期的投资回报率来确定最佳行动方案。最初对代理进行脱机训练，并根据历史数据进行在线随机批处理。随着新数据的获得，将使用被动概念漂移方法在线对其进行培训，以处理其分布中的意外变化。在三个不同的投资时期（包括在Covid-19危机期间）对DeepPocket的五个真实数据集进行了评估，其表现明显好于市场指数。由评论家进行评估，以便通过不断重新分配各种投资组合资产来优化预期的投资回报率来确定最佳行动方案。最初对代理进行脱机训练，并根据历史数据进行在线随机批处理。随着新数据的获得，将使用被动概念漂移方法在线对其进行培训，以处理其分布中的意外变化。在三个不同的投资时期（包括在Covid-19危机期间）对DeepPocket的五个真实数据集进行了评估，其表现明显好于市场指数。它采用被动概念漂移方法进行在线培训，以处理其分布中的意外变化。在三个不同的投资时期（包括在Covid-19危机期间）对DeepPocket的五个真实数据集进行了评估，其表现明显好于市场指数。它采用被动概念漂移方法进行在线培训，以处理其分布中的意外变化。在三个不同的投资时期（包括在Covid-19危机期间）对DeepPocket的五个真实数据集进行了评估，其表现明显好于市场指数。