Deep Reinforcement Learning (DRL) is among the state-of-the-art approaches for training agents for decision-making problems, such as financial trading. However, training DRL agents for such tasks is not always straightforward, since the noisy and non-stationary nature of financial data aggravate the already unstable training of DRL models. As a result, using DRL methods for such tasks require devoting significant effort for hyper-parameter tuning, as well as for designing the appropriate input pre-processing schemes. The latter is especially important, given the non-stationary nature of financial data, along with the ability of DRL agents to easily overfit the data, limiting their generalization abilities. In this work, we propose overcoming these limitations by introducing a differentiable, parameterized normalization scheme that allows for learning how the data should be normalized, along with the DRL model. More specifically, we propose dynamically normalizing the input according to various time-series statistics, which allows for adapting the model on-the-fly to the current mode of the data. At the same time, employing a segmentation scheme for extracting the statistics of the data allows for better capturing the variations of the input time-series and leading to more stationary representations. The proposed method is formulated as a series of neural layers that can be efficiently implemented using virtually any DL framework. The effectiveness of the proposed method against various normalization approaches is validated using two FOREX datasets and a state-of-the-art policy-based DRL approach.

深度强化学习 (DRL) 是训练智能体解决决策问题（例如金融交易）的最先进方法之一。然而，为此类任务训练 DRL 代理并不总是那么简单，因为金融数据的嘈杂和非平稳性质加剧了 DRL 模型本已不稳定的训练。因此，将 DRL 方法用于此类任务需要投入大量精力进行超参数调整，以及设计适当的输入预处理方案。后者尤其重要，因为金融数据的非平稳性，以及 DRL 代理容易过度拟合数据的能力，限制了他们的泛化能力。在这项工作中，我们建议通过引入可微分来克服这些限制，参数化归一化方案，允许学习数据应该如何归一化，以及 DRL 模型。更具体地说，我们建议根据各种时间序列统计数据对输入进行动态归一化，这样可以使模型即时适应数据的当前模式。同时，采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。与 DRL 模型一起使用。更具体地说，我们建议根据各种时间序列统计数据对输入进行动态归一化，这样可以使模型即时适应数据的当前模式。同时，采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。与 DRL 模型一起使用。更具体地说，我们建议根据各种时间序列统计数据对输入进行动态归一化，这样可以使模型即时适应数据的当前模式。同时，采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。这允许即时调整模型以适应数据的当前模式。同时，采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。这允许即时调整模型以适应数据的当前模式。同时，采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。采用分割方案来提取数据的统计数据可以更好地捕捉输入时间序列的变化并导致更平稳的表示。所提出的方法被制定为一系列神经层，可以使用几乎任何 DL 框架有效地实现。使用两个 FOREX 数据集和最先进的基于策略的 DRL 方法验证了所提出的方法对各种标准化方法的有效性。