Advances on signal, image and video generation underly major breakthroughs on generative medical imaging tasks, including Brain Image Synthesis. Still, the extent to which functional Magnetic Ressonance Imaging (fMRI) can be mapped from the brain electrophysiology remains largely unexplored. This work provides the first comprehensive view on how to use state-of-the-art principles from Neural Processing to synthesize fMRI data from electroencephalographic (EEG) data. Given the distinct spatiotemporal nature of haemodynamic and electrophysiological signals, this problem is formulated as the task of learning a mapping function between multivariate time series with highly dissimilar structures. A comparison of state-of-the-art synthesis approaches, including Autoencoders, Generative Adversarial Networks and Pairwise Learning, is undertaken. Results highlight the feasibility of EEG to fMRI brain image mappings, pinpointing the role of current advances in Machine Learning and showing the relevance of upcoming contributions to further improve performance. EEG to fMRI synthesis offers a way to enhance and augment brain image data, and guarantee access to more affordable, portable and long-lasting protocols of brain activity monitoring. The code used in this manuscript is available in Github and the datasets are open source.

中文翻译：

---

EEG 到 fMRI 的合成：深度学习是候选者吗？

信号、图像和视频生成方面的进展是生成医学成像任务（包括脑图像合成）的重大突破的基础。尽管如此，功能性磁共振成像 (fMRI) 可以从脑电生理学映射到什么程度在很大程度上仍未得到探索。这项工作提供了第一个关于如何使用神经处理中最先进的原理从脑电图 (EEG) 数据合成 fMRI 数据的综合观点。鉴于血液动力学和电生理信号的不同时空性质，这个问题被表述为学习具有高度不同结构的多元时间序列之间的映射函数的任务。对最先进的合成方法进行了比较，包括自动编码器、生成对抗网络和成对学习。结果突出了 EEG 到 fMRI 大脑图像映射的可行性，指出了当前机器学习进展的作用，并显示了即将到来的贡献对进一步提高性能的相关性。EEG 到 fMRI 的合成提供了一种增强和增强大脑图像数据的方法，并保证获得更实惠、便携和持久的大脑活动监测协议。本手稿中使用的代码可在 Github 中获得，并且数据集是开源的。便携式和持久的大脑活动监测协议。本手稿中使用的代码可在 Github 中获得，并且数据集是开源的。便携式和持久的大脑活动监测协议。本手稿中使用的代码可在 Github 中获得，并且数据集是开源的。