A raw image captured by a color filter array (CFA), such as a Bayer pattern, is usually compressed after demosaicing with some processings (denoising, deblurring, tone-mapping, and so on). However, since photographers, designers, and high-end users prefer to work with the raw image sampled by CFA (referred to as “raw image”) directly, a raw image should be compressed before demosaicing. For effective raw image compression, this study introduces variable macropixel spectral-spatial transforms (VMSSTs), that can successfully decorrelate not only Bayer raw images but any other pure-color (RGB) ones. The proposed VMSSTs are designed by the following two steps: 1) intra-color decorrelation and 2) inter-color decorrelation. In lossless compression with JPEG 2000, compared with methods which do not use transforms, the VMSSTs reduced the average bitrates of three types of CFAs: from approximately 0.09 to 0.12 bpp for the modified Bayer CFA, from 0.25 to 0.65 bpp for the diagonal stripe CFA, and from 0.33 to 0.70 bpp for the Fujifilm X-Trans CFA due to their high color decorrelation efficiency. In addition, in lossy compression with JPEG 2000, compared with a rearranged method, the VMSSTs improved the average bitrates of the Bjøntegaard delta by around 3.97%, 14.95%, and 18.65% for each CFA model, respectively. Although a data-dependent adaptive transformation, the Karhunen-Loève transform (KLT), showed the best performance in lossy compression, the introduced VMSSTs have shown performances comparable to those of the KLT in lossless compression, despite their simple structures.

中文翻译：

---

用于任意 RGB CFA 采样原始图像的具有内部和颜色间去相关的可变宏像素光谱空间变换

由滤色器阵列 (CFA) 捕获的原始图像（例如拜耳模式）通常在进行去马赛克处理（去噪、去模糊、色调映射等）后进行压缩。但是，由于摄影师、设计师和高端用户更喜欢直接使用 CFA 采样的原始图像（简称“原始图像”），因此在去马赛克之前应对原始图像进行压缩。为了有效压缩原始图像，本研究引入了可变宏像素光谱空间变换 (VMSST)，它不仅可以成功地去相关拜耳原始图像，还可以成功地去相关任何其他纯色 (RGB) 图像。所提出的 VMSST 由以下两个步骤设计：1) 颜色内去相关和 2) 颜色间去相关。在使用 JPEG 2000 的无损压缩中，与不使用变换的方法相比，VMSST 降低了三种类型 CFA 的平均比特率：改进的拜耳 CFA 从大约 0.09 bpp 到 0.12 bpp，斜条纹 CFA 从 0.25 到 0.65 bpp，以及 Fujifilm X-Trans CFA 从 0.33 到 0.70 bpp它们的高色彩去相关效率。此外，在使用 JPEG 2000 的有损压缩中，与重新排列的方法相比，VMSST 将每个 CFA 模型的 Bjøntegaard delta 的平均比特率分别提高了约 3.97%、14.95% 和 18.65%。尽管数据相关的自适应变换 Karhunen-Loève 变换 (KLT) 在有损压缩中表现出最佳性能，但引入的 VMSST 在无损压缩中表现出与 KLT 相当的性能，尽管它们的结构简单。改进的拜耳 CFA 为 12 bpp，斜条纹 CFA 为 0.25 至 0.65 bpp，Fujifilm X-Trans CFA 为 0.33 至 0.70 bpp，因为它们具有高色彩去相关效率。此外，在使用 JPEG 2000 的有损压缩中，与重新排列的方法相比，VMSST 将每个 CFA 模型的 Bjøntegaard delta 的平均比特率分别提高了约 3.97%、14.95% 和 18.65%。尽管数据相关的自适应变换 Karhunen-Loève 变换 (KLT) 在有损压缩中表现出最佳性能，但引入的 VMSST 在无损压缩中表现出与 KLT 相当的性能，尽管它们的结构简单。改进的拜耳 CFA 为 12 bpp，斜条纹 CFA 为 0.25 至 0.65 bpp，Fujifilm X-Trans CFA 为 0.33 至 0.70 bpp，因为它们具有高色彩去相关效率。此外，在使用 JPEG 2000 的有损压缩中，与重新排列的方法相比，VMSST 将每个 CFA 模型的 Bjøntegaard delta 的平均比特率分别提高了约 3.97%、14.95% 和 18.65%。尽管数据相关的自适应变换 Karhunen-Loève 变换 (KLT) 在有损压缩中表现出最佳性能，但引入的 VMSST 在无损压缩中表现出与 KLT 相当的性能，尽管它们的结构简单。在使用 JPEG 2000 的有损压缩中，与重新排列的方法相比，VMSST 将每个 CFA 模型的 Bjøntegaard delta 的平均比特率分别提高了约 3.97%、14.95% 和 18.65%。尽管数据相关的自适应变换 Karhunen-Loève 变换 (KLT) 在有损压缩中表现出最佳性能，但引入的 VMSST 在无损压缩中表现出与 KLT 相当的性能，尽管它们的结构简单。在使用 JPEG 2000 的有损压缩中，与重新排列的方法相比，VMSST 将每个 CFA 模型的 Bjøntegaard delta 的平均比特率分别提高了约 3.97%、14.95% 和 18.65%。尽管数据相关的自适应变换 Karhunen-Loève 变换 (KLT) 在有损压缩中表现出最佳性能，但引入的 VMSST 在无损压缩中表现出与 KLT 相当的性能，尽管它们的结构简单。