基于通道协同与色彩校正的RAW数据到RGB图像重建方法

摘要

图像传感器直接输出的原始RAW数据需经过重建操作后才能转换为RGB图像，用于重建RGB的传统多步骤图像信号处理(ISP)算法往往具有流程复杂、灵活性低、误差累积等问题，而现有的一些基于深度学习的图像信号处理算法存在未能充分利用RAW图像模式信息与未能充分利用RGB通道相关性等局限．基于此，本文设计了基于深度学习的ISP-Net模型，针对上述不足进行改进．该模型包含模式信息复原、跨通道重建和色调调整3个主要模块．首先，模式信息复原模块通过掩码提取RAW图像的颜色通道信息，并通过通道间的融合操作最大化地学习RAW图像的模式信息；其次，跨通道重建模块通过通道间相互指导的方式，充分利用通道相关性提升图像重建质量；最后，色调调整模块通过构建色调调整矩阵，提升颜色复原的准确性．所设计的模型在合成数据集与真实数据集上均进行了测试．在主观评价上，本文方法在色彩准确度、纹理细节重建方面更接近真实图像；在客观指标上，特别地，在噪声强度为15时，本文方法的峰值信噪比在Kodak、Mc Master、WED-CDM和Urban100数据集上均为最优指标，分别为32.33 dB、32.44 dB、32.22 dB及31.67 dB，最大可优于同数据集次优指标0.24 dB．在真实数据集上的峰值信噪比为28.98 dB，相较于传统图像信号处理方法 FlexISP、SEM和ADMM，峰值信噪比均高出至少17 dB，相比于基于深度学习的RAW图像重建方法 Deepjoint和MGCC-B峰值信噪比分别提升了4.03 dB和1.55 dB.

关键词

图像信号处理 / RAW图像重建 / 模式信息复原 / 跨通道重建 / 色调调整

基金资助

天津市自然科学基金资助项目(22JCZDJC00270); 天津市研究生科研创新资助项目(2021YJSO2B12)