(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211034822.2 (22)申请日 2022.08.26 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 (72)发明人 申俊飞　贺天悦　张重阳　 (74)专利代理 机构 成都其知创新专利代理事务 所(普通合伙) 51326 专利代理师 王沙沙 (51)Int.Cl. H04N 5/225(2006.01) H04N 5/232(2006.01) H04N 9/04(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度计算光学元件的端到端高质量消 色差成像系统 (57)摘要 本发明公开了基于深度计算光学元件的端 到端高质量消色差成像系统， 从图像输入端到输 出端依次包括物理透镜PL、 传感器和数字透镜 DL； 输入图像首先与物理透镜卷积生成色差图 像； 该色差图像由相机采集后作为数字透镜的输 入图像与DL卷积生成输出图像； 输出图像经过神 经网络AANet生成重建图像。 本发明光学系统设 计简单、 成本低、 易集成， 端到端联动优化方法使 得算法与光学硬件深度耦合， 可实现软硬件 联动 优化； 重建图像与输入图像相比， 峰值信噪比的 量化提升高达14.2dB， 能够实现高精度的消色差 成像， 所提框架的灵活性为高质量大景深、 大视 场成像提供了可能。 权利要求书2页 说明书6页 附图4页 CN 115499566 A 2022.12.20 CN 115499566 A 1.一种基于深度计算光学元件的端到端高质量消色差成像系统， 其特征在于， 从图像 输入端到输出端依次包括物理透镜PL、 传感器和数字透镜DL； 输入图像首先与物理透镜卷 积生成色差图像； 该色差图像由相机采集后作为数字透镜的输入图像与DL卷积生成输出图 像； 输出图像经 过神经网络生成重建图像。 2.根据权利要求1所述的一种基于深度计算光学元件的端到端高质量消色差成像系 统， 其特征在于， 所述神经网络为A ANet网络 。 3.如权利要求1～2所述任一种基于深度计算光学元件的端到端高质量消色差成像系 统的成像方法， 其特 征在于， 包括以下步骤： 步骤1： 输入场景图像与物理透 镜PL的点扩散函数P SFp卷积生成彩色图像； 步骤2： 彩色图像与数字 透镜DL的点扩散函数P SFd卷积生成最终成像结果； 步骤3： 将步骤2得到的图像输入卷积神经网络即可 得到重建图像。 4.根据权利要求3所述的一种基于深度计算光学元件的端到端高质量消色差成像系统 的成像方法， 其特 征在于， 所述 步骤1中卷积后彩色图像如下表示： I(x,y, λ )＝ Iin(x0,y0, λ )*PSFp(x,y, λ ) 其中， I(x,y, λ )为传感器平面的中间 图像， Iin(x0,y0, λ )为输入图像， PSFp(x,y, λ )为PL 的点扩散函数； *表示线性卷积运 算， (x0， y0)表示点源， λ为波长 。 5.根据权利要求4所述的一种基于深度计算光学元件的端到端高质量消色差成像系统 的成像方法， 其特 征在于， 所述 步骤2中成像结果由下式表示： Iout(s,t, λ )＝ Iin(x0,y0, λ )*PSFp(x,y, λ )*P SFd(s,t, λ ). 式中： Iout(s,t, λ )为成像结果， PSFd(s,t, λ )为数字透镜DL的点扩散函数， s， t为虚拟透 镜像平面 坐标。 6.根据权利要求5所述的一种基于深度计算光学元件的端到端高质量消色差成像系统 的成像方法， 其特 征在于， 所述成像结果可以采用下式表示： Iout(s,t, λ )＝ Iin(x0,y0, λ )*PSFhbr(x,y,s,t, λ ) 式中： PSFhbr(x,y,s,t, λ )为物理透 镜和数字 透镜形成的成像系统的点扩散函数； 采用下式对P SFhbr进行优化： 式中： θp为物理透镜的参数， θd为光学透镜的参数， m， n为通道序号； SSIM(x， y)表示测量 向量x和y 之间的局部结构相似性， 1 ‑SSIM(x， y)表示S SIM(x， y)的损失。 7.根据权利要求6所述的一种基于深度计算光学元件的端到端高质量消色差成像系统 的成像方法， 其特征在于， 采用随机梯度下降的方法优化DL的参数， 其中梯度下降型解算器 迭代如下： 式中： ε为学习率， v为迭代步数， 为训练损失。 8.根据权利要求7所述的一种基于深度计算光学元件的端到端高质量消色差成像系统权　利　要　求　书 1/2 页 2 CN 115499566 A 2的成像方法， 其特 征在于， 所述卷积神经网络首 先进行训练， 训练所使用的损失函数如下： 式中： LMSE、 Lper、 Lreg分别为MSE、 感知损失和正则化损失， α 为常数比例因子， || ·||2为向 量的欧几里得范数， P( ·)表示到具有N层感知特征空间的变换， Irec为重建图像为， Itarget为 真值图像， γ为感知损失分量的相对权重， μ为权重衰减系数， ω为卷积神经网络的可优化 权重系数， N 为层数， j为隐层权 重索引， n 为网络层数。权　利　要　求　书 2/2 页 3 CN 115499566 A 3