首页 > 专利 > 杭州电子科技大学 > 一种基于傅里叶叠层成像的LED矩阵校正方法专利详情

一种基于傅里叶叠层成像的LED矩阵校正方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-12-31
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-06-09
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-09-28
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-12-31
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201911419444.8 申请日 2019-12-31
公开/公告号 CN111158131B 公开/公告日 2021-09-28
授权日 2021-09-28 预估到期日 2039-12-31
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 G02B21/06G02B21/36G06F17/16G06T3/40 主分类号 G02B21/06
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 1
引用专利数量 2 被引证专利数量 0
非专利引证 1、2016.09.15CN 107024488 A,2017.08.08林子强.基于弧形阵列LE D光源旋转照明装置的傅里叶《.激光与光电子学进展》.2018《中国激光》杂志,2018,071102-256-071102-263.;
引用专利 US2014209821A、US2016266365A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、方运志、姚婷婷、孙垚棋、张继勇、张勇东 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱亚冠
摘要
本发明涉及一种基于傅里叶叠层成像的LED矩阵校正方法。本发明对成像系统及LED矩阵进行建模,明确每个LED的初始位置向量;根据捕获的低分辨率图像,计算代价函数;以求解代价函数全局最优解为目标,校正每个LED的位置偏差;按照傅里叶叠层成像方法,在校正LED照明矩阵的位置偏差后重构出目标样本的高分辨率图像。本发明根据光学计算成像理论与光学成像系统采集的数据完成照明光源的位置校正。对于一个多光源的成像系统,如果照明元件的位置排列不具合理性,就会对成像系统造成成像质量下降等许多不利影响,本发明通过进行光源位置校正,可以很好的改善系统成像的清晰度,削弱光源排列结构对图像造生的伪影等。
  • 摘要附图
    一种基于傅里叶叠层成像的LED矩阵校正方法
  • 说明书附图:图1
    一种基于傅里叶叠层成像的LED矩阵校正方法
  • 说明书附图:图2
    一种基于傅里叶叠层成像的LED矩阵校正方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-09-28 授权
2 2020-06-09 实质审查的生效 IPC(主分类): G02B 21/06 专利申请号: 201911419444.8 申请日: 2019.12.31
3 2020-05-15 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于傅里叶叠层成像的LED矩阵校正方法,其特征在于:具体包括如下步骤:
步骤1:成像系统的搭建,包括LED照明矩阵、一个低倍物镜、显微镜、一个样本目标以及一个CCD摄像头;显微镜为常用显微镜,配以一个低倍物镜,待分辨样本放置在载物台上;在样本下方适当距离h=6~9cm处放置LED照明矩阵,每个LED元件可发出一个平面波;在成像位置放置一个CCD摄像头用以捕获低分辨率图像;
步骤2:对系统建立坐标系模型;以系统光轴方向为z轴,以垂直光轴方向的LED照明矩阵所在平面为XOY平面,其中以中心LED元件为XOY平面中心原点(x0,y0),能够确定每个LED元件坐标;
步骤3:初始化高分辨率样本图像o(x,y)和孔径频谱函数P(u,v),并对样本函数进行傅里叶变换在傅里叶域内生成对应的频谱O(u,v);
步骤4:按照次序依次点亮每个LED光源,对于每个LED发出的入射波向量(ui,vi),根据光学成像理论评估出对应产生的低分辨率图像 而入射波照在样本平面后沿光轴方向继续传播,最终在成像平面上生成实际的低分辨率强度图li(x,y),由CCD捕获;具体为:
依次点亮每个LED照射样本,对于每个LED入射波向量(ui,vi),图像预估值为:Ψi(u,v)
2
=O(u‑ui,v‑vi)P(u,v);评估图像值为Ie(u,v)=|Ψi(u,v)|;
‑1
对应空域图像: 其中F (·)表示傅里叶逆变换;li(x,y)为CCD
获取的实际低分辨率图像,对应傅里叶频谱图像:Ii(u,v)=F[li(x,y)];
步骤5:根据评估图像 和实际图像li(x,y)设计代价函数E=f(x,y),该代价函数代表了光学系统采集的图像与理论成像之间的偏差,缩小该偏差便能提高系统成像的质量;具体为:
根据评估图像Ie(u,v)和实际图像Ii(u,v)设计代价函数E,每一个LED误差函数为:
2
costi=[Ie(u,v)‑Ii(u,v)] ;由于LED是个15*15矩阵,那么代价函数也可写成:
LED元件的位置偏差通常不超出毫米级别,因此每个评估图
像和实际图像的偏差costi很小,接近于: 其中E和E+都是15*15矩阵;
步骤6:利用求函数偏导数的方法寻求每个LED元件位置偏差(Δxi,Δyi),对元件位置进行更新校正,计算更新后的代价函数;具体为:
利用求函数偏导数方法求解LED元件的位置偏差Δx,Δy:
其中: 都是15*15矩阵,则
根据误差函数和代价函数求解未知量;对每个LED元件的位置进行更新:
x′i=xi‑αxi,y′i=yi‑βyi;其中α=β=0.2,皆为可调节参数;坐标更新后计算每个误差函数costi,如果costi减小,则更新对应的xi=xi′,yi=yi′;否则xi,yi保持先前的数值不变;
步骤7:按照步骤4~6重复执行M=4~6次,进一步减小LED的位置偏差,确定最终的LED坐标;
步骤8:选取好LED位置,运用傅里叶叠层成像方法重构出高分辨率图像。

2.如权利要求1所述的基于傅里叶叠层成像的LED矩阵校正方法,其特征在于:所述步骤2中确定每个LED元件坐标(xi,yi),i=1,2,…15*15;每个LED入射平面波为:
其中λ为光波的中心波长,x0,y0分
别是中心LED元件的横、纵坐标,xi,yi是对应第i个LED元件的横、纵坐标,h是中心LED元件到样本图像的距离。

3.如权利要求1所述的基于傅里叶叠层成像的LED矩阵校正方法,其特征在于:所述步骤3对应在傅里叶域的频谱O(u,v)=F[o(x,y)];其中F(·)表示傅里叶变换;o(x,y)以矩阵形式表示图像,代表了图像在空域内的数据矩阵;物镜孔径为圆形孔径,参数数据在频域内也可以表示为矩阵形式P(u,v)。

4.如权利要求1所述的基于傅里叶叠层成像的LED矩阵校正方法,其特征在于:所述步骤8按照傅里叶叠层成像方法重构出样本的高分辨率图像:具体如下:
1)对于初始化后的高分辨率样本频谱O(u,v)选中频谱的一个子区域Ωi,该子区域位置会对应一个入射波(ui,vi);
2)利用强度约束更新子区域Ωi:
Фi(u,v)=F[ψi(x,y)];使用Фo(u,v)替代子区域Ωi图像;
其中F[ψi(x,y)]表示对ψi(x,y)进行傅里叶变换;
3)重复步骤1)‑2),直至更新样本频谱O(u,v)的所有区域;
4)重复步骤1)‑3),直至图像满足成像系统的分辨率要求,然后对更新后的频域图像傅里叶反变换得到样本在空域内的高分辨率图像o(x,y)。
说明书

技术领域

[0001] 本发明涉及光学成像领域,具体涉及一种基于傅里叶叠层成像的LED矩阵校正方法。

背景技术

[0002] 傅里叶叠层成像技术(FPM)是近些年在光学成像领域新出现的一种计算式显微成像方法,它克服了传统成像系统低数值孔径条件下的空间带宽积限制,能够完成高分辨率、宽视野的成像,具有成本低、分辨率高、视场宽阔等优点,在医疗成像、生物科学等诸多领域都具有广泛的应用前景。
[0003] 傅里叶叠层成像技术在原理上利用合成孔径的思想,在成像过程中没有使用单独的光源照射样本的方式,而是在样本下方放置了一个可编程的LED照明矩阵(每个LED元件参数都相同),轮流点亮每一个LED对样本进行扫描获取多张低分辨率的目标强度图,并且施加强度约束,在傅里叶域对采集到的图像数据进行处理,每一张采集到的低分辨率图经过处理后都可以重构出高分辨率图像的部分区域,当采集到的的图像足够多时,通过迭代式的成像方法就可以有效的重构出样本的高分辨率图像。
[0004] 使用LED对样本进行扫描的时候,由于每个LED的位置不同,每一束打向样本的光波相较于入射光孔都会对应一个特定的入射角度(光照角)。在一个由LED阵列照明的叠层成像系统中,每个低分辨率图像的频谱区域主要由光照角决定,这意味着从这些低分辨率图像中恢复的高分辨率图像的质量很大程度上取决于LED阵列面板上每个LED光源的位置精度。因此在进行叠层成像时,对每个LED进行位置校正很有必要。

发明内容

[0005] 本发明针对叠层成像时由于光源位置偏差导致最终成像质量下降这一问题,提出了一种基于傅里叶叠层成像的LED矩阵校正方法。首先是利用成像系统获取序列的低分辨率图像,根据成像效果和实际捕获图像的数据,引入了一个代价函数,可以有效反映出LED位置偏差对成像质量带来的影响,然后利用迭代式成像原理和梯度下降的方法减小每个LED元件的位置偏差,最终评估出整个LED矩阵位置的最优解,完成高分辨率图像的重构。整个校正过程主要包括以下部分:
[0006] 第一方面是对成像系统及LED矩阵进行建模,明确每个LED的初始位置向量;第二方面是要根据捕获的低分辨率图像,计算代价函数;第三方面是以求解代价函数全局最优解为目标,校正每个LED的位置偏差;第四方面则是按照傅里叶叠层成像方法,在校正LED照明矩阵的位置偏差后重构出目标样本的高分辨率图像。
[0007] 本发明的主要方案和实施步骤如下所示:
[0008] 步骤1:成像系统的搭建,包括LED照明矩阵、一个低倍物镜、显微镜、一个样本目标以及一个CCD摄像头。显微镜为常用显微镜,配以一个低倍物镜,待分辨样本放置在载物台上;在样本下方适当距离(h=6~9cm)处放置LED照明矩阵,每个LED元件可发出一个平面波;在成像位置放置一个CCD摄像头用以捕获低分辨率图像。
[0009] 步骤2:对系统建立坐标系模型。以系统光轴方向为z轴,以垂直光轴方向的LED照明矩阵所在平面为XOY平面,其中以中心LED元件为XOY平面中心原点(x0,y0),能够确定每个LED元件坐标。
[0010] 步骤3:初始化高分辨率样本图像o(x,y)和孔径频谱函数P(u,v),并对样本函数进行傅里叶变换在傅里叶域内生成对应的频谱O(u,v)。其中F(·)表示傅里叶变换;o(x,y)以矩阵形式表示图像,代表了图像在空域内的数据矩阵。物镜孔径为圆形孔径,参数数据在频域内也可以表示为矩阵形式P(u,v)。
[0011] 步骤4:按照次序依次点亮每个LED光源,对于每个LED发出的入射波向量(ui,vi),可根据光学成像理论评估出对应产生的低分辨率图像 而入射波照在样本平面后沿光轴方向继续传播,最终在成像平面上生成实际的低分辨率强度图li(x,y),由CCD捕获。
[0012] 步骤5:根据评估图像 和实际图像li(x,y)设计代价函数E=f(x,y),该代价函数代表了光学系统采集的图像与理论成像之间的偏差,缩小该偏差便能提高系统成像的质量。
[0013] 步骤6:利用求函数偏导数的方法寻求每个LED元件位置偏差(Δxi,Δyi),对元件位置进行更新校正,计算更新后的代价函数。
[0014] 步骤7:按照步骤4~6重复执行M=4~6次,进一步减小LED的位置偏差,确定最终的LED坐标。
[0015] 步骤8:选取好LED位置,运用傅里叶叠层成像(FPM)方法重构出高分辨率图像。
[0016] 本发明的目标是根据光学计算成像理论与光学成像系统采集的数据完成照明光源的位置校正。对于一个多光源的成像系统,如果照明元件的位置排列不具合理性,就会对成像系统造成成像质量下降等许多不利影响,本发明通过进行光源位置校正,可以很好的改善系统成像的清晰度,削弱光源排列结构对图像造生的伪影等。

实施方案

[0019] 步骤1:搭建所需的硬件成像系统,需要一个常用的显微镜,配以一个低倍物镜(数值孔径NA=0.08),待分辨样本放置在载物台上;在样本下方距离h=7cm处放置LED光源,采用15*15个LED元件构成一个正方形照明矩阵,相邻LED元件相距d=5mm,每个LED元件可发出中心波长λ=632nm的平面波;在系统上方成像位置放置一个CCD摄像头用以捕获低分辨率图像,如图1所示。
[0020] 步骤2:对系统建立坐标系模型。以系统光轴方向为z轴,以垂直光轴方向的LED照明矩阵所在平面为XOY平面,其中以中心LED元件为XOY平面中心原点(x0,y0)。则可确定每个LED元件坐标(xi,yi),i=1,2,…15*15。每个LED入射平面波为:
[0021]
[0022] 其中λ为光波的中心波长,x0,y0分别是中心LED元件的横、纵坐标,xi,yi是对应第i个LED元件的横、纵坐标,h是中心LED元件到样本图像的距离。
[0023] 步骤3:初始化最终所求的高分辨率图像为o(x,y),其对应在傅里叶域的频谱为:O(u,v)=F[o(x,y)];
[0024] 其中F(·)表示傅里叶变换;o(x,y)以矩阵形式表示图像,代表了图像在空域内的数据矩阵。物镜孔径为圆形孔径,参数数据在频域内也可以表示为矩阵形式P(u,v)。
[0025] 步骤4:依次点亮每个LED照射样本,对于每个LED入射波向量(ui,vi),图像预估值2
为:Ψi(u,v)=O(u‑ui,v‑vi)P(u,v);评估图像值为Ie(u,v)=|Ψi(u,v)| ;对应空域图像:
‑1
其中F (·)表示傅里叶逆变换;li(x,y)为CCD获取的实际低分辨
率图像,对应傅里叶频谱图像:Ii(u,v)=F[li(x,y)]。
[0026] 步骤5:根据评估图像Ie(u,v)和实际图像Ii(u,v)设计代价函数E,每一个LED误差2
函数为:costi=[Ie(u,v)‑Ii(u,v)] ;由于LED是个15*15矩阵,那么代价函数也可写成:
LED元件的位置偏差通常不超出毫米级别,因此每个评估图
像和实际图像的偏差costi很小,接近于: 其中E和E0都是15*15矩阵。
[0027] 步骤6:利用求函数偏导数方法求解LED元件的位置偏差Δx,Δy:其中:
[0028]
[0029] 都是15*15矩阵,则根据误差函数和代价函数求解未知量Δx,Δy。对每个LED元件的位置进行更新:x'i=xi‑αxi,y'i=yi‑βyi;其中α=β=0.2,皆为可调节参数。坐标更新后计算每个误差函数costi,如果costi减小,则更新对应的xi=xi',yi=yi';否则xi,yi保持先前的数值不变。从而可以确定最终的Δx,Δy。
[0030] 步骤7:按照步骤4~6重复执行4~6次,进一步校正LED元件位置误差,使得误差函数E尽可能减小。
[0031] 步骤8:调节好LED元件位置,按照傅里叶叠层成像(FPM)方法重构出样本的高分辨率图像:具体如下:
[0032] 1)对于初始化后的高分辨率样本频谱O(u,v)选中频谱的一个子区域Ωi,该子区域位置会对应一个入射波(ui,vi);
[0033] 2)利用强度约束更新子区域Ωi:
[0034] 使用Фi(u,v)替代子区域Ωi图像;
[0035] 3)重复步骤1)‑2),直至更新样本频谱O(u,v)的所有区域;
[0036] 4)重复步骤1)‑3),直至图像满足成像系统的分辨率要求,然后对更新后的频域图像傅里叶反变换得到样本在空域内的高分辨率图像o(x,y)。

附图说明

[0017] 图1是傅里叶叠层成像系统结构图;
[0018] 图2是基于傅里叶叠层成像的LED矩阵矫正流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号