Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020135374 - IMAGE REGISTRATION METHOD AND APPARATUS, COMPUTER DEVICE AND READABLE STORAGE MEDIUM

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329   0330   0331   0332   0333   0334   0335   0336   0337   0338   0339   0340   0341   0342   0343   0344   0345   0346   0347   0348   0349   0350   0351   0352   0353   0354   0355   0356   0357   0358   0359   0360   0361   0362   0363   0364   0365   0366   0367   0368   0369   0370   0371   0372   0373   0374   0375   0376   0377   0378   0379   0380   0381   0382   0383   0384   0385   0386   0387   0388   0389   0390   0391   0392   0393   0394   0395   0396   0397   0398   0399   0400   0401   0402   0403   0404   0405   0406   0407   0408   0409   0410   0411   0412   0413   0414   0415   0416   0417   0418   0419   0420   0421   0422   0423   0424   0425   0426   0427   0428   0429   0430   0431   0432   0433   0434   0435   0436   0437   0438   0439   0440   0441   0442   0443   0444   0445   0446   0447   0448   0449   0450   0451   0452   0453   0454   0455   0456   0457   0458   0459   0460   0461   0462   0463   0464   0465   0466   0467   0468   0469   0470   0471   0472   0473   0474   0475   0476   0477   0478   0479   0480   0481   0482   0483   0484   0485   0486   0487   0488   0489   0490   0491   0492   0493   0494   0495   0496   0497   0498   0499   0500   0501   0502   0503   0504   0505   0506   0507   0508   0509   0510   0511   0512   0513   0514   0515   0516   0517   0518   0519   0520   0521   0522   0523   0524   0525   0526   0527   0528   0529   0530   0531   0532   0533  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

附图

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31  

说明书

发明名称 : 图像配准方法、装置、计算机设备及可读存储介质

[0001]
相关申请的交叉引用
[0002]
本申请的相关申请分别要求于2018年12月25日申请的,申请号为201811586820.8,名称为“图像配准方法、装置、计算机设备和可读存储介质”;于2018年12月29日申请的,申请号为201811637721.8,名称为“图像的配准方法、装置、计算机设备和存储介质”,的中国专利申请的优先权,在此将其全文引入作为参考。

技术领域

[0003]
本申请涉及图像处理技术领域,更具体的说,涉及一种图像配准方法、装置、计算机设备及可读存储介质。

背景技术

[0004]
不同的医学图像能够反映出不同的人体解剖结构信息,医学临床上通常需要对不同的医学图像进行准确有效的配准,将不同的医学图像信息进行有效的融合,使得在临床疾病诊断或治疗上能够充分考虑不同的医学图像中互补的解剖结构信息。不同的医学图像配准对临床诊疗的精准化和智能化发展具有重要意义。根据不同的临床应用,需要实现图像配准的图像模态包含但不局限于计算机断层扫描(Computed Tomography,CT)图像,磁共振(Magnetic Resonance Imaging,MRI)图像,正电子发射计算机断层扫描(Positron Emission Tomography,PET)图像,超声(Ultrasound)图像,功能磁共振(functional Magnetic Resonance Imaging,fMRI)图像等。
[0005]
发明内容
[0006]
一种图像配准方法,所述方法包括:
[0007]
获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0008]
根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[0009]
在其中一个实施例中,所述根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果,包括:
[0010]
对所述浮动图像和所述参考图像进行语义信息的提取,得到包括所述语义信息的标记浮动图像和标记参考图像;
[0011]
根据所述语义信息,从预设的图像配准算法中确定所述标记浮动图像和所述标记参考图像分别对应的目标图像配准算法;
[0012]
根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到初始配准结果;所述初始配准结果包括所述浮动图像和所述参考图像的变换矩阵;
[0013]
根据所述变换矩阵、所述参考图像和所述浮动图像,得到变换后的浮动图像;
[0014]
根据所述变换后的浮动图像、所述参考图像和目标配准模型,对所述变换后的浮动图像进行配准,得到所述配准结果。
[0015]
在其中一个实施例中,所述语义信息包括:所述浮动图像的分割区域和解剖学标记中的至少一个,以及所述参考图像的分割区域和解剖学标记中的至少一个;所述预设的图像配准算法包括基于分割的图像配准算法和基于解剖学标记的配准算法;所述解剖学标记包括解剖学标记点、解剖学标记线和解剖学标记面。
[0016]
在其中一个实施例中,当所述目标图像配准算法为所述基于解剖学标记的配准算法时,所述根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到初始配准结果,包括:
[0017]
获取所述标记浮动图像的待配准浮动解剖学标记集和所述标记参考图像的待配准参考解剖学标记集;
[0018]
根据所述待配准浮动解剖学标记集、所述待配准参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[0019]
在其中一个实施例中,所述根据所述待配准浮动解剖学标记集、所述待配准参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果,包括:
[0020]
根据所述待配准浮动解剖学标记集和所述待配准参考解剖学标记集中各个标记的名称的匹配结果,确定标记交集;
[0021]
根据所述标记交集,从所述待配准浮动解剖学标记集和所述待配准参考解剖学标记集中分别确定初始浮动解剖学标记集和初始参考解剖学标记集;
[0022]
根据所述初始浮动解剖学标记集、所述初始参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[0023]
在其中一个实施例中,当所述目标图像配准算法为所述基于分割的图像配准算法时,所述根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果,包括:
[0024]
获取所述浮动图像对应的分割浮动图像和所述参考图像对应的分割参考图像;
[0025]
根据所述分割浮动图像、所述分割参考图像和所述基于分割的图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[0026]
在其中一个实施例中,所述方法还包括:
[0027]
获取对所述浮动图像和所述参考图像进行图像配准后的所述初始配准结果;
[0028]
根据预设的配准结果整合方法,对不同解剖学标记得到的初始配准结果和/或不同分割区域得到的初始配准结果进行整合。
[0029]
在其中一个实施例中,所述根据所述变换矩阵、所述参考图像和所述浮动图像,得到变换后的浮动图像,包括:
[0030]
根据所述变换矩阵、对所述参考图像进行下采样操作后得到的下采样参考图像和对所述浮动图像进行下采样操作后得到的下采样浮动图像,确定所述下采样参考图像和所述下采样浮动图像对应的变换后的浮动图像之间的相似性度量值;
[0031]
对所述变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取所述变换矩阵对应的初始参数;
[0032]
根据所述相似性度量值、所述初始参数和预设的梯度下降法,确定目标变换矩阵;
[0033]
根据所述目标变换矩阵对所述浮动图像进行变换,得到所述变换后的浮动图像。
[0034]
在其中一个实施例中,所述目标配准模型包括前向配准网络和后向配准网络;所述目 标配准模型的训练过程包括:
[0035]
采用预设的无监督方法或弱监督的方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述目标配准模型。
[0036]
在其中一个实施例中,所述采用预设的无监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述目标配准模型,包括:
[0037]
采用预设的第一训练模式和第二训练模式,对所述预设的前向配准网络和所述预设的后向配准网络进行迭代训练,得到所述目标配准模型;
[0038]
其中,所述第一训练模式为先前向配准网络再后向配准网络的训练方式,所述第二训练模式为先后向配准网络再前向配准网络的训练方式。
[0039]
在其中一个实施例中,所述采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0040]
将第一浮动图像和第一参考图像输入所述预设的前向配准网络,得到第一配准浮动图像;所述第一参考图像的模态为模态一,所述第一浮动图像的模态为模态二;所述第一配准浮动图像的模态与所述第一浮动图像的模态相同;
[0041]
将所述第一配准浮动图像确定为所述预设的后向配准网络的第二参考图像;
[0042]
将所述第二参考图像和第二浮动图像输入所述预设的后向配准网络,得到第二配准浮动图像;所述第二浮动图像的模态为模态一;所述第二配准浮动图像的模态与所述第二浮动图像的模态相同;
[0043]
根据所述第二配准浮动图像和所述第一参考图像,获取所述第二配准浮动图像与所述第一参考图像间的第一相似度,根据所述第一相似度对所述预设的前向配准网络、所述预设的后向配准网络进行训练。
[0044]
在其中一个实施例中,所述根据所述第一相似度对所述预设的前向配准网络、所述预设的后向配准网络进行训练,包括:
[0045]
将所述第一相似度确定为所述第二配准浮动图像的第一准确度,根据所述第一准确度指导所述预设的前向配准网络和所述预设的后向配准网络的训练。
[0046]
在其中一个实施例中,所述采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0047]
将所述第一浮动图像确定为所述预设的后向配准网络的第三参考图像、将所述第一参考图像确定为所述预设的后向配准网络的第三浮动图像,将所述第三浮动图像和所述第三参考图像输入所述预设的后向配准网络,得到第三配准浮动图像;所述第三参考图像的模态为模态二,所述第三浮动图像的模态为模态一;所述第三配准浮动图像的模态与所述第三浮动图像的模态相同;
[0048]
将所述第三配准浮动图像确定为所述预设的前向配准网络的第四参考图像;
[0049]
将所述第四参考图像和第四浮动图像输入所述预设的前向配准网络,得到第四配准浮动图像;所述第四浮动图像的模态为模态二;所述第四配准浮动图像的模态与所述第四浮动图像的模态相同;
[0050]
根据所述第四配准浮动图像和所述第三参考图像,获取所述第四配准浮动图像与所述第三参考图像间的第二相似度,根据所述第二相似度对所述预设的后向配准网络、所述预设的前向配准网络进行训练。
[0051]
在其中一个实施例中,所述根据所述第二相似度对所述预设的后向配准网络、所述预 设的前向配准网络进行训练,包括:
[0052]
将所述第二相似度确定为所述第四配准浮动图像的第二准确度,根据所述第二准确度指导所述预设的后向配准网络和所述预设的前向配准网络的训练。
[0053]
在其中一个实施例中,所述采用预设的第一训练模式和第二训练模式,对所述预设的前向配准网络和所述预设的后向配准网络进行迭代训练,得到所述目标配准模型,还包括:
[0054]
根据所述第一相似度获取所述第一训练模式的第一损失函数的值,根据所述第二相似度获取所述第二训练模式的第二损失函数的值;
[0055]
根据所述第一损失函数的值和所述第二损失函数的值,确定所述目标配准模型。
[0056]
在其中一个实施例中,所述根据所述第一损失函数的值和所述第二损失函数的值,确定所述目标配准模型,包括:
[0057]
将所述第一损失函数的值和所述第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为所述目标配准模型。
[0058]
一种图像配准装置,所述装置包括:
[0059]
获取模块,用于获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0060]
配准模块,用于根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[0061]
本申请实施例提供一种计算机设备,包括存储器、处理器,所述存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0062]
获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0063]
根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[0064]
本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0065]
获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0066]
根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[0067]
一种图像配准方法,所述方法包括:
[0068]
获取待配准的参考图像和浮动图像;
[0069]
对所述参考图像和所述浮动图像进行语义信息的提取,得到包括所述语义信息的标记参考图像和标记浮动图像;
[0070]
根据所述语义信息,从预设的图像配准模型中确定所述标记参考图像和所述标记浮动图像分别对应的目标图像配准模型;
[0071]
根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准。
[0072]
在其中一个实施例中,所述语义信息包括:所述浮动图像的分割区域和解剖学标记点中的至少一个,以及所述参考图像的分割区域和解剖学标记点中的至少一个;所述预设的 图像配准模型包括基于分割的图像配准模型和基于解剖学标记点的配准模型。
[0073]
在其中一个实施例中,当所述目标图像配准模型为所述基于解剖学标记点的配准模型时,所述根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准,包括:
[0074]
获取所述标记参考图像的待配准参考解剖学标记点集和所述标记浮动图像的待配准浮动解剖学标记点集;
[0075]
根据所述待配准参考解剖学标记点集、所述待配准浮动解剖学标记点集和所述基于解剖学标记点的配准模型,对所述参考图像和所述浮动图像进行图像配准。
[0076]
在其中一个实施例中,所述根据所述待配准参考解剖学标记点集、所述待配准浮动解剖学标记点集和所述基于解剖学标记点的配准模型,对所述参考图像和所述浮动图像进行图像配准,包括:
[0077]
根据所述待配准参考解剖学标记点集和所述待配准浮动解剖学标记点集中各个标记点的名称的匹配结果,确定标记点交集;
[0078]
根据所述标记点交集,从所述待配准参考解剖学标记点集和所述待配准浮动解剖学标记点集中分别确定初始参考解剖学标记点集和初始浮动解剖学标记点集;
[0079]
根据所述初始参考解剖学标记点集、所述初始浮动解剖学标记点集和所述基于解剖学标记点的配准模型,对所述参考图像和所述浮动图像进行图像配准。
[0080]
在其中一个实施例中,当所述目标图像配准模型为所述基于分割的图像配准模型时,则所述根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准,包括:
[0081]
获取所述标记参考图像对应的分割参考图像和所述浮动图像对应的分割浮动图像;
[0082]
根据所述分割参考图像、所述分割浮动图像和所述基于分割的图像配准模型,对所述参考图像和所述浮动图像进行图像配准。
[0083]
在其中一个实施例中,所述方法还包括:
[0084]
获取对所述参考图像和所述浮动图像进行图像配准后的配准结果;
[0085]
根据所述配准结果和预设的图像整合模型,对所述配准结果进行图像整合。
[0086]
在其中一个实施例中,在所述对所述参考图像和所述浮动图像进行图像配准后,所述方法还包括:
[0087]
获取所述目标变换矩阵;
[0088]
根据所述目标变换矩阵、对所述参考图像进行下采样操作后得到的下采样参考图像和对所述浮动图像进行下采样操作后得到的下采样浮动图像,确定所述下采样参考图像和所述下采样浮动图像对应的变换后的浮动图像之间的相似性度量值;
[0089]
对所述目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取所述目标变换矩阵对应的初始参数;
[0090]
根据所述相似性度量值、所述初始参数和预设的梯度下降法,确定目标参数。
[0091]
一种图像配准装置,所述装置包括:
[0092]
第一获取模块,用于获取待配准的参考图像和浮动图像;
[0093]
第一提取模块,用于对所述参考图像和所述浮动图像进行语义信息的提取,得到包括所述语义信息的标记参考图像和标记浮动图像;
[0094]
第一确定模块,用于根据所述语义信息,从预设的图像配准模型中确定所述标记参考 图像和所述标记浮动图像分别对应的目标图像配准模型;
[0095]
配准模块,用于根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准。
[0096]
一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述图像配准方法中任一项所述方法的步骤。
[0097]
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像配准方法中任一项所述方法的步骤。
[0098]
上述图像配准方法、装置、计算机设备和可读存储介质中,可以先提取参考图像和浮动图像的语义信息,从而根据不同的语义信息,采用不同的目标图像配准模型对参考图像和浮动图像进行配准,以完成包括多种语义信息的参考图像和浮动图像的配准,解决了现有技术中只能基于单一的语义信息对参考图像和浮动图像进行配准的局限性,大大提高了图像配准的适用范围。
[0099]
一种图像配准方法,所述方法包括:
[0100]
获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0101]
根据所述浮动图像、所述参考图像和预先训练的配准模型,获取配准结果;所述配准模型用于对不同模态的图像进行配准。
[0102]
在其中一个实施例中,所述方法还包括:
[0103]
采用预设的无监督方法或弱监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述配准模型。
[0104]
在其中一个实施例中,所述采用预设的无监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述配准模型,包括:
[0105]
采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述配准模型;
[0106]
其中,所述第一训练模式为先前向配准网络再后向配准网络的训练方式,所述第二训练模式为先后向配准网络再前向配准网络的训练方式。
[0107]
在其中一个实施例中,所述采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0108]
将第一浮动图像和第一参考图像输入所述前向配准网络,得到第一配准浮动图像;所述第一参考图像的模态为模态一,所述第一浮动图像的模态为模态二;所述第一配准浮动图像的模态与所述第一浮动图像的模态相同;
[0109]
将所述第一配准浮动图像确定为所述后向配准网络的第二参考图像;
[0110]
将所述第二参考图像和第二浮动图像输入所述后向配准网络,得到第二配准浮动图像;所述第二浮动图像的模态为模态一;所述第二配准浮动图像的模态与所述第二浮动图像的模态相同;
[0111]
根据所述第二配准浮动图像和所述第一参考图像,获取所述第二配准浮动图像与所述第一参考图像间的第一相似度,根据所述第一相似度对所述前向配准网络、所述后向配准网络进行训练。
[0112]
在其中一个实施例中,所述根据所述第一相似度对所述前向配准网络、所述后向配准 网络进行训练,包括:
[0113]
将所述第一相似度确定为所述第二配准浮动图像的第一准确度,根据所述第一准确度指导所述前向配准网络和所述后向配准网络的训练。
[0114]
在其中一个实施例中,所述采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0115]
将所述第一浮动图像确定为所述后向配准网络的第三参考图像、将所述第一参考图像确定为所述后向配准网络的第三浮动图像,将所述第三浮动图像和所述第三参考图像输入所述后向配准网络,得到第三配准浮动图像;所述第三参考图像的模态为模态二,所述第三浮动图像的模态为模态一;所述第三配准浮动图像的模态与所述第三浮动图像的模态相同;
[0116]
将所述第三配准浮动图像确定为所述前向配准网络的第四参考图像;
[0117]
将所述第四参考图像和第四浮动图像输入所述前向配准网络,得到第四配准浮动图像;所述第四浮动图像的模态为模态二;所述第四配准浮动图像的模态与所述第四浮动图像的模态相同;
[0118]
根据所述第四配准浮动图像和所述第三参考图像,获取所述第四配准浮动图像与所述第三参考图像间的第二相似度,根据所述第二相似度对所述后向配准网络、所述前向配准网络进行训练。
[0119]
在其中一个实施例中,所述根据所述第二相似度对所述后向配准网络、所述前向配准网络进行训练,包括:
[0120]
将所述第二相似度确定为所述第四配准浮动图像的第二准确度,根据所述第二准确度指导所述后向配准网络和所述前向配准网络的训练。
[0121]
在其中一个实施例中,所述采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述配准模型,还包括:
[0122]
根据所述第一相似度获取所述第一训练模式的第一损失函数的值,根据所述第二相似度获取所述第二训练模式的第二损失函数的值;
[0123]
根据所述第一损失函数的值和所述第二损失函数的值,确定所述配准模型。
[0124]
在其中一个实施例中,所述根据所述第一损失函数的值和所述第二损失函数的值,确定所述配准模型,包括:
[0125]
将所述第一损失函数的值和所述第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为所述配准模型。
[0126]
一种图像配准装置,所述装置包括:
[0127]
第一获取模块,用于获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像;
[0128]
第二获取模块,用于根据所述浮动图像、所述第一参考图像和预先训练的配准模型,获取配准参数与配准后的图像;所述配准模型用于对不同模态的图像进行配准。
[0129]
一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述图像配准方法中任一项所述方法的步骤。
[0130]
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像配准方法中任一项所述方法的步骤。
[0131]
上述图像配准方法、装置、计算机设备和可读存储介质中,可以根据预先训练的用于 对不同模态的图像进行配准的配准模型,对两个不同模态的浮动图像和参考图像进行配准,解决了现有图像配准技术中无法对跨模态图像进行配准的问题;另外,利用预先训练的配准模型对两个不同模态的图像进行配准,不需要额外的参数调节,提高了图像配准的配准效率与鲁棒性,同时根据配准模型对图像配准也提高了配准准确度。

附图说明

[0132]
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
[0133]
图1为一个实施例提供的图像配准方法的流程示意图;
[0134]
图2为另一个实施例提供的图像配准方法的流程示意图;
[0135]
图3为另一个实施例提供的图像配准方法的流程示意图;
[0136]
图4为另一个实施例提供的图像配准方法的流程示意图;
[0137]
图5为另一个实施例提供的图像配准方法的流程示意图;
[0138]
图6为另一个实施例提供的图像配准方法的流程示意图;
[0139]
图7为另一个实施例提供的图像配准方法的流程示意图;
[0140]
图8为另一个实施例提供的图像配准方法的流程示意图;
[0141]
图9为另一个实施例提供的图像配准方法的流程示意图;
[0142]
图10为一个实施例提供的图像配准装置的结构示意图;
[0143]
图11为一个实施例提供的计算机设备的内部结构示意图;
[0144]
图12为一个实施例提供的图像配准方法的流程示意图;
[0145]
图13为另一个实施例提供的图像配准方法流程示意图;
[0146]
图14为另一个实施例提供的图像配准方法流程示意图;
[0147]
图15为另一个实施例提供的图像配准方法流程示意图;
[0148]
图16为另一个实施例提供的图像配准方法流程示意图;
[0149]
图17为一个实施例提供的图像配准装置结构示意图;
[0150]
图18为又一个实施例提供的图像配准装置结构示意图;
[0151]
图19为又一个实施例提供的图像配准装置结构示意图;
[0152]
图20为一个实施例提供的图像配准方法流程示意图;
[0153]
图21为另一个实施例提供的图像配准方法的流程示意图;
[0154]
图22为一个实施例提供的第一训练模式的训练过程示意图;
[0155]
图23为另一个实施例提供的图像配准方法的流程示意图;
[0156]
图24为一个实施例提供的第二训练模式的训练过程示意图;
[0157]
图25为另一个实施例提供的图像配准方法的流程示意图;
[0158]
图26为一个实施例提供的图像配准装置结构示意图;
[0159]
图27为一个实施例提供的图像配准装置结构示意图;
[0160]
图28为一个实施例提供的图像配准装置结构示意图;
[0161]
图29为一个实施例提供的图像配准装置结构示意图;
[0162]
图30为一个实施例提供的图像配准装置结构示意图;
[0163]
图31为一个实施例提供的图像配准装置结构示意图;

具体实施方式

[0164]
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0165]
不同的医学图像能够反映出不同的人体解剖结构信息,医学临床上通常需要对不同的医学图像进行准确有效的配准,图像配准可以实现将不同时间、不同成像设备或不同条件下获取的两幅或多幅图像进行匹配和叠加,对不同医学图像的信息进行有效融合,使得在临床疾病诊断或治疗上能够充分考虑不同医学图像中互补的解剖结构信息。不同的医学图像配准对临床诊疗的精准化和智能化发展具有重要意义。根据不同的临床应用,需要实现图像配准的图像模态包含但不局限于计算机断层扫描(Computed Tomography,CT)图像,磁共振(Magnetic Resonance Imaging,MRI)图像,正电子发射计算机断层扫描(Positron Emission Tomography,PET)图像,超声(Ultrasound)图像,功能磁共振(functional Magnetic Resonance Imaging,fMRI)图像等。但传统的图像配准方法无法解决非线性跨模态图像的配准问题。为了解决传统的图像配准方法无法解决非线性跨模态图像的配准问题,本申请其中一个实施例中提出了一种图像配准方法、装置、计算机设备及可读存储介质。
[0166]
在一个实施例中,如图1所示,提供了一种图像配准方法的流程示意图,包括以下步骤:
[0167]
S1010,获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像。
[0168]
其中,浮动图像是指待配准的图像,参考图像是指浮动图像要配准过去的图像空间。不同模态的图像是指利用不同成像原理、设备得到的图像,例如,利用计算机断层扫描(Computed Tomography,CT),核磁共振(Magnetic Resonance Imaging,MRI),正电子发射计算机断层扫描(Positron Emission Tomography,PET),超声(Ultrasound),功能磁共振(functional Magnetic Resonance Imaging,fMRI)等得到的任意两个模态的图像均是不同模态的图像。可选的,计算机设备可以从PACS(Picture Archiving and Communication Systems,影像归档和通信系统)服务器中获取不同模态的待配准的浮动图像和参考图像,也可以直接从不同的医学影像设备中获取不同模态的待配准的浮动图像和参考图像。可选的,计算机设备可以对获得的两幅或多幅图像进行配准,比如将其中一幅图像作为参考图像,其它图像作为浮动图像,将浮动图像映射到参考图像,以实现参考图像与浮动图像在解剖学结构下的对齐。可选的,参考图像和浮动图像可以是同一个体的图像,也可以是不同个体的图像,可以是包含的解剖学结构均相同的图像,也可以是包含部分相同的解剖学结构的图像,本实施例对参考图像和浮动图像的来源并不做限定。可选的,参考图像和浮动图像可以是二维图像,也可以是三维图像,本实施例对此并不做具体限定。
[0169]
S1011,根据浮动图像、参考图像和目标配准方法,获取配准结果;目标配准方法用于对不同模态的图像进行配准。
[0170]
具体的,计算机设备根据浮动图像、参考图像和目标配准方法,获取配准结果,其中,目标配准方法用于对不同模态的图像进行配准。可选的,目标配准方法可以是配准算法, 也可以是配准模型,也可以是配准算法和配准模型相结合的方法。示例性地,目标配准方法为配准算法时,计算机设备通过配准算法,得到浮动图像和参考图像的变换矩阵,根据得到的变换矩阵对浮动图像进行配准,得到配准结果;目标配准方法为配准模型时,计算机设备将浮动图像和参考图像输入配准模型中,得到浮动图像的变形场,根据得到的变形场对浮动图像进行配准,得到配准结果;目标配准方法为配准算法和配准模型相结合时,计算机设备通过配准算法,得到浮动图像和参考图像的变换矩阵,根据得到的变换矩阵对浮动图像进行变换,得到变换后的浮动图像,将变换后的浮动图像和参考图像输入配准模型,得到变形场,根据得到的变形场对变换后的浮动图像进行配准,得到配准结果。
[0171]
在本实施例中,计算机设备可以利用对不同模态的图像进行配准的目标配准方法,对不同模态的浮动图像和参考图像进行配准,获取配准结果,解决了传统的图像配准方法无法准确有效地对跨模态图像进行配准的问题。
[0172]
在一个实施例中,如图2所示,提供了另一种图像配准方法的流程示意图,上述S1011包括:
[0173]
S1020,对浮动图像和参考图像进行语义信息的提取,得到包括语义信息的标记浮动图像和标记参考图像。
[0174]
具体的,计算机设备对浮动图像和参考图像进行语义信息的提取,得到包括提取的语义信息的标记浮动图像和标记参考图像。可选的,上述语义信息包括:浮动图像的分割区域和解剖学标记中的至少一个,以及参考图像的分割区域和解剖学标记中的至少一个;其中,解剖学标记包括解剖学标记点、解剖学标记线和解剖学标记面。可选的,上述语义信息可以为参考图像和浮动图像中的解剖学标记,也可以为参考图像和浮动图像中的分割区域。进一步的,上述解剖学标记为解剖学标记点时,解剖学标记可以是几何标记点,如灰度极值或线性结构交点,也可以是在解剖形态上清晰可见并可精确定位的解剖标记点,如人体组织、器官或病灶的关键标记点或特征点;上述分割区域可以是参考图像和浮动图像对应的曲线或曲面等,如肺部、肝部或不规则区域。可选的,计算机设备可以根据预设的神经网络模型对浮动图像和参考图像进行语义信息的提取。示例性地,对浮动图像和参考图像进行语义信息的提取时,如果计算机设备检测到肺部对应的区域,则计算机设备可以把肺部对应的区域分割出来,从而提取出肺部对应的语义信息;如果计算机设备检测到骨骼,则计算机设备可以用标记点将骨骼对应的位置标记出来,从而提取出骨骼对应的语义信息。
[0175]
S1021,根据语义信息,从预设的图像配准算法中确定标记浮动图像和标记参考图像分别对应的目标图像配准算法。
[0176]
具体的,计算机设备根据提取出的语义信息,从预设的图像配准算法中确定标记浮动图像和标记参考图像分别对应的目标图像配准算法。其中,图像配准算法为用于对提取语义信息后得到的标记参考图像和标记浮动图像进行配准的算法,例如,表面匹配算法、互信息法、标准正交化矩阵法和最小二乘法。可选的,预设的图像配准算法包括基于分割的图像配准算法和基于解剖学标记的配准算法。进一步的,基于分割的图像配准算法为能够对包括上述分割区域的标记参考图像和标记浮动图像进行配准的图像配准算法,如表面匹配算法、互信息法、灰度均方差法等算法;基于解剖学标记的配准算法为能够对包括上述解剖学标记的标记参考图像和标记浮动图像进行配准的图像配准算法,如奇异值分解算法、迭代最近点法、标准正交化矩阵法等算法。可选的,对于包含不同语义信息的标记参 考图像和标记浮动图像,计算机设备确定出的对应的目标图像配准算法不同,即包括分割区域的标记参考图像和标记浮动图像与包括解剖学标记的标记参考图像和标记浮动图像,可以对应不同的配准算法。
[0177]
S1022,根据语义信息和目标图像配准算法,对浮动图像和参考图像进行图像配准,得到初始配准结果;初始配准结果包括浮动图像和参考图像间的变换矩阵。
[0178]
具体的,计算机设备根据提取出的语义信息和确定的目标图像配准算法,对浮动图像和参考图像进行图像配准,得到包括浮动图像和参考图像的变换矩阵的初始配准结果。可选的,一幅参考图像或一幅浮动图像中可以同时包括分割区域和解剖学标记,此时,计算机设备可以先利用基于解剖学标记的配准算法对参考图像和浮动图像中的解剖学标记进行配准,再利用基于分割的图像配准算法对参考图像和浮动图像中的分割区域进行配准;也可以先利用基于分割的图像配准算法对参考图像和浮动图像中的分割区域进行配准,再利用基于解剖学标记的配准算法对参考图像和浮动图像中的解剖学标记进行配准,也可以同时利用基于解剖学标记的配准算法对参考图像和浮动图像中的解剖学标记进行配准,并利用基于分割的图像配准算法对参考图像和浮动图像中的分割区域进行配准,本实施例对此并不做限定。可选的,计算机设备可以在确保继续使用其中的CPU进行图像配准的相关运算处理的情况下,还可以引入支持并行计算架构(Compute Unified Device Architecture,CUDA)的图形处理器(Graphics Processing Unit,GPU)处理部分运算,以进一步加快运行对浮动图像和参考图像进行图像配准的目标图像配准算法的速度。
[0179]
S1023,根据变换矩阵、参考图像和浮动图像,得到变换后的浮动图像。
[0180]
具体的,计算机设备根据得到的浮动图像和参考图像的变换矩阵、参考图像和浮动图像,得到变换后的浮动图像。可选的,计算机设备可以根据浮动图像和参考图像的变换矩阵对浮动图像进行变换,并对得到的图像结合参考图像进行调整,得到变换后的浮动图像。需要说明的是,变换后的浮动图像仅对浮动图像的空间结构进行了变换,变换后的浮动图像的模态并没有改变,变换后的浮动图像与参考图像仍为两个不同模态的图像。
[0181]
S1024,根据变换后的浮动图像、参考图像和目标配准模型,对变换后的浮动图像进行配准,得到配准结果。
[0182]
具体的,计算机设备将变换后的浮动图像和参考图像输入目标配准模型中,得到变形场,根据得到的变形场对变换后的浮动图像进行配准,得到配准结果。其中,目标配准模型为预先训练好的用于对不同模态的图像进行配准的模型。可以理解的是,变换后的浮动图像的模态与参考图像的模态是不同的,这样通过用于对不同模态的图像进行配准的目标配准模型,可以将变换后的浮动图像配准为与参考图像模态相同的图像,得到与参考图像模态相同的配准图像。
[0183]
在本实施例中,计算机设备可以先提取参考图像和浮动图像的语义信息,从而根据不同的语义信息,采用不同的目标图像配准算法对参考图像和浮动图像进行配准,得到包括浮动图像和参考图像的变换矩阵,根据得到的变换矩阵、参考图像和浮动图像,得到变换后的浮动图像,再根据变换后的浮动图像、参考图像和目标配准模型,对变换后的浮动图像进行进一步地配准,目标配准模型能够根据变换后的浮动图像和参考图像,对变换后的浮动图像进行进一步更加准确地配准,进而提高了得到的配准结果的准确度。
[0184]
在一个实施例中,如图3所示,提供了另一种图像配准方法的流程示意图,当目标图像配准算法为基于解剖学标记的配准算法时,在上述实施例的基础上,作为一种可选的实 施方式,上述S1022包括:
[0185]
S1030,获取标记浮动图像的待配准浮动解剖学标记集和标记参考图像的待配准参考解剖学标记集。
[0186]
具体的,待配准浮动解剖学标记集和待配准参考解剖学标记集为各个解剖学标记的坐标信息的集合。可选的,解剖学标记可以为人工进行预标记的标记。可选的,待配准浮动解剖学标记集可以为待配准浮动解剖学标记点集,也可以为待配准浮动解剖学标记线集,也可以为待配准浮动解剖学标记面集。可选的,待配准参考解剖学标记集可以为待配准参考解剖学标记点集,也可以为待配准参考解剖学标记线集,也可以为待配准参考解剖学标记面集。
[0187]
S1031,根据待配准浮动解剖学标记集、待配准参考解剖学标记集和基于解剖学标记的配准算法,对浮动图像和参考图像进行图像配准,得到初始配准结果。
[0188]
具体的,计算机设备根据待配准浮动解剖学标记集、待配准参考解剖学标记集和基于解剖学标记的配准算法,对浮动图像和参考图像进行图像配准,得到包括浮动图像和参考图像间的变换矩阵的初始配准结果。可选的,基于解剖学标记的配准算法可以为奇异值分解算法、迭代最近点算法、标准正交化矩阵算法中的任意一种算法。可选的,计算机设备可以根据上述待配准浮动解剖学标记集和待配准参考解剖学标记集中各个标记的名称的匹配结果,确定标记交集;根据上述标记交集,从上述待配准浮动解剖学标记集和上述待配准参考解剖学标记集中分别确定初始浮动解剖学标记集和初始参考解剖学标记集;根据上述初始浮动解剖学标记集、上述初始参考解剖学标记集和上述基于解剖学标记的配准算法,对上述浮动图像和上述参考图像进行图像配准,得到包括浮动图像和参考图像间的变换矩阵的初始配准结果。其中,每个解剖学标记有唯一的名称,对于待配准浮动解剖学标记集和待配准参考解剖学标记集中的解剖学标记名称相同的解剖学标记构成二者的标记交集。可选的,计算机设备也可以将待配准浮动解剖学标记集和待配准参考解剖学标记集中的解剖学标记编号相同的解剖学标记作为二者的标记交集。确定标记交集后,计算机设备可以将待配准浮动解剖学标记集中与上述标记交集对应的集合作为初始浮动解剖学标记集,以及将待配准参考解剖学标记集中与上述标记交集对应的集合作为初始参考解剖学标记集,从而可以将初始参考解剖学标记集和初始浮动解剖学标记集输入预设的基于解剖学标记的配准算法,实现浮动图像和参考图像在相同解剖学结构下的对齐。
[0189]
在本实施例中,计算机设备可以根据从待配准浮动解剖学标记集和待配准参考解剖学标记集中选取的初始浮动解剖学标记集和初始参考解剖学标记集,并利用基于解剖学标记的配准算法对上述浮动图像和上述参考图像进行图像配准。可选的,利用基于解剖学标记的配准算法对浮动图像和参考图像进行图像配准的过程可以分为三个阶段,每个阶段可以得到对应的配准结果,三个阶段的配准过程如下:
[0190]
第一阶段的配准过程可以参见S10311至S10313:
[0191]
S10311,根据初始浮动解剖学标记集、初始参考解剖学标记集和基于解剖学标记的配准算法,确定第一配准结果;第一配准结果包括第一配准结果集和第一变换矩阵。
[0192]
具体的,计算机设备根据初始浮动解剖学标记集、初始参考解剖学标记集和预设的基于解剖学标记的配准算法,可以得到待配准浮动解剖学标记集进行空间变换后的第一配准结果集和第一变换矩阵。上述第一配准结果集和第一变换矩阵构成第一配准结果。
[0193]
S10312,根据第一空间距离集合和预设的比率,确定预设的比率内的第一空间距离对 应的第一浮动解剖学标记集;其中,第一空间距离集合中记录有待配准参考解剖学标记集与第一配准结果集中各个对应标记的第一空间距离。
[0194]
具体的,在得到第一配准结果集后,计算机设备可以根据公式D1=||Pf1–Pre1||2,计算出待配准参考解剖学标记集与第一配准结果集中各个对应标记的第一空间距离D1,其中,Pf1为待配准参考解剖学标记集中与第一配准结果集中对应的标记构成的集合,Pre1为第一配准结果集。可选的,上述预设的比率可以为根据需要设定的(0,1]内的任意值。可选的,可以直接选取预设的比率内的第一空间距离对应的第一浮动解剖学标记集,也可以对第一空间距离中的各个距离进行升序排序,再选取预设的比率内的第一空间距离对应的第一浮动解剖学标记集,由于待配准参考解剖学标记集与第一配准结果集中各个对应标记的第一空间距离越小,配准结果精度越高,因此,对第一空间距离中的各个距离进行升序排序后再选取预设的比率内的第一空间距离对应的第一浮动解剖学标记集,可以提高配准的准确度。上述第一浮动解剖学标记集为从待配准浮动解剖学标记集中选取的预设的比率内的第一空间距离对应的集合。
[0195]
S10313,当第一浮动解剖学标记集中的标记的数目小于预设的数目阈值时,则将第一变换矩阵作为目标变换矩阵。
[0196]
具体的,上述目标变换矩阵为标记浮动图像和标记参考图像进行图像配准所用的矩阵,计算机设备可以利用目标变换矩阵实现标记浮动图像和标记参考图像的配准。可选的,计算机设备可以将第一浮动解剖学标记集中的标记的数目与预设的数目阈值进行比较,根据比较结果确定是否将上述第一变换矩阵作为目标变换矩阵。可选的,上述预设的数目阈值可以为5。当上述第一浮动解剖学标记集中的标记的数目小于预设的数目阈值时,则将第一变换矩阵作为目标变换矩阵,并继续执行S10311。
[0197]
当上述第一浮动解剖学标记集中的标记的数目大于或等于预设的数目阈值时,需要进行第二阶段的配准过程。
[0198]
第二阶段的配准过程可以参见S10314至S10318:
[0199]
S10314,获取第一浮动解剖学标记集中与待配准参考解剖学标记集对应的第一参考解剖学标记集。
[0200]
具体的,第一参考解剖学标记集为第一浮动解剖学标记集中的标记的名称或编号与待配准参考解剖学标记集中的标记的名称或编号相同的标记对应的标记构成的集合。
[0201]
S10315,根据第一浮动解剖学标记集、第一参考解剖学标记集和基于解剖学标记的配准算法,确定第二变换矩阵。
[0202]
具体的,和上述确定第一变换矩阵的方法相同,计算机设备可以根据第一浮动解剖学标记集、第一参考解剖学标记集和预设的基于解剖学标记的配准算法,得到第二变换矩阵。
[0203]
S10316,根据第二变换矩阵和待配准浮动解剖学标记集,确定第二配准结果集。
[0204]
具体的,计算机设备可以根据得到的第二变换矩阵与待配准浮动解剖学标记集的乘积,利用第二变换矩阵对待配准浮动解剖学标记集进行空间变换,并结合插值法如近邻插值、双线性插值或三线性插值等方法,得到第二配准结果集。
[0205]
S10317,根据第二空间距离集合和预设的距离阈值,确定小于预设的距离阈值的第二空间距离对应的第二浮动解剖学标记集;第二空间距离集合中记录有待配准参考解剖学标记集与第二配准结果集中各个对应标记的第二空间距离。
[0206]
具体的,计算机设备在得到第二配准结果集后,计算机设备可以根据公式D2=||Pf– Pre2||2,计算出待配准参考解剖学标记集与第二配准结果集中各个对应标记的第二空间距离D2,其中,Pf2为待配准参考解剖学标记集与第二配准结果集中各个标记对应的集合,Pre2为第二配准结果集。可选的,上述预设的距离阈值可以根据需要设定,比如距离阈值可以根据用户可接受的待配准参考解剖学标记集与第二配准结果集中各个对应标记的实际距离进行确定。上述第二浮动解剖学标记集为从待配准浮动解剖学标记集中选取的预设的距离阈值内的第二空间距离对应的集合。
[0207]
S10318,当第二浮动解剖学标记集中的标记的数目小于预设的阈值数目时,则将第二变换矩阵作为目标变换矩阵。
[0208]
具体的,计算机设备可以将第二浮动解剖学标记集中的标记的数目与预设的数目阈值进行比较,根据比较结果确定是否将上述第二变换矩阵作为目标变换矩阵。当上述第二浮动解剖学标记集中的标记的数目小于预设的数目阈值时,则将第二变换矩阵作为目标变换矩阵,并继续执行S10311。
[0209]
当上述第二浮动解剖学标记集中的标记点的数目大于或等于预设的数目阈值时,需要进行第三阶段的配准过程。
[0210]
第三阶段的配准过程可以参见S10319至S10321:
[0211]
S10319,获取待配准参考解剖学标记集中与第二浮动解剖学标记集对应的第二参考解剖学标记集。
[0212]
具体的,第二参考解剖学标记集为从待配准参考解剖学标记集中选取的与上述第二浮动解剖学标记集中标记的名称或编号相同的标记对应的集合。
[0213]
S10320,根据第二浮动解剖学标记集、第二参考解剖学标记集和基于解剖学标记的配准算法,确定第三变换矩阵,并将第三变换矩阵作为目标变换矩阵。
[0214]
具体的,和上述确定第一变换矩阵和第二变换矩阵的方法相同,计算机设备可以根据第二浮动解剖学标记集、第二参考解剖学标记集和预设的基于解剖学标记的配准算法,得到第三变换矩阵,在得到第三变换矩阵后,计算机设备可以直接将该第三变换矩阵作为目标变换矩阵。
[0215]
S10321,根据目标变换矩阵,对参考图像和浮动图像进行图像配准。
[0216]
具体的,计算机设备可以根据浮动图像的每个像素点的坐标位置构成的矩阵和目标变换矩阵的乘积,并结合插值法如近邻插值、双线性插值或三线性插值等方法,将标记浮动图像映射到标记参考图像空间下,以实现标记参考图像和标记浮动图像在解剖学结构下的对齐,从而完成对标记参考图像和标记浮动图像的图像配准。
[0217]
可选的,计算机设备可以根据如下方式调整上述预设的比率和预设的距离阈值:对待配准的浮动图像和参考图像中的各个标记加噪声,利用上述三个阶段的配准方式对待配准的浮动图像和参考图像进行配准,得到新的目标变换矩阵,再利用新的目标变换矩阵,对上述浮动图像和参考图像进行图像配准,并根据得到的配准结果利用预设的相似性度量模型,计算配准后浮动图像和参考图像之间的相似性度量值,将该相似性度量值与预设的相似性度量阈值进行比较,如果小于预设的相似性度量阈值,则调整上述预设的比率和预设的距离阈值中的至少一个,直到最终得到的相似性度量值大于预设的相似性度量阈值为止,从而将预设的比率和预设的距离阈值调整为合适的值,进而可以使得利用调整的预设的比率和预设的阈值的算法进行配准的图像的配准精度更高。需要说明的是,上述添加的噪声的均值、方差和个数均可以随机设置。
[0218]
在本实施例中,计算机设备可以获取标记浮动图像的待配准浮动解剖学标记集和标记参考图像的待配准参考解剖学标记集,并根据待配准浮动解剖学标记集、待配准参考解剖学标记集和基于解剖学标记的配准算法,分三个阶段对标记浮动图像和标记参考图像进行图像配准,每个阶段利用一定的条件比如预设的比率内的标记或预设的距离阈值内的标记,进行图像配准,而不是用全部标记进行图像配准,大大减小了计算量,提高了配准速度;另外,每个阶段的标记集均不同,从而可以降低部分解剖学标记可能被误检而影响配准精确度的影响,并且每个阶段的标记均是根据预设的比率或预设的距离阈值等进行筛选确定出的能够提高配准精度的标记,因此,本实施例提供的分阶段进行配准的方式可以提高图像配准的精度。
[0219]
在一个实施例中,如图4所示,提供了另一种图像配准方法的流程示意图,当目标图像配准算法为基于分割的图像配准算法时,在上述实施例的基础上,作为一种可选的实施方式,上述S1022包括:
[0220]
S1040,获取浮动图像对应的分割浮动图像和参考图像对应的分割参考图像。
[0221]
具体的,分割浮动图像和分割参考图像可以为根据预设的已训练好的神经网络模型对待配准的浮动图像和参考图像进行语义信息提取后对应的图像。可选的,计算机设备可以利用预设的已训练好的神经网络模型对待配准的浮动图像和参考图像进行任意区域的分割,以得到分割浮动图像和分割参考图像。
[0222]
S1041,根据分割浮动图像、分割参考图像和基于分割的图像配准算法,对浮动图像和参考图像进行图像配准,得到初始配准结果。
[0223]
具体的,基于分割的图像配准算法可以为表面匹配算法、互信息法和灰度均方差法等算法中的任意一个。计算机设备可以根据获取的分割浮动图像、分割参考图像和基于分割的图像配准算法,确定出目标分割变换矩阵,从而根据该目标分割变换矩阵,将上述待配准的浮动图像映射到参考图像的空间坐标下,完成浮动图像和参考图像的配准,得到初始配准结果。
[0224]
在本实施例中,计算机设备可以获取浮动图像对应的分割浮动图像和参考图像对应的分割参考图像,并根据分割浮动图像、分割参考图像和基于分割的图像配准算法,对浮动图像和参考图像进行图像配准,直接利用基于分割的图像配准算法对浮动图像和参考图像进行图像配准,实现方式较简单,提高了对浮动图像和参考图像进行图像配准的效率。
[0225]
在一个实施例中,如图5所示,提供了另一种图像配准方法的流程示意图,在上述实施例的基础上,作为一种可选的实施方式,上述方法还包括:
[0226]
S1050,获取对浮动图像和参考图像进行图像配准后的初始配准结果。
[0227]
具体的,计算机设备获取上述对浮动图像和参考图像进行图像配准后的包括浮动图像和参考图像的变换矩阵的初始配准结果。
[0228]
S1051,根据预设的配准结果整合方法,对不同解剖学标记得到的初始配准结果和/或不同分割区域得到的初始配准结果进行整合。
[0229]
其中,预设的配准结果整合方法可以为三线性插值法和B样条插值法等方法中的任意一个方法。图像整合可以为将两幅或两幅以上来自不同成像设备或不同时刻获取的配准图像,采用某种算法,把各个图像有机地结合起来。具体的,计算机设备根据预设的配准结果整合方法,对不同解剖学标记得到的初始配准结果和/或不同分割区域得到的初始配准结果进行整合。也就是,计算机设备可以根据预设的配准结果整合方法,将初始配准结果中 的浮动图像和参考图像进行整合,以得到参考图像空间下浮动图像与参考图像整合在一起的扭曲图像。
[0230]
在本实施例中,计算机设备可以获取对浮动图像和参考图像进行图像配准后的初始配准结果,从而根据预设的配准结果整合方法,对不同解剖学标记得到的初始配准结果和/或不同分割区域得到的初始配准结果进行整合,以实现将浮动图像和参考图像整合到一幅图像中,从而将各个图像的优点互补性地有机地结合起来,以获得信息量更丰富的新图像,从而较好地辅助医生利用整合后的图像判断病人的情况。
[0231]
在一个实施例中,如图6所示,提供了另一种图像配准方法的流程示意图,在上述实施例的基础上,作为一种可选的实施方式,上述S1023包括:
[0232]
S1060,根据变换矩阵、对参考图像进行下采样操作后得到的下采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值。
[0233]
具体的,计算机设备对参考图像进行下采样操作得到下采样参考图像,对浮动图像进行下采样操作得到下采样浮动图像,利用变换矩阵对下采样浮动图像进行空间变换,得到下采样浮动图像对应的变换后的浮动图像,然后根据变换矩阵、下采样参考图像和下采样浮动图像对应的变换后的浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值。可选的,计算机设备可以对参考图像和浮动图像进行一次下采样操作,得到下采样参考图像和下采样浮动图像,并利用变换矩阵对下采样浮动图像进行空间变换,得到下采样浮动图像对应的变换后的浮动图像,进而利用预设的相似性度量值的计算算法如互信息法、灰度均方差法等算法,确定下采样浮动图像对应的变换后的浮动图像与下采样参考图像之间的相似性度量值。需要说明的是,这里确定的下采样浮动图像对应的变换后的浮动图像与下采样参考图像之间的相似性度量值,指的是下采样浮动图像对应的变换后的浮动图像与下采样参考图像之间空间结构的相似性度量值。
[0234]
S1061,对变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取变换矩阵对应的初始参数。
[0235]
具体的,计算机设备对浮动图像和参考图像的变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取变换矩阵对应的初始参数。示例性地,若参考图像和浮动图像为三维图像,则其对应的变换矩阵可以为4*4的矩阵,计算机设备可以对上述变换矩阵进行平移操作、旋转操作、错切操作和缩放操作,将变换矩阵分解为平移矩阵、旋转矩阵、错切矩阵和缩放矩阵等四个4*4的矩阵,进而分别根据该四个4*4的矩阵在三维坐标系下的平移距离、旋转角度、错切角度和缩放比例等,得到12个变换矩阵对应的初始参数。类似的,若参考图像和浮动图像为二维图像,则计算机设备可以得到8个变换矩阵对应的初始参数。
[0236]
S1062,根据相似性度量值、初始参数和预设的梯度下降法,确定目标变换矩阵。
[0237]
具体的,计算机设备可以根据预设的梯度下降法调整上述初始参数,以使得上述相似性度量值达到最优,并将最优的相似性度量值对应的调整后的参数作为目标参数,根据目标参数确定该目标参数对应的目标变换矩阵。
[0238]
S1063,根据目标变换矩阵对浮动图像进行变换,得到变换后的浮动图像。
[0239]
具体的,计算机设备可以利用目标变换矩阵对浮动图像进行变换,使其映射到参考图像对应的空间坐标系下,得到变换后的浮动图像。
[0240]
在本实施例中,计算机设备可以根据浮动图像和参考图像的变换矩阵、对参考图像进行下采样操作后得到的下采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值,对变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取变换矩阵对应的初始参数,进而根据相似性度量值、初始参数和预设的梯度下降法确定目标参数,由于目标参数是最优的相似性度量值对应的参数,因此,根据该目标参数确定出的目标变换矩阵也是较优的,这样利用该目标变换矩阵,能够准确地对浮动图像进行变换,提高了得到的变换后的浮动图像的准确度。
[0241]
在上述实施例的基础上,作为一种可选的实施方式,目标配准模型包含前向配准网络和后向配准网络;目标配准模型的训练过程包括:
[0242]
采用预设的无监督方法或弱监督的方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到目标配准模型。
[0243]
其中,无监督方法是指利用无标注的医学图像作为训练样本图像,根据训练样本图像学习图像的分布或图像与图像间的关系;弱监督方法是指利用一部分已标注的医学图像作为训练样本图像,根据训练样本图像学习图像的分布或图像与图像间的关系。
[0244]
具体的,计算机设备可以采用预设的无监督方法,利用无标注的医学图像作为训练样本,对预设的前向配准网络和预设的后向配准网络进行迭代训练,学习图像的分布或图像与图像间的关系,得到用于对不同模态的图像进行配准的目标配准模型;或者,计算机设备可以采用预设的弱监督方法,利用一部分已标注的医学图像和一部分没有标注的医学图像作为训练样本,对预设的前向配准网络和预设的后向配准网络进行迭代训练,学习图像的分布或图像与图像间的关系,用无标注的图像对模型的准确度与泛化能力进行进一步提升,得到用于对不同模态的图像进行配准的目标配准模型。
[0245]
在本实施例中,计算机设备采用预设的无监督方法或弱监督的方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练的训练过程十分有效,当医学图像没有标注的时候,也可以有效地完成模型的训练,大大提高了得到目标配准模型的效率,进而提高了对浮动图像进行配准的配准效率。
[0246]
在上述实施例的基础上,作为一种可选的实施方式,采用预设的无监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到目标配准模型,包括:采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到目标配准模型;其中,第一训练模式为先前向配准网络再后向配准网络的训练方式,第二训练模式为先后向配准网络再前向配准网络的训练方式。
[0247]
具体的,计算机设备采用预设的先训练前向配准网络再训练后向配准网络的第一训练模式和预设的先训练后向配准网络再训练前向配准网络的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到目标配准模型。可选的,前向配准网络、后向配准网络可以为深度学习中的卷积神经网络(Convolutional Neural Networks,CNN)。
[0248]
在本实施例中,计算机设备采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和后向配准网络进行迭代训练,通过迭代训练能够提高得到的用于对不同模态图像进行配准的目标配准模型的准确度,进而提高了根据目标配准模型对浮动图像进行配准的配准的准确度。
[0249]
在一个实施例中,如图7所示,提供了另一种图像配准方法的流程示意图,在上述实 施例的基础上,作为一种可选的实施方式,上述采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0250]
S1070,将第一浮动图像和第一参考图像输入预设的前向配准网络,得到第一配准浮动图像;第一参考图像的模态为模态一,第一浮动图像的模态为模态二;第一配准浮动图像的模态与第一浮动图像的模态相同。
[0251]
具体的,计算机设备将模态一的第一参考图像和模态二的第一浮动图像输入预设的前向配准网络,得到与第一浮动图像模态相同的第一配准浮动图像。可选的,第一参考图像和第一浮动图像可以从PACS服务器中获取,也可以直接从不同的医学影像设备中获取。示例性地,将MRI图像与CT图像进行配准时,可以将CT图像作为第一参考图像,MRI图像作为第一浮动图像输入前向配准网络,得到第一配准浮动图像,也就是配准后的MRI图像。可以理解的是,目标配准模型是用于对变换后的浮动图像和参考图像进行配准的,那么,相应地,这里所说的第一浮动图像也是经过变换后的图像,也就是,计算机设备会对第一浮动图像和第一参考图像进行语义信息的提取,得到包括提取的语义信息的标记第一浮动图像和标记第一参考图像,然后根据提取的语义信息,确定标记第一浮动图像和标记第一参考图像分别对应的目标配准算法,再根据提取的语义信息和目标图像配准算法,对第一浮动图像和第一参考图像进行配准,得到第一浮动图像和第一参考图像间的变换矩阵,根据第一浮动图像和第一参考图像间的变换矩阵、第一参考图像和第一浮动图像,得到变换后的图像,也就是这里所说的第一浮动图像。
[0252]
S1071,将第一配准浮动图像确定为预设的后向配准网络的第二参考图像。
[0253]
具体的,计算机设备将上述第一配准浮动图像确定为预设的后向配准网络的第二参考图像,也就是,第二参考图像的模态为模态二。对应到上述示例中,第一配准浮动图像为配准后的MRI图像。
[0254]
S1072,将第二参考图像和第二浮动图像输入预设的后向配准网络,得到第二配准浮动图像;第二浮动图像的模态为模态一;第二配准浮动图像的模态与第二浮动图像的模态相同。
[0255]
具体的,计算机设备先获取一幅模态为模态一的图像作为第二浮动图像,将第一配准浮动图像作为第二参考图像,再将第二参考图像和和第二浮动图像输入后向配准网络,得到与第二浮动图像模态相同的第二配准浮动图像。可选的,计算机设备可以从PACS服务器中获取第二浮动图像,也可以直接从与模态一为相同模态的医学影像设备中获取第二浮动图像。继续以上述例子为例,也就是将上述配准后的MRI图像作为第二参考图像,再获取一幅CT图像作为第二浮动图像,将MRI图像和CT图像输入后向配准网络,得到配准后的CT图像。可以理解的是,与S1070相对应,这里的第二浮动图像也是经过变换后的图像,得到这里的第二浮动图像的过程可参照上述实施例的描述,在此不再赘述。
[0256]
S1073,根据第二配准浮动图像和第一参考图像,获取第二配准浮动图像与第一参考图像间的第一相似度,根据第一相似度对预设的前向配准网络、预设的后向配准网络进行训练。
[0257]
具体的,计算机设备根据第二配准浮动图像和第一参考图像,获取第二配准浮动图像和第一参考图像间的第一相似度,根据第一相似度对预设的前向配准网络和预设的后向配准网络进行训练。其中,第一相似度为第二配准浮动图像和第一参考图像间的相似度测度。可选的,第一相似度可以是第二配准浮动图像与第一参考图像间的互相关、均方差、互信 息或相关性系数等,也可是一个判别器网络,用于自动判别图像间的相似度。其中,判别器网络可以是一个简单的卷积神经网络。可选的,计算机设备可以根据第一相似度的值调整预设的前向配准网络和预设的后向配准网络中的参数值,对预设的前向配准网络和预设的后向配准网络进行训练。
[0258]
在本实施例中,计算机设备将第一浮动图像和第一参考图像输入预设的前向配准网络,得到与第一浮动图像模态相同的第一配准浮动图像,再将第一配准浮动图像作为预设的后向配准网络的第二参考图像,将模态为模态一的第二浮动图像和第二参考图像输入预设的后向配准网络,得到第二配准浮动图像,由于第二配准浮动图像与第一参考图像的模态相同,通过获取第二配准浮动图像与第一参考图像间的第一相似度,根据第一相似度训练预设的前向配准网络和预设的后向配准网络实现了不同模态图像的配准,解决了跨模态图像的配准问题。
[0259]
在上述实施例的基础上,作为一种可选的实施方式,上述S1073中根据第一相似度对预设的前向配准网络、预设的后向配准网络进行训练,包括:将第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度指导预设的前向配准网络和预设的后向配准网络的训练。
[0260]
具体的,计算机设备将上述获取的第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度对前向配准网络和后向配准网络进行训练。可选的,第一相似度的值越大配准准确度越高,第一相似度的的值越小配准准确度越低。
[0261]
在本实施例中,计算机设备将第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度指导前向配准网络和后向配准网络的训练,由于第一准确度是根据第一相似度确定的,提高了确定的第一准确度的准确性,进而提高了根据第一准确度训练得到的前向配准网络和后向配准网络的准确性。
[0262]
在一个实施例中,如图8所示,提供了另一种图像配准方法的流程示意图,在上述实施例的基础上,作为一种可选的实施方式,上述采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0263]
S1080,将第一浮动图像确定为预设的后向配准网络的第三参考图像、将第一参考图像确定为预设的后向配准网络的第三浮动图像,将第三浮动图像和第三参考图像输入预设的后向配准网络,得到第三配准浮动图像;第三参考图像的模态为模态二,第三浮动图像的模态为模态一;第三配准浮动图像的模态与第三浮动图像的模态相同。
[0264]
具体的,计算机设备将上述第一浮动图像确定为后向配准网络的第三参考图像、将上述第一参考图像确定为后向配准网络的第三浮动图像,也就是第三参考图像的模态为模态二、第三浮动图像的模态为模态一,之后计算机设备将第三浮动图像和第三参考图像输入后向配准网络,得到与第三浮动图像模态相同的第三配准浮动图像,即第三配准浮动图像的模态为模态一。对应到上述例子中,也就是将CT图像确定为第三浮动图像,将MRI图像确定为第三参考图像,将CT图像和MRI图像输入后向配准网络,得到第三配准浮动图像,也就是配准后的CT图像。
[0265]
S1081,将第三配准浮动图像确定为预设的前向配准网络的第四参考图像。
[0266]
具体的,计算机设备将上述第三配准浮动图像确定为预设的前向配准网络的第四参考图像,也就是,第四参考图像的模态为模态一。对应到上述示例中,第四参考图像为配准后的CT图像。
[0267]
S1082,将第四参考图像和第四浮动图像输入预设的前向配准网络,得到第四配准浮动图像;第四浮动图像的模态为模态二;第四配准浮动图像的模态与第四浮动图像的模态相同。
[0268]
具体的,计算机设备先获取一幅模态为模态二的图像作为第四浮动图像,将第三配准浮动图像作为第四参考图像,再将第四浮动图像和第四参考图像输入预设的前向配准网络,得到与第四浮动图像模态相同的第四配准浮动图像。可选的,计算机设备可以从PACS服务器中获取第四浮动图像,也可以直接从与模态二为相同模态的医学影像设备中获取第四浮动图像。继续以上述例子为例,也就是将上述配准后的CT图像作为第四参考图像,再获取一幅MRI图像作为第四浮动图像,将MRI图像和CT图像输入前向配准网络,得到配准后的MRI图像。可以理解的是,与S1070相对应,这里的第四浮动图像也是经过变换后的图像,得到这里的第四浮动图像的过程可参照上述实施例的描述,在此不再赘述。
[0269]
S1083,根据第四配准浮动图像和第三参考图像,获取第四配准浮动图像与第三参考图像间的第二相似度,根据第二相似度对预设的后向配准网络、预设的前向配准网络进行训练。
[0270]
具体的,计算机设备根据第四配准浮动图像和第三参考图像,获取第四配准浮动图像和第三参考图像间的第二相似度,根据第二相似度对预设的后向配准网络和预设的前向配准网络进行训练。其中,第二相似度为第四配准浮动图像和第三参考图像间的相似度测度。可选的,第二相似度可以是第四配准浮动图像与第三参考图像间的互相关、均方差、互信息或相关性系数,也可是一个判别器网络,用于自动判别图像间的相似度。其中,判别器网络可以是一个简单的卷积神经网络。可选的,计算机设备可以根据第二相似度的值调整预设的后向配准网络和预设的前向配准网络中的参数值,对预设的后向配准网络和预设的前向配准网络进行训练。
[0271]
在本实施例中,计算机设备将第一浮动图像确定为后向配准网络的第三参考图像、将第一参考图像确定为后向配准网络的第三浮动图像,将第三浮动图像和第三参考图像输入后向配准网络,得到与第三浮动图像模态相同的第三配准浮动图像,再将第三配准浮动图像作为前向配准网络的第四参考图像,将模态为模态二的第四浮动图像和第四参考图像输入预设的前向配准网络,得到第四配准浮动图像,由于第四配准浮动图像与第三参考图像的模态相同,通过获取第四配准浮动图像与第三参考图像间的第二相似度,根据第二相似度训练预设的后向配准网络和预设的前向配准网络实现了不同模态图像的配准,解决了跨模态图像的配准问题。
[0272]
在上述实施例的基础上,作为一种可选的实施方式,上述S1083中的根据第二相似度对后向配准网络、前向配准网络进行训练,包括:将第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度指导预设的后向配准网络和预设的前向配准网络的训练。
[0273]
具体的,计算机设备将上述获取的第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度对预设的后向配准网络和预设的前向配准网络进行训练。可选的,第二相似度的值越大第四配准浮动图像的第二准确度越高,第二相似度的的值越小第四配准浮动图像的第二准确度越低。
[0274]
在本实施例中,计算机设备将第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度指导预设的后向配准网络和预设的前向配准网络的训练,由于第二准确度是根据第二相似度确定的,大大提高了确定的第二准确度的准确性,进而提高了根据第二准 确度训练得到的后向配准网络和前向配准网络的准确性。
[0275]
在一个实施例中,如图9所示,提供了另一种图像配准方法的流程示意图,在上述实施例的基础上,作为一种可选的实施方式,上述采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到目标配准模型,还包括:
[0276]
S1090,根据第一相似度获取第一训练模式的第一损失函数的值,根据第二相似度获取第二训练模式的第二损失函数的值。
[0277]
其中,损失函数是图像配准模型训练过程中的目标函数,图像配准模型训练过程中的损失函数是通过图像间的非相似度定义的。具体的,计算机设备根据第一相似度获取第一训练模式的第一损失函数,根据第二相似度获取第二训练模式的第二损失函数。例如,第一相似度为第二配准浮动图像与第一参考图像间的互相关时,第一损失函数的值等于1-互相关的值;第二相似度为第四配准浮动图像与第三参考图像间的均方差时,第二损失函数的值等于1-均方差的值。
[0278]
S1091,根据第一损失函数的值和第二损失函数的值,确定目标配准模型。
[0279]
具体的,计算机设备根据获取的第一损失函数的值和第二损失函数的值,确定第一损失函数和第二损失函数对应的前向配准网络和后向配准网络,将对应的前向配准网络和后向配准网络确定为目标配准模型。可选的,计算机设备可以将第一损失函数的值和第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为目标配准模型。
[0280]
在本实施例中,计算机设备根据第一相似度获取第一训练模式的第一损失函数的值,根据第二相似度获取第二损失函数的值,由于第一损失函数的值和第二损失函数的值是根据相同模态图像间的相似度获取的,获取的第一损失函数的值和第二损失函数的值比较准确,进而提高了根据第一损失函数的值和第二损失函数的值确定的配准模型的准确度。
[0281]
在一个实施例中,如图10所示,提供了一种图像配准装置的结构示意图,图像配准装置包括:获取模块110和配准模块111。
[0282]
具体的,获取模块110,用于获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0283]
配准模块111,用于根据浮动图像、参考图像和目标配准方法,获取配准结果;目标配准方法用于对不同模态的图像进行配准。
[0284]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0285]
关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定,在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0286]
在一个实施例中,提供了一种计算机设备,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的 输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0287]
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0288]
获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0289]
根据浮动图像、参考图像和目标配准方法,获取配准结果;目标配准方法用于对不同模态的图像进行配准。
[0290]
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0291]
获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0292]
根据浮动图像、参考图像和目标配准方法,获取配准结果;目标配准方法用于对不同模态的图像进行配准。
[0293]
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
[0294]
图像配准可以实现将不同时间、不同成像设备或不同条件下获取的两幅或多幅图像进行匹配和叠加,比如可以对电子计算机断层扫描(Computed Tomography,CT)图像和正电子发射型计算机断层显像(Positron Emission Computed Tomography,PET)图像等图像进行匹配和叠加,以在同一图像上显示参与配准的CT图像的信息和PET图像的信息,为临床医学诊断提供较好的辅助作用,是图像处理领域中的一项关键技术。
[0295]
传统技术中,如果感兴趣区域(Region Of Interest,ROI)为不规则区域,则提取待配准图像中的不规则区域,并基于该不规区域进行配准;如果ROI为关键点,则提取待配准图像中的关键点,并基于该关键点进行配准。
[0296]
但是,传统技术中在进行图像配准时,只能基于单个语义信息比如不规则区域或关键点等对待配准图像进行配准,导致传统的配准方法的适用范围较低。
[0297]
为了解决传统技术中在进行图像配准时,只能基于单个语义信息比如不规则区域或关键点等对待配准图像进行配准,导致传统的配准方法的适用范围较低的问题,本申请另一个实施例中提出了一种图像配准的方法、装置、计算机设备和存储介质。
[0298]
如图12所示,本申请实施例提供了一种图像配准的方法,方法包括:
[0299]
S2010,获取待配准的参考图像和浮动图像。
[0300]
具体的,参考图像和浮动图像可以是同模态的图像,也可以是异模态的图像,比如,参考图像和浮动图像可以均为CT图像,也可以一个是CT图像,另一个是PET图像。可选的,计算机设备可以对获得的两幅或多幅图像进行配准,比如将其中一幅图像作为参考图像,其它图像作为浮动图像,将浮动图像映射到参考图像,以实现参考图像与浮动图像在解剖学结构下的对齐。可选的,参考图像和浮动图像可以是同一个体的图像,也可以是不同个体的图像,可以是包含的解剖学结构均相同的图像,也可以是包含部分相同的解剖学结构的图像,本实施例对参考图像和浮动图像的来源并不做限定。可选的,参考图像和浮动图像可以是二维图像,也可以是三维图像,本实施例对此并不做具体限定。
[0301]
S2011,对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像。
[0302]
具体的,计算机设备获取到输入的参考图像和浮动图像后,可以根据预设的已训练好的神经网络模型对参考图像和浮动图像中的语义信息进行提取,比如,如果检测到肺部对应的区域,计算机设备可以就把肺部对应的区域分割出来,从而提取出肺部对应的语义信息:如果检测到骨骼,就用标记点将骨骼对应的位置标记出来,从而提到骨骼对应的语义信息:解剖学标记点。计算机设备利用预设的神经网络模型对参考图像和浮动图像进行语言信息提取后,可以得到包含提取的语义信息的标记参考图像和标记浮动图像。
[0303]
S2012,根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型。
[0304]
具体的,上述图像配准模型为用于对提取语义信息后得到的标记参考图像和标记浮动图像进行配准的模型,比如表面匹配算法、互信息法、标准正交化矩阵法和最小二乘法等对应的算法模型。对于包含不同语义信息的标记参考图像和标记浮动图像,计算机设备可以利用不同的配准模型对二者进行配准,即包括分割区域的标记参考图像和标记浮动图像与包括解剖学标记点的标记参考图像和标记浮动图像,可以对应不同的图像配准模型。
[0305]
可选的,上述语义信息包括:浮动图像的分割区域和解剖学标记点中的至少一个,以及参考图像的割区域和解剖学标记点中的至少一个。其中,上述语义信息可以为参考图像和浮动图像中的解剖学标记点,也可以为参考图像和浮动图像中的分割区域。进一步的,上述解剖学标记点可以是几何标记点,如灰度极值或线性结构交点,也可以是在解剖形态上清晰可见并可精确定位的解剖标记点,如人体组织、器官或病灶的关键标记点或特征点;上述分割区域可以是参考图像和浮动图像对应的曲线或曲面等,如肺部、肝部或不规则区域。
[0306]
可选的,上述预设的图像配准模型可以包括基于分割的图像配准模型和基于解剖学标记点的配准模型。进一步的,基于分割的图像配准模型为能够对包括上述分割区域的标记参考图像和标记浮动图像进行图像配准的图像配准模型,如表面匹配算法、互信息法、灰度均方差法等方法对应的算法模型;基于解剖学标记点的配准模型为能够对包括上述解剖学标记点的标记参考图像和标记浮动图像进行图像配准的配准模型,如奇异值分解算法、迭代最近点法、标准正交化矩阵法等方法对应的算法模型。
[0307]
S2013,根据语义信息和目标图像配准模型,对参考图像和浮动图像进行图像配准。
[0308]
具体的,根据语义信息的不同,计算机设备可以选取对应的目标图像配准模型,对参考图像和浮动图像进行图像配准。可选的,一幅参考图像或一幅浮动图像中可以同时包括分割区域和解剖学点,此时,计算机设备可以先利用解剖学点对应的目标图像配准模型对参考图像和浮动图像中的解剖学点进行配准,再利用分割区域对应的目标图像配准模型对参考图像和浮动图像中的分割区域进行配准;也可以先利用分割区域对应的目标图像配准模型对参考图像和浮动图像中的分割区域进行配准,再利用解剖学点对应的目标图像配准模型对参考图像和浮动图像中的解剖学点进行配准,也可以同时利用解剖学点对应的目标图像配准模型对参考图像和浮动图像中的解剖学点进行配准,并利用分割区域对应的目标图像配准模型对参考图像和浮动图像中的分割区域进行配准,本实施例对此并不做限定。
[0309]
可选的,计算机设备可以在确保继续使用其中的CPU进行图像配准的相关运算处理的情况下,还可以引入支持并行计算架构(Compute Unified Device Architecture,CUDA)的 图形处理器(Graphics Processing Unit,GPU)处理部分运算,以进一步加速上述对参考图像和浮动图像进行配准的配准算法的速度。
[0310]
本实施例提供的图像配准方法,计算机设备可以获取待配准的参考图像和浮动图像;并对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像;进而根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型;最终根据语义信息和目标图像配准模型,对标记参考图像和标记浮动图像进行图像配准。本实施例中,计算机设备可以先提取参考图像和浮动图像的语义信息,从而根据不同的语义信息,采用不同的目标图像配准模型对参考图像和浮动图像进行配准,以完成包括多种语义信息的参考图像和浮动图像的配准,解决了现有技术中只能基于单一的语义信息对参考图像和浮动图像进行配准的局限性,大大提高了图像配准的适用范围。
[0311]
图13为另一个实施例提供的图像配准方法流程示意图。本实施例涉及的是当目标图像配准模型为上述基于解剖学标记点的配准模型时,计算机设备根据基于解剖学标记点的配准模型和语义信息对参考图像和浮动图像进行配准的过程。在上述实施例的基础上,可选的,上述S2013可以包括:
[0312]
S2020,获取标记参考图像的待配准参考解剖学标记点集和标记浮动图像的待配准浮动解剖学标记点集。
[0313]
具体的,上述待配准参考解剖学标记点集和待配准浮动解剖学标记点集为各个解剖学标记点的坐标信息的集合。可选的,解剖学标记点可以为人工进行预标记的标记点。
[0314]
S2021,根据待配准参考解剖学标记点集、待配准浮动解剖学标记点集和基于解剖学标记点的配准模型,对参考图像和浮动图像进行图像配准。
[0315]
具体的,上述基于解剖学标记点的配准模型可以为奇异值分解算法、迭代最近点算法、标准正交化矩阵法等方法对应的算法模型中的任意一个。计算机设备可以根据获取的待配准参考解剖学标记点集、待配准浮动解剖学标记点集和预设的基于解剖学标记点的配准模型,对参考图像和浮动图像进行图像配准。
[0316]
可选的,上述S2021具体可以包括:根据上述待配准参考解剖学标记点集和上述待配准浮动解剖学标记点集中各个标记点的名称的匹配结果,确定标记点交集;根据上述标记点交集,从上述待配准参考解剖学标记点集和上述待配准浮动解剖学标记点集中分别确定初始参考解剖学标记点集和初始浮动解剖学标记点集;根据上述初始参考解剖学标记点集、上述初始浮动解剖学标记点集和上述基于解剖学标记点的配准模型,对上述参考图像和上述浮动图像进行图像配准。
[0317]
其中,每个解剖学标记点有唯一的名称,对于待配准参考解剖学标记点集和待配准浮动解剖学标记点集中的解剖学标记点名称相同的解剖学标记点构成二者的标记点交集。可选的,计算机设备也可以将待配准参考解剖学标记点集和待配准浮动解剖学标记点集中的解剖学标记点编号相同的解剖学标记点作为二者的标记点交集。确定标记点交集后,计算机设备可以将待配准参考解剖学标记点集中上述标记点交集对应的点集作为初始参考解剖学标记点集,以及选取待配准浮动解剖学标记点集中上述标记点交集对应的点集作为初始浮动解剖学标记点集,从而可以将初始参考解剖学标记点集和初始浮动解剖学标记点集输入预设的基于解剖学标记点的配准模型,实现参考图像和浮动图像在相同解剖学结构下的对齐。
[0318]
上述S2021的步骤中,计算机设备可以根据从待配准参考解剖学标记点集和待配准浮动解剖学标记点集中选取的初始参考解剖学标记点集和初始浮动解剖学标记点集,并利用基于解剖学标记点的配准模型对参考图像和浮动图像进行图像配准。可选的,利用基于解剖学标记点的配准模型对参考图像和浮动图像进行图像配准对参考图像和浮动图像进行图像配准的过程可以分为三个阶段的配准过程,每个阶段可以得到对应的配准结果,三个阶段的配准过程如下:
[0319]
第一阶段的配准过程可以参见S20211至S20213:
[0320]
S20211,根据初始参考解剖学标记点集和初始浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第一配准结果;第一配准结果包括第一配准结果点集和第一变换矩阵。
[0321]
具体的,计算机设备将初始参考解剖学标记点集和初始浮动解剖学标记点集输入预设的基于解剖学标记点的配准模型后,可以得到待配准浮动解剖学标记点集进行空间变换后的第一配准结果点集和第一变换矩阵。上述第一配准结果点集和第一变换矩阵构成第一配准结果。
[0322]
S20212,根据第一空间距离集合和预设的比率,确定预设的比率内的第一空间距离对应的第一浮动解剖学标记点集;其中,第一空间距离集合中记录有待配准参考解剖学标记点集与第一配准结果点集中各个对应标记点的第一空间距离。
[0323]
具体的,在得到第一配准结果点集后,计算机设备可以根据公式D1=||Pf1–Pre1||2,计算出待配准参考解剖学标记点集与第一配准结果点集中各个对应标记点的第一空间距离D1,其中,Pf1为待配准参考解剖学标记点集中与第一配准结果点集中对应的标记点构成的点集,Pre1为第一配准结果点集。可选的,上述预设的比率可以为根据需要设定的(0,1]内的任意值。可选的,可以直接选取预设的比率内的第一空间距离对应的第一浮动解剖学标记点集,也可以对第一空间距离中的各个距离进行升序排序,再选取预设的比率内的第一空间距离对应的第一浮动解剖学标记点集,由于待配准参考解剖学标记点集与第一配准结果点集中各个对应标记点的第一空间距离越小,配准结果精度越高,因此,对第一空间距离中的各个距离进行升序排序后再选取预设的比率内的第一空间距离对应的第一浮动解剖学标记点集,可以提高配准的准确度。上述第一浮动解剖学标记点集为从待配准浮动解剖学标记点集中选取的预设的比率内的第一空间距离对应的点集。
[0324]
S20213,当第一浮动解剖学标记点集中的标记点的数目小于预设的数目阈值时,则将第一变换矩阵作为目标变换矩阵。
[0325]
具体的,上述目标变换矩阵为标记参考图像和标记浮动图像进行图像配准所用的矩阵,计算机设备可以利用目标变换矩阵实现标记参考图像和标记浮动图像的配准。可选的,计算机设备可以将第一浮动解剖学标记点集中的标记点的数目与预设的数目阈值进行比较,根据比较结果确定是否将上述第一变换矩阵作为目标变换矩阵。可选的,上述预设的数目阈值可以为5。当上述第一浮动解剖学标记点集中的标记点的数目小于预设的数目阈值时,则将第一变换矩阵作为目标变换矩阵,并继续执行S20211。
[0326]
当上述第一浮动解剖学标记点集中的标记点的数目不小于预设的数目阈值时,需要进行第二阶段的配准过程。
[0327]
第二阶段的配准过程可以参见S3048至S30416:
[0328]
S20214,获取待配准参考解剖学标记点集中与第一浮动解剖学标记点集对应的第一参考解剖学标记点集。
[0329]
本步骤中,上述第一参考解剖学标记点集为待配准参考解剖学标记点集中的标记点的名称或编号与第一浮动解剖学标记点集中的标记的名称或编号相同的标记点对应的标记点构成的点集。
[0330]
S20215,根据第一参考解剖学标记点集、第一浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第二变换矩阵。
[0331]
具体的,和上述确定第一变换矩阵的方法相同,计算机设备可以将第一参考解剖学标记点集和第一浮动解剖学标记点集输入预设的基于解剖学标记点的配准模型,从而得到第二变换矩阵。
[0332]
S20216,根据第二变换矩阵和待配准浮动解剖学标记点集,确定第二配准结果点集。
[0333]
本步骤中,计算机设备可以根据得到的第二变换矩阵与待配准浮动解剖学标记点集的乘积,利用第二变换矩阵对待配准浮动解剖学标记点集进行空间变换,并结合插值法如近邻插值、双线性插值或三线性插值等方法,得到第二配准结果点集。
[0334]
S20217,根据第二空间距离集合和预设的距离阈值,确定小于预设的距离阈值的第二空间距离对应的第二浮动解剖学标记点集;第二空间距离集合中记录有待配准参考解剖学标记点集与第二配准结果点集中各个对应标记点的第二空间距离。
[0335]
本步骤中,在得到第二配准结果点集后,计算机设备可以根据公式D2=||Pf–Pre2||2,计算出待配准参考解剖学标记点集与第二配准结果点集中各个对应标记点的第二空间距离D2,其中,Pf2为待配准参考解剖学标记点集与第二配准结果点集中各个标记点对应的点集,Pre2为第二配准结果点集。可选的,上述预设的距离阈值可以根据需要设定,比如距离阈值可以根据用户可接受的待配准参考解剖学标记点集与第二配准结果点集中各个对应标记点的实际距离进行确定。上述第二浮动解剖学标记点集为从待配准浮动解剖学标记点集中选取的预设的距离阈值内的第二空间距离对应的点集。
[0336]
S20218,当第二浮动解剖学标记点集中的标记点的数目小于预设的阈值数目时,则将第二变换矩阵作为目标变换矩阵。
[0337]
本步骤中,计算机设备可以将第二浮动解剖学标记点集中的标记点的数目与预设的数目阈值进行比较,根据比较结果确定是否将上述第二变换矩阵作为目标变换矩阵。当上述第二浮动解剖学标记点集中的标记点的数目小于预设的数目阈值时,则将第二变换矩阵作为目标变换矩阵,并继续执行S20211。
[0338]
当上述第二浮动解剖学标记点集中的标记点的数目不小于预设的数目阈值时,需要进行第三阶段的配准过程。
[0339]
第三阶段的配准过程可以参见S30418至S30420:
[0340]
S20219,获取待配准参考解剖学标记点集中与第二浮动解剖学标记点集对应的第二参考解剖学标记点集。
[0341]
本步骤中,第二参考解剖学标记点集为从待配准参考解剖学标记点集中选取的与上述第二浮动解剖学标记点集中标记点的名称或编号相同的标记点对应的点集。
[0342]
S20220,根据第二参考解剖学标记点集、第二浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第三变换矩阵,并将第三变换矩阵作为目标变换矩阵。
[0343]
本步骤中,和上述确定第一变换矩阵和第二变换矩阵的方法相同,计算机设备可以将第二参考解剖学标记点集和第二浮动解剖学标记点集输入预设的基于解剖学标记点的配准模型,从而得到第三变换矩阵,在得到第三变换矩阵后,计算机设备可以直接将该第三 变换矩阵作为目标变换矩阵。
[0344]
S20221,根据目标变换矩阵,对参考图像和浮动图像进行图像配准。
[0345]
具体的,计算机设备可以根据浮动图像的每个像素点的坐标位置构成的矩阵和目标变换矩阵的乘积,并结合插值法如近邻插值、双线性插值或三线性插值等方法,将标记浮动图像映射到标记参考图像空间下,以实现标记参考图像和标记浮动图像在解剖学结构下的对齐,从而完成对标记参考图像和标记浮动图像的图像配准。
[0346]
可选的,可以根据如下方式调整上述预设的比率和预设的距离阈值:对待配准的参考图像和浮动图像中的各个标记点加噪声,利用上述三个阶段的配准方式对待配准的参考图像和浮动图像进行配准,得到新的目标变换矩阵,再利用新的目标变换矩阵,对上述参考图像和浮动图像进行图像配准,并根据得到的配准结果,利用预设的相似性度量模型,计算配准后参考图像和浮动图像之间的相似性度量值,根据该相似性度量值与预设的相似性度量阈值进行比较,如果小于预设的相似性度量阈值,则调整上述预设的比率和预设的距离阈值中的至少一个,直到最终得到的相似性度量值大于预设的相似性度量阈值为止,从而将预设的比率和预设的距离阈值调整为合适的值,进而可以使得利用调整的预设的比率和预设的阈值的算法模型进行配准的图像的配准精度更高。需要说明的是,上述添加的噪声的均值、方差和个数均可以随机设置。
[0347]
本实施例提供的图像配准方法,计算机设备可以获取标记参考图像的待配准参考解剖学标记点集和标记浮动图像的待配准浮动解剖学标记点集;并根据待配准参考解剖学标记点集、待配准浮动解剖学标记点集和基于解剖学标记点的配准模型,分三个阶段对标记参考图像和标记浮动图像进行图像配准,每个阶段利用通过一定的条件比如预设的比率内的标记点或预设的距离阈值内的标记点进行图像配准,而不是用全部标记点进行图像配准,大大减小了计算量,提高了配准速度;另外,每个阶段的标记点集均不同,从而可以降低部分解剖学标记点可能被误检而影响配准精确度的影响,并且每个阶段的标记点均是根据预设的比率或预设的距离阈值等进行筛选确定出的能够提高配准精度的标记点,因此,本实施例提供的分阶段进行配准的方式可以提高图像配准的精度。
[0348]
当上述目标图像配准模型为基于分割的图像配准模型时,计算机设备可以利用图14所示的又一个实施例提供的图像配准方法对上述标记参考图像和标记浮动图像进行图像配准。本实施例涉及的是计算机设备根据提取的分割区域和对应的基于分割的图像配准模型,对上述标记参考图像和标记浮动图像进行图像配准的实现过程。在上述实施例的基础上,可选的,上述S2013的另一种可选的实现方式可以包括:
[0349]
S2030,获取标记参考图像对应的分割参考图像和浮动图像对应的分割浮动图像。
[0350]
具体的,上述分割参考图像和分割浮动图像可以为根据上述预设的已训练好的神经网络模型对上述待配准的参考图像和浮动图像进行语义信息提取后对应的图像。可选的,计算机设备可以利用上述预设的已训练好的神经网络模型对待配准的参考图像和浮动图像进行任意区域的分割,以得到分割参考图像和分割浮动图像。
[0351]
S2031,根据分割参考图像、分割浮动图像和基于分割的图像配准模型,对参考图像和浮动图像进行图像配准。
[0352]
具体的,上述基于分割的图像配准模型可以为表面匹配算法、互信息法和灰度均方差法等配准方法对应的算法模型中的任意一个。计算机设备可以根据获取的分割参考图像、分割浮动图像和上述基于分割的图像配准模型,确定出目标分割变换矩阵,从而根据该目 标分割变换矩阵,将上述待配准的浮动图像映射到参考图像的空间坐标下,完成参考图像和浮动图像的配准。
[0353]
本实施例提供的图像配准方法,计算机设备可以获取标记参考图像对应的分割参考图像和浮动图像对应的分割浮动图像;并根据分割参考图像、分割浮动图像和基于分割的图像配准模型,对参考图像和浮动图像进行图像配准。本实施例中,计算机设备可以根据进行语义信息提取后获得的分割参考图像和分割浮动图像,直接利用预设的基于分割的图像配准模型对参考图像和浮动图像进行图像配准,实现方式较简单。
[0354]
图15为另一个实施例提供的图像配准方法。本实施例涉及的是计算机设备根据上述实施例对参考图像和浮动图像进行配准后得到的配准结果,利用预设的图像整合模型,对该配准结果进行图像整合的过程。在上述实施例的基础上,可选的,上述方法还可以包括:
[0355]
S2040,获取对参考图像和浮动图像进行图像配准后的配准结果。
[0356]
本步骤中,上述配准结果为对上述参考图像和浮动图像进行图像配准后得到的配准后的参考图像和浮动图像。
[0357]
S2041,根据配准结果和预设的图像整合模型,对配准结果进行图像整合。
[0358]
本步骤中,上述预设的图像整合模型可以为三线性插值和B样条插值等方法中的任意一个。图像整合可以为将两幅或两幅以上来自不同成像设备或不同时刻获取的配准图像,采用某种算法,把各个图像有机地结合起来。计算机设备可以利用预设的图像整合模型,将上述配准结果中的参考图像和浮动图像进行整合,以得到参考图像空间下浮动图像与参考图像整合在一起的扭曲图像。
[0359]
本实施例提供的图像配准方法,计算机设备可以获取对参考图像和浮动图像进行图像配准后的配准结果;从而根据配准结果和预设的图像整合模型,对配准结果进行图像整合,以实现将参考图像和浮动图像整合到一幅图像中,从而将各个图像的优点互补性地有机地结合起来,以获得信息量更丰富的新图像,从而较好地辅助医生利用整合后的图像判断病人的情况。
[0360]
图16为另一个实施例提供的图像配准方法流程示意图。本实施例涉及的是计算机设备根据上述实施例获得的目标矩阵,以及对参考图像和浮动图像进行下采样后的图像,利用梯度下降法,调整相似性度量值,以确定目标参数的实现过程。在上述实施例的基础上,可选的,上述方法还可以包括:
[0361]
S2050,获取目标变换矩阵。
[0362]
S2051,根据目标变换矩阵、对参考图像进行下采样操作后得到的下采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值。
[0363]
具体的,计算机设备可以对上述参考图像和浮动图像进行下采样得到下采样后的下采样参考图像和下采样浮动图像,可选的,可以对上述参考图像和浮动图像进行一次下采样操作,得到下采样参考图像和下采样浮动图像,并利用上述目标变换矩阵对下采样浮动图像进行空间变换,得到变换后的浮动图像,进而利用预设的相似性度量值的计算模型如互信息法、灰度均方差法等方法对应的算法模型,确定该变换后的浮动图像与下采样参考图像之间的相似性度量值。
[0364]
S2052,对目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取目标变换矩阵对应的初始参数。
[0365]
具体的,若参考图像和浮动图像为三维图像,则其对应的目标变换矩阵可以为4*4的矩阵,计算机设备可以对上述目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作,将目标变换矩阵分解为平移矩阵、旋转矩阵、错切矩阵和缩放矩阵等四个4*4的矩阵,进而分别根据该四个4*4的矩阵在三维坐标系下的平移距离、旋转角度、错切角度和缩放比例等,得到12个目标变换矩阵对应的初始参数。类似的,若参考图像和浮动图像为二维图像,则计算机设备可以得到8个目标变换矩阵对应的初始参数。
[0366]
S2053,根据相似性度量值、初始参数和预设的梯度下降法,确定目标参数。
[0367]
具体的,计算机设备可以根据预设的梯度下降法调整上述初始参数,以使得上述相似性度量值达到最优,并将最优的相似性度量值对应的调整后的参数作为目标参数。可选的,计算机设备可以根据目标参数确定该目标参数对应的最终变换矩阵,并利用该最终变换矩阵对参考图像和浮动图像进行配准。
[0368]
可选的,计算机设备也可以对上述参考图像和浮动图像进行多次下采样操作,比如进行三次下采样并分别得到对应的下采样参考图像和下采样浮动图像。进一步的,下采样参考图像可以包括第一次下采样对应的第一下采样参考图像、第二次下采样对应的第二下采样参考图像和第三次下采样对应的第三下采样参考图像,类似的,下采样浮动图像可以包括第一次下采样对应的第一下采样浮动图像、第二次下采样对应的第二下采样浮动图像和第三次下采样对应的第三下采样浮动图像。此时,可以利用如下方法确定目标参数:第一步:计算机设备可以利用目标变换矩阵对第三下采样浮动图像进行空间变换,使其映射到第三下采样参考图像对应的空间坐标系下,得到变换后的第三浮动图像,并利用预设的相似性度量值的计算模型确定变换后的第三浮动图像进与第三下采样参考图像之间的第一相似性度量值;第二步:计算机设备可以利用预设的梯度下降法调整上述初始参数以使得第一相似性度量值达到最优,并根据最优的第一相似性度量值对应的参数确定新的目标变换矩阵,并对利用新的目标变换矩对第二下采样浮动图像和下采样参考图像继续执行上述第一步和第二步的操作,直至对最初的参考图像和浮动图像执行完上述第一步和第二步的操作,将最终得到的最优的相似性度量值对应的参数作为目标参数,以使得计算机设备可以根据目标参数确定该目标参数对应的最终变换矩阵,并利用该最终变换矩阵对参考图像和浮动图像进行配准。
[0369]
可选的,计算机设备可以先利用图15所示的实施例对应的图像整合方法,对上述参考图像和上述浮动图像进行图像配准后的配准结果进行图像整合,再利用本实施例提供的利用最终变换矩阵对参考图像和浮动图像进行配准得到的配准结果对图15所示实施例得到的整合的结果进行优化,也可以利用本实施例提供的图像优化方法对上述参考图像和上述浮动图像进行图像配准后的配准结果进行图像优化,再利用图15所示的实施例对应的图像整合方法对本实施例利用最终变换矩阵对参考图像和浮动图像进行配准的配准结果进行图像整合,本实施例对此并不做限定。
[0370]
本实施例提供的图像配准方法,计算机设备可以获取目标变换矩阵,并根据目标变换矩阵、对参考图像进行下采样操作后得到的下采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值;对目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取目标变换矩阵对应的初始参数;进而根据相似性度量值、初始参数和预设的梯度下降法确定目标参数,由于目标参数是最优的相似性度量值对应的参数, 因此,根据该目标参数确定出的最终变换矩阵也是较优的,这样利用该最终变换矩阵,对浮动图像和参考图像进行配准的精度也更高,进一步提高了图像配准的精度。
[0371]
下述通过一个简单的例子,来介绍本申请实施例图像配准方法的过程。具体可以参见如下步骤:
[0372]
S2060,计算机设备获取待配准的参考图像和浮动图像。
[0373]
S2061,计算机设备对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像;语义信息包括:浮动图像的分割区域和解剖学标记点中的至少一个,以及参考图像的割区域和解剖学标记点中的至少一个。
[0374]
S2062,计算机设备根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型;预设的图像配准模型包括基于分割的图像配准模型和基于解剖学标记点的配准模型。
[0375]
S2063,计算机设备判断上述目标图像配准模型是否为基于解剖学标记点的配准模型,若是,继续执行S2064,若否,执行S20619。
[0376]
S2064,计算机设备获取标记参考图像的待配准参考解剖学标记点集和标记浮动图像的待配准浮动解剖学标记点集。
[0377]
S2065,计算机设备根据待配准参考解剖学标记点集和待配准浮动解剖学标记点集的匹配结果,确定待配准参考解剖学标记点集和待配准浮动解剖学标记点集中标记点的名称相同的标记点交集,并选取待配准参考解剖学标记点集中的标记点交集作为初始参考解剖学标记点集,以及选取待配准浮动解剖学标记点集中标记点交集作为初始浮动解剖学标记点集。
[0378]
S2066,计算机设备根据初始参考解剖学标记点集、初始浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第一配准结果。
[0379]
S2067,计算机设备根据第一空间距离集合和预设的比率,确定预设的比率内的第一空间距离对应的第一浮动解剖学标记点集;其中,第一空间距离集合中记录有待配准参考解剖学标记点集与第一配准结果点集中各个对应标记点的第一空间距离。
[0380]
S2068,计算机设备判断第一浮动解剖学标记点集中的标记点的数目是否小于预设的数目阈值,若是,则继续执行S2069,若否,则执行S20610。
[0381]
S2069,计算机设备将第一变换矩阵作为目标变换矩阵。
[0382]
S20610,计算机设备获取待配准参考解剖学标记点集中与第一浮动解剖学标记点集对应的第一参考解剖学标记点集。
[0383]
S20611,计算机设备根据第一参考解剖学标记点集、第一浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第二变换矩阵。
[0384]
S20612,计算机设备根据第二变换矩阵和待配准浮动解剖学标记点集,确定第二配准结果点集。
[0385]
S20613,计算机设备根据第二空间距离集合和预设的距离阈值,确定小于预设的距离阈值的第二空间距离对应的第二浮动解剖学标记点集;第二空间距离集合中记录有待配准参考解剖学标记点集与第二配准结果点集中各个对应标记点的第二空间距离。
[0386]
S20614,计算机设备判断第二浮动解剖学标记点集中的标记点的数目是否小于预设的阈值数目,若是,则继续执行S20615,若否,则执行S20616。
[0387]
S20615,计算机设备将第二变换矩阵作为目标变换矩阵。
[0388]
S20616,计算机设备获取待配准参考解剖学标记点集中与第二浮动解剖学标记点集对应的第二参考解剖学标记点集。
[0389]
S20617,计算机设备根据第二参考解剖学标记点集、第二浮动解剖学标记点集和基于解剖学标记点的配准模型,确定第三变换矩阵,并将第三变换矩阵作为目标变换矩阵。
[0390]
S20618,计算机设备根据目标变换矩阵,对参考图像和浮动图像进行图像配准;执行完S20618后,继续执行S20621。
[0391]
S20619,计算机设备获取标记参考图像对应的分割参考图像和浮动图像对应的分割浮动图像。
[0392]
S20620,计算机设备根据分割参考图像、分割浮动图像和基于分割的图像配准模型,对参考图像和浮动图像进行图像配准。
[0393]
S20621,计算机设备获取对参考图像和浮动图像进行图像配准后的配准结果。
[0394]
S20622,计算机设备根据配准结果和预设的图像整合模型,对配准结果进行图像整合。
[0395]
S20623,计算机设备获取目标变换矩阵。
[0396]
S20624,计算机设备根据目标变换矩阵、对参考图像进行下采样操作后得到的下采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值。
[0397]
S20625,计算机设备对目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取目标变换矩阵对应的初始参数。
[0398]
S20626,计算机设备根据相似性度量值、初始参数和预设的梯度下降法,确定目标参数。
[0399]
本实施例提供的图像配准方法的工作原理和技术效果如上述实施例,在此不再赘述。
[0400]
应该理解的是,虽然图12至图16的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0401]
图17为一个实施例提供的图像配准装置结构示意图。如图17所示,该装置可以包括第一获取模块2702、第一提取模块2704、第一确定模块2706和配准模块2708。
[0402]
具体的,第一获取模块2702,用于获取待配准的参考图像和浮动图像;
[0403]
第一提取模块2704,用于对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像;
[0404]
第一确定模块2706,用于根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型;
[0405]
配准模块2708,用于根据语义信息和目标图像配准模型,对参考图像和浮动图像进行图像配准。
[0406]
可选的,语义信息包括:浮动图像的分割区域和解剖学标记点中的至少一个,以及参考图像的割区域和解剖学标记点中的至少一个;预设的图像配准模型包括基于分割的图像配准模型和基于解剖学标记点的配准模型。
[0407]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0408]
在另一个实施例提供的图像配准装置中,在上述图17所示实施例的基础上,当目标图像配准模型为基于解剖学标记点的配准模型时,可选的,上述配准模块2708可以包括第一获取单元和第一配准单元。
[0409]
具体的,第一获取单元,用于获取标记参考图像的待配准参考解剖学标记点集和标记浮动图像的待配准浮动解剖学标记点集;
[0410]
第一配准单元,用于根据待配准参考解剖学标记点集、待配准浮动解剖学标记点集和基于解剖学标记点的配准模型,对参考图像和浮动图像进行图像配准。
[0411]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0412]
在又一个实施例提供的图像配准装置中,在上述实施例的基础上,可选的,上述第一配准单元可以包括第一确定子单元、第二确定子单元和配准子单元。
[0413]
具体的,第一确定子单元,用于根根据待配准参考解剖学标记点集和待配准浮动解剖学标记点集中各个标记点的名称的匹配结果,确定标记点交集;
[0414]
第二确定子单元,用于根据标记点交集,从待配准参考解剖学标记点集和待配准浮动解剖学标记点集中分别确定初始参考解剖学标记点集和初始浮动解剖学标记点集;
[0415]
配准子单元,用于根据初始参考解剖学标记点集、初始浮动解剖学标记点集和基于解剖学标记点的配准模型,对参考图像和浮动图像进行图像配准。
[0416]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0417]
在又一个实施例提供的图像配准装置结构中,在上述实施例的基础上,可选的,上述配准模块2708还可以包括第二获取单元和第二配准单元。
[0418]
第二获取单元,用于获取标记参考图像对应的分割参考图像和浮动图像对应的分割浮动图像;
[0419]
第二配准单元,用于根据分割参考图像、分割浮动图像和基于分割的图像配准模型,对参考图像和浮动图像进行图像配准。
[0420]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0421]
图18为又一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,上述装置还可以包括第二获取模块2710和整合模块2712。
[0422]
第二获取模块2710,用于获取对参考图像和浮动图像进行图像配准后的配准结果;
[0423]
整合模块2712,用于根据配准结果和预设的图像整合模型,对配准结果进行图像整合。
[0424]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0425]
图19为又一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,上述装置还可以包括第三获取模块2714、第二确定模块2716、第二提取模块2718和第三确定模块2720。
[0426]
第三获取模块2714,用于获取目标变换矩阵。
[0427]
第二确定模块2716,用于根据目标变换矩阵、对参考图像进行下采样操作后得到的下 采样参考图像和对浮动图像进行下采样操作后得到的下采样浮动图像,确定下采样参考图像和下采样浮动图像对应的变换后的浮动图像之间的相似性度量值;
[0428]
第二提取模块2718,用于对目标变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取目标变换矩阵对应的初始参数;
[0429]
第三确定模块2720,用于根据相似性度量值、初始参数和预设的梯度下降法,确定目标参数。
[0430]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0431]
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0432]
获取待配准的参考图像和浮动图像;
[0433]
对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像;
[0434]
根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型;
[0435]
根据语义信息和目标图像配准模型,对参考图像和浮动图像进行图像配准。
[0436]
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
[0437]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0438]
获取待配准的参考图像和浮动图像;
[0439]
对参考图像和浮动图像进行语义信息的提取,得到包括语义信息的标记参考图像和标记浮动图像;
[0440]
根据语义信息,从预设的图像配准模型中确定标记参考图像和标记浮动图像分别对应的目标图像配准模型;
[0441]
根据语义信息和目标图像配准模型,对参考图像和浮动图像进行图像配准。
[0442]
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
[0443]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0444]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的 各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0445]
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
[0446]
不同的医学图像能够反映出不同的人体解剖结构信息,医学临床上通常需要对不同的医学图像进行准确有效的配准,将不同的医学图像信息进行有效的融合,使得在临床疾病诊断或治疗上能够充分考虑不同的医学图像中互补的解剖结构信息。不同的医学图像配准对临床诊疗的精准化和智能化发展具有重要意义。根据不同的临床应用,需要实现图像配准的图像模态包含但不局限于计算机断层扫描(Computed Tomography,CT)图像,磁共振(Magnetic Resonance Imaging,MRI)图像,正电子发射计算机断层扫描(Positron Emission Tomography,PET)图像,超声(Ultrasound)图像,功能磁共振(functional Magnetic Resonance Imaging,fMRI)图像等。
[0447]
现有的图像配准技术采用基于深度学习的无监督学习模型,在无监督学习模型中引入空间变换网络,将浮动图像通过模型输出的变形场进行空间变换得到配准后的图像,通过评估配准后的图像与参考图像间的非相似度定义损失函数,实现配准模型的训练,根据训练模型估计出变形场,实现相同模态图像的配准,其中,参考图像与配准后图像的非相似度是根据参考图像与配准后图像的相似度得到的。
[0448]
但是,现有的的图像配准技术存在无法解决非线性跨模态图像的配准问题。基于此,为了解决现有的图像配准技术无法进行非线性跨模态图像的配准问题,本申请另一个实施例中提出了一种图像配准方法、装置、计算机设备和可读存储介质。
[0449]
如图20所示,本申请实施例提供了一种图像配准的方法,方法包括:
[0450]
S3010,获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像。
[0451]
其中,不同模态的图像是指利用不同成像原理、设备得到的图像,例如,利用计算机断层扫描(Computed Tomography,CT),核磁共振(Magnetic Resonance Imaging,MRI),正电子发射计算机断层扫描(Positron Emission Tomography,PET),超声(Ultrasound),功能磁共振(functional Magnetic Resonance Imaging,fMRI)等得到的任意两个模态的图像均是不同模态的图像,上述浮动图像指的是待配准的图像,参考图像指的是浮动图像要配准过去的图像空间。在本实施例中,可选的,计算机设备可以从PACS(Picture Archiving and Communication Systems,影像归档和通信系统)服务器中获取不同模态的待配准的浮动图像和参考图像,也可以直接从不同的医学影像设备中获取不同模态的待配准的浮动图像和参考图像。
[0452]
S3011,根据浮动图像、参考图像和预先训练的配准模型,获取配准结果;配准模型用于对不同模态的图像进行配准。
[0453]
具体的,在获取了上述待配准的浮动图像和参考图像的基础上,计算机设备将浮动图像、参考图像输入预先训练的用于对不同模态的图像进行配准的配准模型中,得到配准结果。可选的,配准结果可以是配准后的浮动图像,也可以是浮动图像和参考图像之间的配 准参数,之后计算机设备根据配准参数对浮动图像进行变换,得到配准后浮动图像。例如,对CT图像和MRI图像进行配准时,将CT图像作为浮动图像,将MRI图像作为参考图像,计算机设备将CT图像、MRI图像输入预先训练的配准模型中,得到配准结果,可选的,计算机设备可以直接获取配准后的CT图像,也可以获取CT图像和MRI图像间的配准参数,之后根据配准参数对CT图像进行变换,得到配准后的CT图像。
[0454]
在本实施例中,计算机设备可以根据预先训练的用于对不同模态的图像进行配准的配准模型,对两个不同模态的浮动图像和参考图像进行配准,解决了现有图像配准技术中无法准确有效的对跨模态图像进行配准的问题;另外,利用预先训练的配准模型对两个不同模态的图像进行配准,不用每次对图像配准时都进行训练,提高了图像配准的配准效率,同时根据配准模型对图像配准也提高了配准图像的配准准确度。
[0455]
在上述实施例的基础上,作为一种可选的实施方式,方法还包括:采用预设的无监督方法或弱监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型。
[0456]
其中,无监督方法是指利用无标注的医学图像作为训练样本图像,根据训练样本图像学习图像的分布或图像与图像间的关系;弱监督方法是指利用一部分已标注的医学图像作为训练样本图像,根据训练样本图像学习图像的分布或图像与图像间的关系。具体的,计算机设备可以采用预设的无监督方法,利用无标注的医学图像作为训练样本,对预设的前向配准网络和预设的后向配准网络进行迭代训练,学习图像的分布或图像与图像间的关系,得到用于对不同模态的图像进行配准的配准模型;或者,计算机设备可以采用预设的弱监督方法,利用一部分已标注的医学图像和一部分没有标注的医学图像作为训练样本,对预设的前向配准网络和预设的后向配准网络进行迭代训练,学习图像的分布或图像与图像间的关系,用无标注的图像对模型的准确度与泛化能力进行进一步提升,得到用于对不同模态的图像进行配准的配准模型。
[0457]
在本实施例中,计算机设备采用预设的无监督方法或弱监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练的训练过程十分有效,当医学图像没有标注的时候,也可以有效地完成模型的训练,大大提高了得到配准模型的效率,进而提高了对浮动图像进行配准的配准效率。
[0458]
在上述实施例的基础上,作为一种可选的实施方式,采用预设的无监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型,包括:采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型;其中,第一训练模式为先前向配准网络再后向配准网络的训练方式,第二训练模式为先后向配准网络再前向配准网络的训练方式。
[0459]
具体的,计算机设备采用预设的先训练前向配准网络再训练后向配准网络的第一训练模式和预设的先训练后向配准网络再训练前向配准网络的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型。其中,前向配准网络、后向配准网络为深度学习中的卷积神经网络(Convolutional Neural Networks,CNN)。
[0460]
在本实施例中,计算机设备采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和后向配准网络进行迭代训练,通过迭代训练能够提高得到的用于对不同模态图像进行配准的配准模型的准确度,进而提高了根据配准模型对待配准图像进行配准的配准准确度。
[0461]
图21为另一个实施例提供的图像配准方法的流程示意图。图22为一个实施例提供的第一训练模式的训练过程示意图。本实施例涉及的是计算机设备采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练的具体实现过程。如图21所示,在上述实施例的基础上,作为一种可选的实施方式,采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0462]
S3020,将第一浮动图像和第一参考图像输入前向配准网络,得到第一配准浮动图像;第一参考图像的模态为模态一,第一浮动图像的模态为模态二;第一配准浮动图像的模态与第一浮动图像的模态相同。
[0463]
具体的,如图22所示,计算机设备将模态一的第一参考图像和模态二的第一浮动图像输入前向配准网络,得到与第一浮动图像模态相同的第一配准浮动图像。可选的,第一参考图像和第一浮动图像可以从PACS服务器中获取,也可以直接从不同的医学影像设备中获取。例如,将MRI图像与CT图像进行配准时,将CT图像作为第一参考图像,MRI图像作为第一浮动图像输入前向配准网络,得到第一配准浮动图像,也就是配准后的MRI图像。
[0464]
S3021,将第一配准浮动图像确定为后向配准网络的第二参考图像。
[0465]
具体的,如图22所示,计算机设备将上述第一配准浮动图像确定为后向配准网络的第二参考图像,也就是,第二参考图像的模态为模态二。对应到上述示例中,第一配准浮动图像为配准后的MRI图像。
[0466]
S3022,将第二参考图像和第二浮动图像输入后向配准网络,得到第二配准浮动图像;第二浮动图像的模态为模态一;第二配准浮动图像的模态与第二浮动图像的模态相同。
[0467]
具体的,如图22所示,计算机设备先获取一幅模态为模态一的图像作为第二浮动图像,将第一配准浮动图像作为第二参考图像,再将第二参考图像和和第二浮动图像输入后向配准网络,得到与第二浮动图像模态相同的第二配准浮动图像。可选的,计算机设备可以从PACS服务器中获取第二浮动图像,也可以直接从与模态一为相同模态的医学影像设备中获取第二浮动图像。继续以上述例子为例,也就是将上述配准后的MRI图像作为第二参考图像,再获取一幅CT图像作为第二浮动图像,将MRI图像和CT图像输入后向配准网络,得到配准后的CT图像。
[0468]
S3023,根据第二配准浮动图像和第一参考图像,获取第二配准浮动图像与第一参考图像间的第一相似度,根据第一相似度对前向配准网络、后向配准网络进行训练。
[0469]
具体的,计算机设备根据第二配准浮动图像和第一参考图像,获取第二配准浮动图像和第一参考图像间的第一相似度,根据第一相似度对前向配准网络和后向配准网络进行训练。其中,第一相似度为第二配准浮动图像和第一参考图像间的相似度测度。可选的,第一相似度可以是第二配准浮动图像与第一参考图像间的互相关、均方差、互信息或相关性系数等,也可是一个判别器网络,用于自动判别图像间的相似度。其中,判别器网络可以是一个简单的卷积神经网络。可选的,计算机设备可以根据第一相似度的值调整前向配准网络和后向配准网络中的参数值,对前向配准网络和后向配准网络进行训练。
[0470]
在本实施例中,计算机设备将第一浮动图像和第一参考图像输入前向配准网络,得到与第一浮动图像模态相同的第一配准浮动图像,再将第一配准浮动图像作为后向配准网络的第二参考图像,将模态为模态一的第二浮动图像和第二参考图像输入后向配准网络,得到第二配准浮动图像,由于第二配准浮动图像与第一参考图像的模态相同,通过获取第二 配准浮动图像与第一参考图像间的第一相似度,根据第一相似度训练前向配准网络和后向配准网络实现了不同模态图像的配准,解决了跨模态图像的配准问题。
[0471]
在上述实施例的基础上,作为一种可选的实施方式,根据第一相似度对前向配准网络、后向配准网络进行训练,包括:将第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度指导前向配准网络和后向配准网络的训练。
[0472]
具体的,计算机设备将上述获取的第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度对前向配准网络和后向配准网络进行训练。可选的,第一相似度的值越大配准准确度越高,第一相似度的的值越小配准准确度越低。
[0473]
在本实施例中,计算机设备将第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度指导前向配准网络和后向配准网络的训练,由于第一准确度是根据第一相似度确定的,提高了确定的第一准确度的准确性,进而提高了根据第一准确度训练得到的前向配准网络和后向配准网络的准确性。
[0474]
图23为另一个实施例提供的图像配准方法的流程示意图。图24为一个实施例提供的第二训练模式的训练过程示意图。本实施例涉及的是计算机设备采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练的具体实现过程。如图23所示,在上述实施例的基础上,作为一种可选的实施方式,采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括:
[0475]
S3030,将第一浮动图像确定为后向配准网络的第三参考图像、将第一参考图像确定为后向配准网络的第三浮动图像,将第三浮动图像和第三参考图像输入后向配准网络,得到第三配准浮动图像;第三参考图像的模态为模态二,第三浮动图像的模态为模态一;第三配准浮动图像的模态与第三浮动图像的模态相同。
[0476]
具体的,如图24所示,计算机设备将上述第一浮动图像确定为后向配准网络的第三参考图像、将上述第一参考图像确定为后向配准网络的第三浮动图像,也就是第三参考图像的模态为模态二、第三浮动图像的模态为模态一,之后计算机设备将第三浮动图像和第三参考图像输入后向配准网络,得到与第三浮动图像模态相同的第三配准浮动图像,即第三配准浮动图像的模态为模态一。对应到上述例子中,也就是将CT图像确定为第三浮动图像,将MRI图像确定为第三参考图像,将CT图像和MRI图像输入后向配准网络,得到第三配准浮动图像,也就是配准后的CT图像。
[0477]
S3031,将第三配准浮动图像确定为前向配准网络的第四参考图像。
[0478]
具体的,如图24所示,计算机设备将上述第三配准浮动图像确定为后向配准网络的第四参考图像,也就是,第四参考图像的模态为模态一。对应到上述示例中,第四参考图像为配准后的CT图像。
[0479]
S3032,将第四参考图像和第四浮动图像输入前向配准网络,得到第四配准浮动图像;第四浮动图像的模态为模态二;第四配准浮动图像的模态与第四浮动图像的模态相同。
[0480]
具体的,计算机设备先获取一幅模态为模态二的图像作为第四浮动图像,将第三配准浮动图像作为第四参考图像,再将第四浮动图像和第四参考图像输入前向配准网络,得到与第四浮动图像模态相同的第四配准浮动图像。可选的,计算机设备可以从PACS服务器中获取第四浮动图像,也可以直接从与模态二为相同模态的医学影像设备中获取第四浮动图像。继续以上述例子为例,也就是将上述配准后的CT图像作为第四参考图像,再获取一幅MRI图像作为第四浮动图像,将MRI图像和CT图像输入前向配准网络,得到配准 后的MRI图像。
[0481]
S3033,根据第四配准浮动图像和第三参考图像,获取第四配准浮动图像与第三参考图像间的第二相似度,根据第二相似度对后向配准网络、前向配准网络进行训练。
[0482]
具体的,计算机设备根据第四配准浮动图像和第三参考图像,获取第四配准浮动图像和第三参考图像间的第二相似度,根据第二相似度对后向配准网络和前向配准网络进行训练。其中,第二相似度为第四配准浮动图像和第三参考图像间的相似度测度。可选的,第二相似度可以是第四配准浮动图像与第三参考图像间的互相关、均方差、互信息或相关性系数,也可是一个判别器网络,用于自动判别图像间的相似度。其中,判别器网络可以是一个简单的卷积神经网络。可选的,计算机设备可以根据第二相似度的值调整后向配准网络和前向配准网络中的参数值,对后向配准网络和前向配准网络进行训练。
[0483]
在本实施例中,计算机设备将第一浮动图像确定为后向配准网络的第三参考图像、将第一参考图像确定为后向配准网络的第三浮动图像,将第三浮动图像和第三参考图像输入后向配准网络,得到与第三浮动图像模态相同的第三配准浮动图像,再将第三配准浮动图像作为前向配准网络的第四参考图像,将模态为模态二的第四浮动图像和第四参考图像输入前向配准网络,得到第四配准浮动图像,由于第四配准浮动图像与第三参考图像的模态相同,通过获取第四配准浮动图像与第三参考图像间的第二相似度,根据第二相似度训练后向配准网络和前向配准网络实现了不同模态图像的配准,解决了跨模态图像的配准问题。
[0484]
在上述实施例的基础上,作为一种可选的实施方式,根据第二相似度对后向配准网络、前向配准网络进行训练,包括:将第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度指导后向配准网络和前向配准网络的训练。
[0485]
具体的,计算机设备将上述获取的第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度对后向配准网络和前向配准网络进行训练。可选的,第二相似度的值越大第四配准浮动图像的第二准确度越高,第二相似度的的值越小第四配准浮动图像的第二准确度越低。
[0486]
在本实施例中,计算机设备将第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度指导后向配准网络和前向配准网络的训练,由于第二准确度是根据第二相似度确定的,大大提高了确定的第二准确度的准确性,进而提高了根据第二准确度训练得到的后向配准网络和前向配准网络的准确性。
[0487]
图25为另一个实施例提供的图像配准方法的流程示意图。本实施例涉及的是计算机设备采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型的具体实现过程。如图25所示,在上述实施例的基础上,作为一种可选的实施方式,采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型,还包括:
[0488]
S3030,根据第一相似度获取第一训练模式的第一损失函数的值,根据第二相似度获取第二训练模式的第二损失函数的值。
[0489]
其中,损失函数是图像配准模型训练过程中的目标函数,图像配准模型训练过程中的损失函数是通过图像间的非相似度定义的。具体的,计算机设备根据第一相似度获取第一训练模式的第一损失函数,根据第二相似度获取第二训练模式的第二损失函数。例如,第一相似度为第二配准浮动图像与第一参考图像间的互相关时,第一损失函数的值等于1-互 相关的值;第二相似度为第四配准浮动图像与第三参考图像间的均方差时,第二损失函数的值等于1-均方差的值。
[0490]
S3031,根据第一损失函数的值和第二损失函数的值,确定配准模型。
[0491]
具体的,计算机设备可以根据上述获取的第一损失函数的值和第二损失函数的值,确定第一损失函数和第二损失函数对应的前向配准网络和后向配准网络,将对应的前向配准网络和后向配准网络确定为配准模型。可选的,计算机设备可以将第一损失函数的值和第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为配准模型。
[0492]
在本实施例中,计算机设备根据第一相似度获取第一训练模式的第一损失函数的值,根据第二相似度获取第二损失函数的值,由于第一损失函数的值和第二损失函数的值是根据相同模态图像间的相似度获取的,获取的第一损失函数的值和第二损失函数的值比较准确,大大提高了根据第一损失函数的值和第二损失函数的值确定的配准模型的准确度。
[0493]
应该理解的是,虽然图20-25的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图20-25中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0494]
图26为一个实施例提供的图像配准装置结构示意图。如图26所示,该装置可以包括:第一获取模块310和第二获取模块311。
[0495]
具体的,第一获取模块310,用于获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0496]
第二获取模块311,用于根据浮动图像、参考图像和预先训练的配准模型,获取配准结果;配准模型用于对不同模态的图像进行配准。
[0497]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0498]
图27为一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,如图27所示,装置还包括:训练模块312。
[0499]
具体的,训练模块312,用于采用预设的无监督方法或弱监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型。
[0500]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0501]
可选的,上述训练模块312具体用于采用预设的第一训练模式和第二训练模式,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到配准模型;
[0502]
其中,第一训练模式为先前向配准网络再后向配准网络的训练方式,第二训练模式为先后向配准网络再前向配准网络的训练方式。
[0503]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0504]
图28为一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,如图28所示,训练模块312包括第一训练单元3121,用于将第一浮动图像和第一参 考图像输入前向配准网络,得到第一配准浮动图像;第一参考图像的模态为模态一,第一浮动图像的模态为模态二;第一配准浮动图像的模态与第一浮动图像的模态相同;将第一配准浮动图像确定为后向配准网络的第二参考图像;将第二参考图像和第二浮动图像输入后向配准网络,得到第二配准浮动图像;第二浮动图像的模态为模态一;第二配准浮动图像的模态与第二浮动图像的模态相同;根据第二配准浮动图像和第一参考图像,获取第二配准浮动图像与第一参考图像间的第一相似度,根据第一相似度对前向配准网络、后向配准网络进行训练。
[0505]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0506]
在上述实施例的基础上,可选的,上述第一训练单元121根据第一相似度对前向配准网络、后向配准网络进行训练,包括:第一训练单元121将第一相似度确定为第二配准浮动图像的第一准确度,根据第一准确度指导前向配准网络和后向配准网络的训练。
[0507]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0508]
图29为一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,如图29所示,训练模块312还包括第二训练单元3122,用于将第一浮动图像确定为后向配准网络的第三参考图像、将第一参考图像确定为后向配准网络的第三浮动图像,将第三浮动图像和第三参考图像输入后向配准网络,得到第三配准浮动图像;第三参考图像的模态为模态二,第三浮动图像的模态为模态一;第三配准浮动图像的模态与第三浮动图像的模态相同;将第三配准浮动图像确定为前向配准网络的第四参考图像;将第四参考图像和第四浮动图像输入前向配准网络,得到第四配准浮动图像;第四浮动图像的模态为模态二;第四配准浮动图像的模态与第四浮动图像的模态相同;根据第四配准浮动图像和第三参考图像,获取第四配准浮动图像与第三参考图像间的第二相似度,根据第二相似度对后向配准网络、前向配准网络进行训练。
[0509]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0510]
在上述实施例的基础上,可选的,上述第二训练单元3122根据第二相似度对后向配准网络、前向配准网络进行训练,包括:第二训练单元3122将第二相似度确定为第四配准浮动图像的第二准确度,根据第二准确度指导后向配准网络和前向配准网络的训练。
[0511]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0512]
图30为一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,如图30所示,装置还包括:第三获取模块313和确定模块314。
[0513]
具体的,第三获取模块313,用于根据第一相似度获取第一训练模式的第一损失函数的值,根据第二相似度获取第二训练模式的第二损失函数的值;
[0514]
确定模块314,用于根据第一损失函数的值和第二损失函数的值,确定配准模型。
[0515]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0516]
图31为一个实施例提供的图像配准装置结构示意图。在上述实施例的基础上,可选的,如图31所示,上述确定模块314可以包括确定单元3141。
[0517]
具体的,确定单元3141,用于将第一损失函数的值和第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为配准模型。
[0518]
本实施例提供的图像配准装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
[0519]
关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定,在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0520]
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0521]
获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0522]
根据浮动图像、参考图像和预先训练的配准模型,获取配准结果;配准模型用于对不同模态的图像进行配准。
[0523]
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
[0524]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0525]
获取待配准的浮动图像和参考图像;浮动图像和参考图像为两个不同模态的图像;
[0526]
根据浮动图像、参考图像和预先训练的配准模型,获取配准结果;配准模型用于对不同模态的图像进行配准。
[0527]
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
[0528]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0529]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0530]
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
[0531]
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0532]
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0533]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

权利要求书

[权利要求 1]
一种图像配准方法,其特征在于,所述方法包括: 获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像; 根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,所述根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果,包括: 对所述浮动图像和所述参考图像进行语义信息的提取,得到包括所述语义信息的标记浮动图像和标记参考图像; 根据所述语义信息,从预设的图像配准算法中确定所述标记浮动图像和所述标记参考图像分别对应的目标图像配准算法; 根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到初始配准结果;所述初始配准结果包括所述浮动图像和所述参考图像间的变换矩阵; 根据所述变换矩阵、所述参考图像和所述浮动图像,得到变换后的浮动图像; 根据所述变换后的浮动图像、所述参考图像和目标配准模型,对所述变换后的浮动图像进行配准,得到所述配准结果。
[权利要求 3]
根据权利要求2所述的方法,其特征在于,所述语义信息包括:所述浮动图像的分割区域和解剖学标记中的至少一个,以及所述参考图像的分割区域和解剖学标记中的至少一个;所述预设的图像配准算法包括基于分割的图像配准算法和基于解剖学标记的配准算法;所述解剖学标记包括解剖学标记点、解剖学标记线和解剖学标记面。
[权利要求 4]
根据权利要求3所述的方法,其特征在于,当所述目标图像配准算法为所述基于解剖学标记的配准算法时,所述根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到初始配准结果,包括: 获取所述标记浮动图像的待配准浮动解剖学标记集和所述标记参考图像的待配准参考解剖学标记集; 根据所述待配准浮动解剖学标记集、所述待配准参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[权利要求 5]
根据权利要求4所述的方法,其特征在于,所述根据所述待配准浮动解剖学标记集、所述待配准参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果,包括: 根据所述待配准浮动解剖学标记集和所述待配准参考解剖学标记集中各个标记的名称的匹配结果,确定标记交集; 根据所述标记交集,从所述待配准浮动解剖学标记集和所述待配准参考解剖学标记集中分别确定初始浮动解剖学标记集和初始参考解剖学标记集; 根据所述初始浮动解剖学标记集、所述初始参考解剖学标记集和所述基于解剖学标记的配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[权利要求 6]
根据权利要求3所述的方法,其特征在于,当所述目标图像配准算法为所述基于 分割的图像配准算法时,所述根据所述语义信息和所述目标图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果,包括: 获取所述浮动图像对应的分割浮动图像和所述参考图像对应的分割参考图像; 根据所述分割浮动图像、所述分割参考图像和所述基于分割的图像配准算法,对所述浮动图像和所述参考图像进行图像配准,得到所述初始配准结果。
[权利要求 7]
根据权利要求3所述的方法,其特征在于,所述方法还包括: 获取对所述浮动图像和所述参考图像进行图像配准后的所述初始配准结果; 根据预设的配准结果整合方法,对不同解剖学标记得到的初始配准结果和/或不同分割区域得到的初始配准结果进行整合。
[权利要求 8]
根据权利要求7所述的方法,其特征在于,所述根据所述变换矩阵、所述参考图像和所述浮动图像,得到变换后的浮动图像,包括: 根据所述变换矩阵、对所述参考图像进行下采样操作后得到的下采样参考图像和对所述浮动图像进行下采样操作后得到的下采样浮动图像,确定所述下采样参考图像和所述下采样浮动图像对应的变换后的浮动图像之间的相似性度量值; 对所述变换矩阵进行平移操作、旋转操作、错切操作和缩放操作中的至少一个操作,提取所述变换矩阵对应的初始参数; 根据所述相似性度量值、所述初始参数和预设的梯度下降法,确定目标变换矩阵; 根据所述目标变换矩阵对所述浮动图像进行变换,得到所述变换后的浮动图像。
[权利要求 9]
根据权利要求2所述的方法,其特征在于,所述目标配准模型包括前向配准网络和后向配准网络;所述目标配准模型的训练过程包括: 采用预设的无监督方法或弱监督的方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述目标配准模型。
[权利要求 10]
根据权利要求9所述的方法,其特征在于,所述采用预设的无监督方法,对预设的前向配准网络和预设的后向配准网络进行迭代训练,得到所述目标配准模型,包括: 采用预设的第一训练模式和第二训练模式,对所述预设的前向配准网络和所述预设的后向配准网络进行迭代训练,得到所述目标配准模型; 其中,所述第一训练模式为先前向配准网络再后向配准网络的训练方式,所述第二训练模式为先后向配准网络再前向配准网络的训练方式。
[权利要求 11]
根据权利要求10所述的方法,其特征在于,所述采用预设的第一训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括: 将第一浮动图像和第一参考图像输入所述预设的前向配准网络,得到第一配准浮动图像;所述第一参考图像的模态为模态一,所述第一浮动图像的模态为模态二;所述第一配准浮动图像的模态与所述第一浮动图像的模态相同; 将所述第一配准浮动图像确定为所述预设的后向配准网络的第二参考图像; 将所述第二参考图像和第二浮动图像输入所述预设的后向配准网络,得到第二配准浮动图像;所述第二浮动图像的模态为模态一;所述第二配准浮动图像的模态与所述第二浮动图像的模态相同; 根据所述第二配准浮动图像和所述第一参考图像,获取所述第二配准浮动图像与所述第一参考图像间的第一相似度,根据所述第一相似度对所述预设的前向配准网络、所述预设的后向配准网络进行训练。
[权利要求 12]
根据权利要求11所述的方法,其特征在于,所述根据所述第一相似度对所述预设的前向配准网络、所述预设的后向配准网络进行训练,包括: 将所述第一相似度确定为所述第二配准浮动图像的第一准确度,根据所述第一准确度指导所述预设的前向配准网络和所述预设的后向配准网络的训练。
[权利要求 13]
根据权利要求10或11所述的方法,其特征在于,所述采用预设的第二训练模式,对预设的前向配准网络和预设的后向配准网络进行训练,包括: 将所述第一浮动图像确定为所述预设的后向配准网络的第三参考图像、将所述第一参考图像确定为所述预设的后向配准网络的第三浮动图像,将所述第三浮动图像和所述第三参考图像输入所述预设的后向配准网络,得到第三配准浮动图像;所述第三参考图像的模态为模态二,所述第三浮动图像的模态为模态一;所述第三配准浮动图像的模态与所述第三浮动图像的模态相同; 将所述第三配准浮动图像确定为所述预设的前向配准网络的第四参考图像; 将所述第四参考图像和第四浮动图像输入所述预设的前向配准网络,得到第四配准浮动图像;所述第四浮动图像的模态为模态二;所述第四配准浮动图像的模态与所述第四浮动图像的模态相同; 根据所述第四配准浮动图像和所述第三参考图像,获取所述第四配准浮动图像与所述第三参考图像间的第二相似度,根据所述第二相似度对所述预设的后向配准网络、所述预设的前向配准网络进行训练。
[权利要求 14]
根据权利要求13所述的方法,其特征在于,所述根据所述第二相似度对所述预设的后向配准网络、所述预设的前向配准网络进行训练,包括: 将所述第二相似度确定为所述第四配准浮动图像的第二准确度,根据所述第二准确度指导所述预设的后向配准网络和所述预设的前向配准网络的训练。
[权利要求 15]
根据权利要求10-14任一项所述的方法,其特征在于,所述采用预设的第一训练模式和第二训练模式,对所述预设的前向配准网络和所述预设的后向配准网络进行迭代训练,得到所述目标配准模型,还包括: 根据所述第一相似度获取所述第一训练模式的第一损失函数的值,根据所述第二相似度获取所述第二训练模式的第二损失函数的值; 根据所述第一损失函数的值和所述第二损失函数的值,确定所述目标配准模型。
[权利要求 16]
根据权利要求15所述的方法,其特征在于,所述根据所述第一损失函数的值和所述第二损失函数的值,确定所述目标配准模型,包括: 将所述第一损失函数的值和所述第二损失函数的值达到稳定值时对应的前向配准网络和后向配准网络,确定为所述目标配准模型。
[权利要求 17]
一种图像配准装置,其特征在于,所述装置包括: 获取模块,用于获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像; 配准模块,用于根据所述浮动图像、所述参考图像和目标配准方法,获取配准结果;所述目标配准方法用于对不同模态的图像进行配准。
[权利要求 18]
一种计算机设备,包括存储器、处理器,所述存储器上存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至16中任一项所述方法的步骤。
[权利要求 19]
一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至16中任一项所述方法的步骤。
[权利要求 20]
一种图像配准方法,其特征在于,所述方法包括: 获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像; 根据所述浮动图像、所述参考图像和预先训练的配准模型,获取配准结果;所述配准模型用于对不同模态的图像进行配准。
[权利要求 21]
一种图像配准装置,其特征在于,所述装置包括: 第一获取模块,用于获取待配准的浮动图像和参考图像;所述浮动图像和所述参考图像为两个不同模态的图像; 第二获取模块,用于根据所述浮动图像、所述参考图像和预先训练的配准模型,获取配准结果;所述配准模型用于对不同模态的图像进行配准。
[权利要求 22]
一种图像配准方法,其特征在于,所述方法包括: 获取待配准的参考图像和浮动图像; 对所述参考图像和所述浮动图像进行语义信息的提取,得到包括所述语义信息的标记参考图像和标记浮动图像; 根据所述语义信息,从预设的图像配准模型中确定所述标记参考图像和所述标记浮动图像分别对应的目标图像配准模型; 根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准。
[权利要求 23]
一种图像配准装置,其特征在于,所述装置包括: 第一获取模块,用于获取待配准的参考图像和浮动图像; 第一提取模块,用于对所述参考图像和所述浮动图像进行语义信息的提取,得到包括所述语义信息的标记参考图像和标记浮动图像; 第一确定模块,用于根据所述语义信息,从预设的图像配准模型中确定所述标记参考图像和所述标记浮动图像分别对应的目标图像配准模型; 配准模块,用于根据所述语义信息和所述目标图像配准模型,对所述参考图像和所述浮动图像进行图像配准。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]  
[ 图 14]  
[ 图 15]  
[ 图 16]  
[ 图 17]  
[ 图 18]  
[ 图 19]  
[ 图 20]  
[ 图 21]  
[ 图 22]  
[ 图 23]  
[ 图 24]  
[ 图 25]  
[ 图 26]  
[ 图 27]  
[ 图 28]  
[ 图 29]  
[ 图 30]  
[ 图 31]