研究方向

医学图像处理方向

当前位置: 首页 -> 研究方向 -> 医学图像处理方向

在高性能计算中心支持下的国家自然科学基金项目“心脏运动模型估计中的深度学习形状匹配方法研究”,提出了一种基于控制点径向基函数(CSRBF)形变模型的变分配准模型,该成果已见刊“IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS”。

该模型采用变分自编码器架构,构建了两个网络模型NetGI(图1)和NetDC(图2),分别处理固定控制点和可偏移控制点的后验分布估计。在多个公测数据集的测试结果可以看出,NetDC NetGI 在三个数据集上都获得了非常好的性能。由于 KrebsDiff DalcaDiff 使用了同胚微分配准模型,因此这两种方法都能生成形变异常比较小的 DVF 同样的,NetDC NetGI 在没有同胚微分约束的情况下,也能生成形变异常与这两种方法相当的 DVFNetGI KrebsDiff VoxelMorph 相比,生成更加平滑的 DVF 3展示了不同方法在 ACDC 数据集上的一个心脏切片的配准图像和 DVF 可视化图。可以看到我们提出的网络模型生成的模型要比其他模型平滑,这些结果都验证了CSRBF DVF 的平滑作用。

图 1 NetGI 的网络结构。编码器包括了模块 A 和模块 B。模块 A 和模块 B 分别估计全局控制点和 中心局部控制点的系数分布参数。解码器由 RBF 形变层和 STN 组合而成。M 和 F 是模块 A 的输 入,而裁剪后的图像对 Mc 和 Fc 是模块 B 的输入。

图2 用于实现带有偏移控制点的 RBF 形变的网络 NetDC。NetDC 以由目标图像 F 和源图像 M 组 成的图像对为输入。NetDC 的编码器由 4 个模块 F 和一个模块 O 组成。模块 F 分析图像对之间对应 关系的特征和控制点偏移特征。模块 O 输出控制点偏移和对应的系数。

表1 不同方法的 Dice、HD、APD、BE(×10−4)以及雅可比行列式小于零的数量(|Jϕz | ≤ 0)的 平均值和标准差结果。

图 3不同网络的配准结果。左边第一列从上到下分别是源图像和目标图像。右边五列从上到下分 别是:使用对应方法生成的形变后的源图像,DVF 网格图和 DVF 可视化图。在形变后的源图像上, 绿色表示目标图像的心肌分割,蓝色表示形变后的源图像的心肌分割,红色则代表两者的重叠区域。