Tao Zhou et al. - 2020 - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

2022/08/24 posted in  笔记
Tags:  #Transformer

About

标题

Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

Hi-Net: 用于多模态MR图像合成的混合融合网络

发表

2020年 IEEE Trans. Medical Imaging

作者

Tao Zhou

Huazhu Fu

Geng Chen

Jianbing Shen

Ling Shao.

机构

IIAI 阿联酋起源人工智能研究院

关注点

多模态、特征融合、自适应调参、Adam solver

Content

背景介绍

MRI图像

  • MRI有好几种模式，如T1, T1c, T2, Flari，每种模式都能捕捉到特定特征信息
  • 由于各种原因，想获得多种MRI很困难。数据集不完整，可能会对临床分析诊断不利
  • 传统的做法是丢掉不完整的MRI图，只使用全模式的MRI做训练

多模态学习

  • 流行的策略是找到一个新的共同成分空间（共享表征？）
    • 典型相关分析CCA将每种模式的特征投射到一个较低维的子空间
    • 多核学习MKL利用一组来自多视图数据的预设核，优化权重整合这些模态
  • 深度网络和多模态学习
    • 通过xxx和xxx和xxx预测疾病（在高层进行多模态特征融合）

提出问题

  1. 如何使用几个模式的MRI图像合成完整的MRI图像集，充分利用不完整样本中的有用信息？

  2. 在利用多模态数据相关性的同时，保留模态的特定属性

解决方法

新型混合融合网络Hi-Net，融合现有图像来合成或缺失模态图像，他包括：

  • 特定模式网络：类似自动编码器，捕捉特定模式图像，学习高级特征
  • 多模态融合网络：学习多种模式之间的相关性
  • 多模态合成网络

以及两个策略/功能：

  • 分层多模态融合策略：有效利用不同特征层之间的相关性
  • MFB：不同融合策略的权重自适应
    image-20211027190143845

创新点

  1. 不同于现存的单模态医疗影像生成，我们用的是多模态生成缺失图像
  2. 我们的框架既有单独学习模式特征的“特定模式网络”，也有学习多模态关系的“多模态融合网络”
  3. 我们提出了一个全新的方法MFB，可以根据不同的策略自适应权重来

Hi-Net

特定模式网络

  1. 输入图像提取特征，用 \(h_{x_i}\) 表示第i个模型的高级特征
  2. 然后使用一个自动编码器的结构，用学到的高层表征重建原始图像
  3. 用 \(l_1\)-norm 来衡量原始图像和重建图像的差异（也用来监督侧面输出）
  4. 每一个卷积层后都要进行归一化处理

多模态融合网络

  1. 现有的多模态融合策略要么是先堆叠原始数据，要么是提取高级特征然后串联
  2. 我们的方法是每卷积一次就融合一次（低层高层全都要）
  3. 通过MFB对不同层的输入自动调参，MFB的输出还会传递给下一层

该网络是独立的，只用来研究不同模式之间的关系

image-20211027203519913

多模态合成网络

  1. 把MFB最后的输出输入到一个GAN模型中
  2. 用类似于pixel-to-pixel的方法，使用鉴别器D区分生成图G与真实图像y