针对PET与MRI医学图像融合后部分区域灰度低，容易产生伪影，且特征提取不充分存在细节缺失等问题，首先设计基于NSST多尺度变换的图像融合方法，对于高频子带设计残差网络对PET与MRI图像像素点进行权重分配后再融合，对于低频子带按照稀疏表示的融合规则进行融合，通过逆变换得到融合后的结果；之后设计一个密集卷积网络框架，引入自注意机制对图像的不同区域特征进行权重分配，在密集块之间引入尺度变化层得到不同尺度的特征图，并跨层融合不同尺度的特征图以恢复因多层卷积丢失的信息；为恢复因池化丢失的特征细节，设计后处理模块postProcessor对多尺度层提取到的特征图进行处理；最后模型通过具有2个神经元的全连接层与softmax分类器得到分类标签。模型在哈佛大学全脑图谱数据集与TCIA上进行实验，结果表明，融合后的脑部水平切面PET-MRI图像能更好地反映中央沟征以及边缘支括弧征，分类准确率达到97.6%和98.2%。
0 引言
近年来，随着深度神经网络的出现及快速发展，特征提取能力越来越强，基于深度学习的放射学应运而生。卷积神经网络（Convolutional Neural Network