(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210894034.4 (22)申请日 2022.07.27 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 王蓉芳　郭瑾坤　牟钊汕　缑水平　 郝红侠　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 季海菊 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 6/00(2006.01) A61B 6/03(2006.01) (54)发明名称 一种基于多模态监督对比学习的头颈癌局 部复发信息获取方法 (57)摘要 一种基于多模态监督对比学习的头颈癌局 部复发信息获取方法， 具体包括： 样本集划分及 图像预处理、 多视图数据增强、 构建基于多模态 监督对比学习的图像编码网络、 训练构建的编码 网络、 视图池化融合图像编码、 将临床数据按照 基于属性的混合编码策略进行编码、 构建基于多 模态解耦双线性池化融合的分类器网络、 对构建 的分类器网络进行训练； 本发明在原始对比学习 方法的基础上增加了多模态的结构， 共同优化模 态内和模态间的对比损失， 同时加入了标签信 息， 使用解耦双线性池化方式分别融合提取到的 图像特征， 以及图像和临床特征， 提升了头颈癌 复发信号获取 结果的准确性。 权利要求书4页 说明书10页 附图3页 CN 115272230 A 2022.11.01 CN 115272230 A 1.一种基于多模态监督对比学习的头颈癌局部复发信息获取方法， 其特征在于， 具体 包括以下步骤： S1、 对头颈癌患者数据的样本集进行划分及CT和PET的图像进行 预处理； S2、 对步骤S1处 理后的图像进行多视图数据增强； S3、 构建基于多模态监 督对比学习的图像编码网络； S4、 训练步骤S3中构建的编码网络； S5、 视图池化融合图像编码； S6、 将临床数据按照基于属性的混合编码策略进行编码； S7、 构建基于多模态解耦双线性池化融合的分类 器网络； S8、 对步骤S7构建的分类 器网络进行训练。 2.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信 息获取方 法， 其特征在于， 所述步骤S1具体方法为： 利用Matlab软件对头颈癌患者数据中， 发生局 部 复发的头颈癌患者的正样本和未发生局部复发的头颈癌患者的负样本， 分别随机等分， 然 后分为训练集和验证集， 进行多次交叉验证； 将CT和PET数据的灰度值分别转换成CT值和SUV值， 并进行归一 化， 归一化公式如下： 其中， R表示归一化处理后的CT图像或PET图像， I表示归一化处理前的CT图像或PET图 像， max(I)， min(I)分别表 示取最大值和最小值操作； 对图像采用线性差值重新采样得到相 同的分辨 率。 3.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信 息获取方 法， 其特征在于， 所述 步骤S2具体方法为： 对步骤S1处 理后的图像进行 数据增强来扩充训练数据， 具体包括如下步骤： S201、 分别将三维CT和 PET的图像以及轮廓标签， 沿Z轴即垂直轴旋转， 获得不同角度的 CT和PET的三维图像视图和对应的轮廓标签视图； S202、 将得到的三维图像视图和对应的轮廓标签视图分别沿水平轴， 对所有切片的相 应像素值求平均， 将所有三维的图像视图和轮廓标签视图投影为 二维图像； S203、 最终每个样本得到二维的图像视图和轮廓标签视图， 以轮廓标签视图为依据， 将 图像视图截取为统一输入样本的尺寸。 4.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信 息获取方 法， 其特征在于， 所述 步骤S3具体方法为： 输入S2处理后的图像， 采用基于类的多模态对比学习方法， 构建编码网络， 具体包括如 下步骤： S301、 构建多模态对比学习的输入处理模块， 对于输入的CT或PET的二维的图像视图， 通过随机的数据增强方式， 如裁剪、 旋转、 翻转、 灰度变化的一种或几种组合， 生成增强的图 像； S302、 构建多模态对比学习的编码器模块， CT和PET模态内均采用simCLR的 “双塔”结 构， 以CT模态 内对比学习网络为例， 步骤S301中生成的增强图像分别输入到以残差网络为权　利　要　求　书 1/4 页 2 CN 115272230 A 2基础网络的编码器中， 经过全局平均池化层， 得到两个特征向量， PET模态的编码过程与CT 模态相同； S303、 构建包含全连接层的特征降维模块， 分别对CT和 PET模态得到的两个特征进行降 维， 以在低维空间中计算损失； 分别对CT和PET模态得到的两个特征进行降维， 以计算模态内与模态间对比损失； 其 中， 模态内以某个图像做为锚点， 在同一批次中找到同一个类的所有图像， 把它们作为正样 本， 所有不同类的图像作为负样本， 使正样本彼此靠近， 同时使负样本更远离； 模态间找出 同一批次中不同类的所有图像， 使不同类样本的图像距离大于同一样本图像的距离； 在推 理阶段只使用S3 02中的编码模块， 不使用降维模块。 5.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信 息获取方 法， 其特征在于， 所述 步骤S4具体方法为： 对步骤S3构建的基于多模态监督对比学的图像编码网络进行训练， 分别得到CT和PET 的编码网络； 训练过程中， 采用模态内与模态间监 督对比损失函数的和作为目标函数； 模态内监 督对比损失函数 为： 其中， N为样本总数， 为样本的标签， l( ·)为指示函数， 当( ·)中的条件满足时值为1， 否则为0， i为当前样 本， j为与i标签相同且不同于i的样本， z为损失空间中的特征向量， k为 所有样本中不同于i的样本， τ 为温度参数； 模态间监 督对比损失函数 为： 其中， α 为边缘参数， c表示CT样本， p表示PET样本， s(c， p)为CT样本与PET样本之间的相 似度函数， 计算方式如下： 其中， f(c； Wf， θφ)和 分别为CT与PET的联合嵌入空间映射， φ(c； θφ)和 分别为CT和PET提取的特 征表示， θφ和 表示网络参数， Wf和Wg为权重； 最终的总损失函数为： 其中， λ1和 λ2分别为模态内与模态间损失所占的比重； 训练过程中， 采用随机梯度下降法进行优化； 首先用损失函数J(θ)对θ求偏导，权　利　要　求　书 2/4 页 3 CN 115272230 A 3