(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211047979.9 (22)申请日 2022.08.30 (65)同一申请的已公布的文献号 申请公布号 CN 115131642 A (43)申请公布日 2022.09.30 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 李劲松　胡佩君　田雨　周天舒　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/762(2022.01)G06V 10/20(2022.01) 审查员 崔蓝芳 (54)发明名称 一种基于多视子空间聚类的多模态医学数 据融合系统 (57)摘要 本发明公开了一种基于多视子空间聚类的 多模态医学数据融合系统， 首先对影像进行结构 化处理得到影像特征， 同时， 提取电子病历中与 疾病相关的临床变量得到临床特征， 然后基于多 视子空间聚类引导的多模态数据融合模型， 对影 像特征和临床特征进行筛选与融合， 得到每个特 征的重要性排序， 最后根据设定的特征数目， 得 到电子病历和影像数据的融合结果， 该融合结果 综合电子病历信息和影像信息， 从而提高相关疾 病预测结果的准确性； 本发明保证每种模态的数 据在各自空间中可 以自表示， 保持块对角结构， 同时保证融合数据的聚类结果是一致的。 利用多 视子空间的互补性原则和一致性原则可以综合 多模态数据中的互补信息， 保证分析结果的一致 性。 权利要求书2页 说明书10页 附图2页 CN 115131642 B 2022.12.27 CN 115131642 B 1.一种基于多视子空间聚类的多模态医学数据融合系统， 其特征在于， 该系统包括数 据采集模块、 影像结构化模块、 电子病历特征提取模块、 特征筛选与融合模块和数据融合模 块； 所述数据采集模块用于采集待测对象的预设疾病相关电子病历数据， 并提取其相关的 影像数据； 所述影像结构化模块用于对影 像数据进行 结构化处 理， 提取影 像特征； 所述电子病历特征提取模块用于对电子病历数据提取相关变量， 做数值化处理后作为 电子病历特 征； 所述特征筛选与融合模块用于基于影像特征和电子病历特征获取多视特征矩阵， 并定 义无监督的特征选择与融合模型， 具体为： 获取多视特征矩阵： 将提取的影像特征和电子病 历特征看成是多个视图特征数据， 第 v个视图的特征定义为 ， 是第v视图特征的维度； V个视图中所有特征定义为 ， 将它们连 接起来表示成总特征矩阵 ； 无监督 的特征筛选问题的目标优化 函数 表示为： 其中 是损失函数， 表示优化函数需要优化的参数， 是特征 筛选矩阵， 是聚类的类别数， 是正则项， 是调节参数； 令 表示伪标签矩 阵， 表示成： 其中n为样本数， c为聚类的类别数； 范数 表示 范数， 具体计算方式为 ， 其中 表示矩阵A第i行第j列的元素； 伪标签通过子空间聚 类中的谱嵌入生成； 根据子空间聚类方法的数据自表示性质， 设定每个视图特征数据均能够在子空间中被 自表示， 具体如下： 其中 是各个视图特征数据的自表示矩阵， 表示长度为n的单位向量； 然 后， 构造描述数据关系的相似图 ， 并且满足低秩性， 相似图 成分的个数等于 聚类的类别数 c， 即 的拉普拉斯矩阵的秩等于 n‑c； 低秩性表述 为如下优化问题： 其中 是相似矩阵 的拉普拉斯矩阵， 是对角 阵，Tr表示求矩阵的迹， 表示大小为c ×c的单位矩阵； 所以多视子空间聚类的目标优化函权　利　要　求　书 1/2 页 2 CN 115131642 B 2数表示为： 其 中 t r ( ) 表 示 矩阵 的 秩 ， 为 F r o be n i u s 范 数 ， 具 体 计 算 方 式 为 ， 其中 表示矩阵A第i行第j列的元 素； 考虑数据降维得到多视子空间聚类引导的特征筛选模型的目标函数并通过变量交错 迭代的方式进行求 解， 得到特 征筛选矩阵； 特 征筛选模型的目标函数 具体如下： 其中 是各个视图特征数据的自表示矩阵， 是第v视图对应的拉普拉斯 矩阵，  为伪标签矩阵， 为特征筛选矩阵， 、 和 为平衡参数； 所述数据融合模块用于基于特征筛选与融合模块得到的特征筛选矩阵， 对影像和电子病历 特征重要性 排序， 根据预设的特 征个数， 得到影 像数据和电子病历数据融合结果。 2.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统， 其特 征在于， 所述数据采集模块根据预设疾病和待测对象， 基于患者唯一的病案号， 从 医院电子 病历系统中提取电子病历的基本信息和诊断信息， 将电子病历的基本信息和诊断信息整合 成一个完整的样本 。 3.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统， 其特 征在于， 所述数据采集模块获取的医学影 像数据为X光片、 CT数据或MRI数据。 4.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统， 其特 征在于， 所述影像结构化模块根据预设的疾病， 对影像数据标注感兴趣区域， 并进 行影像预 处理， 包括影像重采样、 灰度值离散化和影像区域框选； 最后基于预 处理后的影像和标注的 感兴趣区域， 计算高维影 像特征。 5.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统， 其特 征在于， 所述电子病历特征提取模块对得到的电子病历数据进行分析， 确定与预设疾病相 关的若干个危险因素， 包括待测对 象的人口学信息、 病史、 生活习惯和检查项目信息； 将各 字段的信息数值 化， 然后对电子病历数据归一 化， 得到电子病历特 征。 6.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统， 其特 征在于， 所述特征筛选与融合模块中， 通过变量交错迭代的方式， 求解多视子空间聚类引导 的特征选择与融合模型， 迭代更新特征筛选矩阵、 伪标签矩阵和自表示矩阵， 具体过程为： 首先固定特征筛选矩阵和伪标签矩阵， 更新自表示矩阵， 然后固定特征筛选矩阵和自表示 矩阵， 更新伪标签矩阵， 最后固定伪标签矩阵和自表示矩阵， 更新特 征筛选矩阵。权　利　要　求　书 2/2 页 3 CN 115131642 B 3