(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210860206.6 (22)申请日 2022.07.22 (71)申请人 浙江省肿瘤医院 地址 310022 浙江省杭州市拱 墅区半山 东 路1号 (72)发明人 程向东　袁莉　杨林　张士川　 徐志远　 (74)专利代理 机构 北京国翰知识产权代理事务 所(普通合伙) 11696 专利代理师 张振 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G16H 50/20(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于舌象图像和肿瘤标志物的肿瘤预测系 统、 方法及应用 (57)摘要 本发明涉及肿瘤学诊断、 预测、 评估技术领 域， 具体涉及一种基于舌象图像和肿瘤标志物的 肿瘤预测系统、 方法及应用， 所述系统包括： 舌象 图像获取模块， 其被配置为获取测试试样的舌象 图像； 血液肿瘤标志物获取模块， 其被配制为获 取测试试样的血液肿瘤标志物指标； 数据处理模 块， 其被配置为通过下述操作来获得测试试样属 于阳性的概率： 依据自动学习获得的舌象图像与 血液肿瘤标志物指标数据模态上可判别性的特 征预测测试试样属于阳性的概率。 应用AI深度学 习模型， 根据舌象图像和临床血液肿瘤标志物指 标共同决策自动化预测不同测试试样属于肿瘤 阳性的概率， 是一种针对于肿瘤的前瞻性的、 经 济性的、 无创性的、 有效性的筛查和诊断预测系 统。 权利要求书3页 说明书17页 附图4页 CN 115082437 A 2022.09.20 CN 115082437 A 1.一种基于舌象图像和血 液肿瘤标志 物的肿瘤预测系统， 其特 征在于包括： 舌象图像获取模块， 其被 配置为获取测试 试样的舌象图像； 血液肿瘤标志 物获取模块， 其被 配置为获取测试 试样的血 液肿瘤标志 物指标； 数据处理模块， 其被 配置为通过下述操作来获得测试 试样属于阳性的概 率： 依据自动学习获得的舌象图像与血液肿瘤标志物指标数据模态上可判别性的特征预 测测试试样属于阳性的概 率。 2.根据权利要求1所述的系统， 其特征在于： 所述血液肿瘤 标志物选自AFP、 CEA、 CA125、 CA15‑3、 CA199、 CA72 ‑4、 CA242、 CA50、 CYFRA21 ‑1、 NSE、 SCC、 TPSA、 FPSA、 AFU、 EBV ‑VCA、 TSGF、 Ferritin、 β 2‑MG、 POA或PRO GRP中的至少一种。 3.根据权利要求1或2所述的系统， 其特征在于： 所述肿瘤是胃癌、 乳腺癌、 结直肠癌、 食 道癌、 肝胆胰腺癌、 肺癌、 前列腺癌、 甲状腺癌、 卵巢癌、 神经母细胞瘤、 滋养细胞肿瘤或头颈 部鳞癌中的至少一种。 4.根据权利要求1或2所述的系统， 其特征在于： 所述肿瘤是胃癌、 乳腺癌、 结直肠癌、 食 道癌、 肝胆胰腺癌或肺癌中的至少一种。 5.根据权利要求1或2所述的系统， 其特征在于： 所述系统还包括输出模块， 其被配制为 输出预测结果。 6.根据权利要求5所述的系统， 其特征在于： 所述输出模块被配制为输出舌象图像与 预 测结果。 7.根据权利要求5所述的系统， 其特征在于： 所述输出模块以电子显示、 声音播报、 打 印、 网络传输的至少一种模式输出。 8.根据权利要求1或2所述的系统， 其特征在于： 所述可判别性的特征来自于舌象图像、 血液肿瘤标志 物指标数据模态上的阳性类别与阴性类别之间。 9.根据权利要求1或2所述的系统， 其特征在于： 所述可判别性的特征来自于成对输入 交互式深度学习模型 的阳性舌象图像、 对应血液肿瘤标志物指标和阴性舌象图像、 对应血 液肿瘤标志 物指标。 10.根据权利要求9所述的系统， 其特征在于： 所述数据处理模块具体配置为通过下述 操作来预测 测试试样属于阳性的概 率： 充分对比同时输入交互式深度 学习模型的阳性舌象图像、 对应血液肿瘤标志物指标和 阴性舌象图像、 对应血液肿瘤标志物指标， 自动学习在舌象图像、 血液肿瘤标志物指标数据 模态上阳性类别和阴性类别之 间的共性和差异， 依据阳性类别和阴性类别之间可判别性的 特征预测测试试样属于阳性的概 率。 11.根据权利要求9所述的系统， 其特 征在于： 所述阳性 舌象图像、 对应血 液肿瘤标志 物指标采集自肿瘤阳性患者； 所述阴性 舌象图像、 对应血 液肿瘤标志 物指标采集自肿瘤阴性患者。 12.根据权利要求9所述的系统， 其特 征在于： 所述交 互式深度学习模型 是APINet模型。 13.根据权利要求9所述的系统， 其特征在于： 所述数据处理模块具体配置为通过下述 操作来获得测试试样属于阳性的概率： 1)从预先获取的一对舌象图像和一对血液肿瘤标志 物指标中提取得到阳性特征和阴性特征； 2)以阳性特征和阴性特征训练模型， 输出特征分 属各个类别的概率； 3)将测试试样舌象图像和血液肿瘤标志物指标输入训练完成的模型，权　利　要　求　书 1/3 页 2 CN 115082437 A 2输出测试 试样属于阳性的概 率。 14.根据权利要求13所述的系统， 其特 征在于： 步骤1)所述 提取得到阳性特 征和阴性特 征的步骤 包括： 编码器提取舌象图像的特征向量， 与血液肿瘤标志物指标进行拼接， 通过融合区的MLP 进行融合， 输出融合后的阳性特 征f1和阴性特 征f2； 将f1和f2及其拼接后的特征fm同时输入特征选择区的MLP， 对应输出两个控制向量g1和 g2， 分别对应f1和f2； g1分别激活f1和f2形成选择后的特征f1+和f2‑， g2分别激活f1和f2形成选择后的特征f1‑ 和f2+， 获得两个阳性特 征f1+和f1‑与两个阴性特 征f2+和f2‑。 15.根据权利要求13所述的系统， 其特征在于： 步骤2)所述以阳性特征和阴性特征训练 模型具体是将阳性特征和阴性特征输入到全连接层分类器中， 输出这些特征分别属于各个 类别的概 率。 16.根据权利要求13 ‑15任一项所述的系 统， 其特征在于： 步骤2)所述输出特征分属各 个类别的概 率时， 依据四个特 征所述类别， 最小化交叉熵损失函数： 其中， y是该特征所对应的真实标签， 函数φc代表了最后的全连接层分类器， fik对应了 输入的4个特 征。 17.根据权利要求13 ‑15任一项所述的系 统， 其特征在于： 步骤2)所述输出特征分属各 个类别的概率时， 考虑模型对特征fi+所输出的置信度 应该高于特征fi‑， 最小化排序损失函 数： 其中， pi‑和pi+是特征fi‑和fi+经过分类器所输出的在各个类别上的概率分布， ϵ∈[0,1] 是指定的超参数， p(c)是指在指定类别c上的概 率。 18.根据权利要求13 ‑15任一项所述的系 统， 其特征在于： 步骤3)所述将测试试样舌象 图像和血液肿瘤标志物指标输入训练完成的模型是指将单个测试试样的舌象图像和 其血 液肿瘤标志 物指标输入。 19.根据权利要求13 ‑15任一项所述的系统， 其特征在于： 仅应用舌象图像中舌面区域 的外接矩形部分来训练和 测试。 20.根据权利要求1或2所述的系统， 其特征在于： 所述可判别性的特征来自于单一的阳 性舌象图像及 对应的血液肿瘤标志物指标， 或单一的阴性舌象图像及 对应的血液肿瘤标志 物指标。 21.根据权利要求1或2所述的系统， 其特征在于： 所述可判别性的特征来自于舌象图像 切割成n小块后并与血液肿瘤标志物指标形成输入向量， 进行特征提取以获得利于分类的 深层特征。 22.根据权利要求20所述的系统， 其特征在于： 所述数据处理模块具体配置为通过下述 操作来获得测试 试样属于阳性的概 率： 将测试试样舌象图像切割成小块形成输入序列， 并将血液肿瘤标志物指标置于输入序 列末端， 形成输入向量并添加 位置索引， 导入训练完成的深度学习模型进行特征提取及特权　利　要　求　书 2/3 页 3 CN 115082437 A 3