(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684579.2 (22)申请日 2022.06.17 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 朱启鹏　薛晖　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度的简易数 学表达式检测方法 (57)摘要 本发明公开了一种基于多尺度的简易数学 表达式检测方法， 包括低消耗模式和高性能模式 两种模式可供选择： 低消耗模式采用轻量化模 型， 根据简易数学表达式的原始图像， 提取语义 特征并做尺度的特征融合， 直接输出数学表达式 检测矩形框， 完成数学表达式的检测； 高性能模 式采用粗粒度高性能模型进行简易数学表达式 的检测， 对检测框的重叠区域进行过滤； 再将检 测结果输入细粒度高性能模型进行字符层级检 测； 最后聚合粗粒度高性能模型检测结果以及细 粒度高性能检测结果， 得到简易数学表达式以及 字符检测的输出结果。 本方法针对用户的不同需 求， 在低消耗需求下， 能够尽量满足检测精度需 求； 在高性能需求下， 输出 更详细的检测结果。 权利要求书3页 说明书7页 附图4页 CN 114998590 A 2022.09.02 CN 114998590 A 1.基于多尺度的简易数 学表达式检测方法， 其特 征在于， 该 方法包括如下步骤： S1， 模式选择： 用户根据自身需求， 选择检测方法中的低消耗模式或高性能模式， 若选 择低消耗模式， 转入步骤S2； 若选择高性能模式， 转入步骤S3； S2， 低消耗模式执行： 所述低消耗模式采用轻量化模型， 根据简易数学表达 式的原始图 像， 提取语义特征并做尺度的特征融合， 将不同尺度融合特征输入到轻量化模型中， 直接输 出数学表达式检测矩形框， 完成数 学表达式的检测； 所述轻量 化模型为： Y＝Head1(GhostPAN(Shuf fleNetV2(X))) 其中， Head1(·)表示轻量级检测头模块， 输入不同尺度特征融合图， 输出预测标签Y； GhostPAN( ·)表示使用Ghost模块的多尺度特征融合模块， 输入不同下采样特征图， 输出不 同尺度特征融合图； ShuffleNetV2( ·)为骨干网络， 输入原始图像X， 输出不同下采样倍数 特征图； S3， 高性能模式执行： 所述高性能模式包括粗粒度高性能模型和细粒度高性能模型， 依 次通过并聚合检测结果， 其 步骤具体包括： S31： 采用粗粒度高性能模型进行简易数学表达式的检测， 对检测框的重叠区域进行过 滤； 所述粗粒度高性能模型为： Y＝Head2(FPN(ResNet5 0(X))) 其中， Head2(·)表示高性能检测头模块， 输入不同尺度特征融合图， 输出预测标签Y； FPN(·)表示基于图像金字塔的多尺度特征融合模块， 输入不同下采样特征图， 输出不同尺 度特征融合图； ResNet5 0(·)骨干网络， 输入原 始图像X， 输出不同下采样倍数 特征图； S32： 将步骤S31的检测结果输入细粒度高性能模型进行字符层级检测； 所述细粒度高 性能模型为： Y＝Decoder(VG G16(X)) 其中， VGG16( ·)为采用VGG16网络的编码器， 输入原始图像， 得到不同下采样倍数特征 图； Decoder( ·)为解码器， 输入不同下采样倍数的特 征图， 输出 标签； S33： 聚合粗粒度高性能模型检测结果以及细粒度高性能检测结果， 最终得到简易数学 表达式以及字符检测的输出 结果。 2.如权利要求1所述的基于多尺度的简易数学表达式检测方法， 其特征在于， 所述步骤 S2进一步包括： S21： 获取待检测的简易数学表达式图像， 将图像输入到骨干网络ShuffleNetV2中， 提 取图像的语义特 征： S22： 抽取8、 16、 32倍下采样的特 征输入进GhostPAN做 尺度的特 征融合， ReLU(x)＝max(x， 0) Yi＝Xi+BN(f(ReLU(BN(f(Xi))))) 其中， {Xi|i＝8， 16， 32}代表不同下采样倍数下的特征向量， {Yi|i＝8， 16， 32}表示不同 下采样倍数 下GhostPAN操作的输出 结果， BN(·)表示批量归一 化操作； S23： 将从步骤S22  GhostPAN得到的不同尺度融合特征输入到 轻量级检测头H ead1(·)， 获取图像边框回归以及边框分类的结果； Head1_Block(·)＝ConvDW(Conv(·)) Head1(Yi)＝Conv(Conv(Head1_Block(Head1_Block(Yi))))权　利　要　求　书 1/3 页 2 CN 114998590 A 2其中， ConvDW(·)表示深度可分离卷积 操作， Conv(·)代表卷积操作； S24： 利用非极大抑制， 将边框分类置信度大于0.6的边框作为最终检测到的结果， 完成 简易数学表达式的检测。 3.如权利要求2所述的基于多尺度的简易数学表达式检测方法， 其特征在于： 所述步骤 S22中， Z＝Conv(X)+b φk＝Conv(zi) 其中， {zi|1≤i≤c}表示Z在每个通道上的特征图， c为通道数， φk表示φ的每一维向 量， 表示拼接操作。 4.如权利要求3所述的基于多尺度的简易数学表达式检测方法， 其特征在于， 所述步骤 S31采用粗粒度高性能模型进行简易数 学表达式的检测中， 具体包括： S311： 将简易数 学表达式的图像输入到骨干网络ResNet5 0中， 提取语义特 征： S312： 抽取8、 16、 32倍下采样的特 征输入进图像金字塔FPN进行尺度的特 征融合； 其中， {Ci|3≤i≤5}为不同尺度的下采样特征， {Pi|3≤i≤7}为图像金字塔的输出结 果； S313： 将步骤S312获得的不同尺度融合特征输入到高性能检测头H ead2， 获取边框回归、 边框分类、 中心值的结果， 具体操作如下 所示： 其中， 表示尺度 度i下第j个高性能检测头的输出； S314： 利用非极大抑制， 过 滤边框分类置信度小于 0.2的边框； S315： 两两计算目标框的交并比， 收集所有交并比大于0.3的目标框作为同义框组， 对 于每一组同义框组， 只选取分类置信度最高的框作为输出： 所述交并比I oU具体计算为： 其中， Gt表示真实框， Dt表示预测框， area( ·)表示框的面积。 5.如权利要求3或4所述的基于多尺度的简易数学表达式检测方法， 其特征在于， 所述 步骤S32通过细粒度高性能模型进行字符层级检测中， 具体包括： S321： 将经过粗粒度高性能模型检测后的图像输入CRAFT网络， 得到区域中心分数图Sr 以及邻近分数图Sa； S322： 对0 ‑1之间的中心分数图以及邻近分数图取阈值计算， 即将这两 张概率图转化为 二值图M：权　利　要　求　书 2/3 页 3 CN 114998590 A 3