(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046852.5 (22)申请日 2022.08.30 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 孙强　常鹏　周辉　冯兴祥　黎利　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 李良 (51)Int.Cl. G06V 30/412(2022.01) G06V 30/413(2022.01) G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种信息提取方法、 装置及电子设备 (57)摘要 本发明公开了一种信息提取方法、 装置及电 子设备， 方法包括： 获取待识别的表单图像， 提取 所述表单图像中的文本数据； 将所述表单图像输 入训练好的锚框识别模型， 得到所述表单图像的 锚框数据； 根据所述锚框数据匹配预先生成的离 线表单模板库； 基于匹配结果， 将所述锚框数据 与所述文本数据进行融合， 得到结构化的表单信 息。 本发明实施例可以基于图像的目标检测模型 获取锚框的坐标数据， 通过基于文本的模板匹配 算法得到锚框对应的文本信息， 使用了离线表单 模板库进行匹配， 提升了最终信息提取的精度， 降低了对跨行或跨页文本误检漏检的错 误率。 权利要求书3页 说明书10页 附图5页 CN 115223183 A 2022.10.21 CN 115223183 A 1.一种信息提取 方法,其特 征在于,所述方法包括： 获取待识别的表单图像， 提取 所述表单图像中的文本数据； 将所述表单图像输入训练好的锚框识别模型， 得到所述表单图像的锚框数据； 根据所述锚框数据匹配预 先生成的离线表单模板库； 基于匹配结果， 将所述锚框数据与所述文本数据进行融合， 得到结构化的表单信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待识别的表单图像， 提取所述表 单图像中的文本数据， 包括： 获取待识别的表单图像， 基于文本识别算法对所述表单图像进行文本识别； 基于文本识别结果， 得到所述表单图像中的文本数据， 所述文本数据包括文本内容及 对应的位置坐标。 3.根据权利要求2所述的方法， 其特征在于， 所述将待识别的表单图像输入所述训练好 的锚框识别模型， 得到所述表单图像的锚框数据， 包括： 获取表单图像样本的锚框标注结果， 基于锚框标注结果得到锚框标注数据集； 基于锚框标注数据集对目标检测模型进行训练， 生成训练好的锚框识别模型； 将所述表单图像输入所述锚框识别模型， 得到所述表单图像的锚框数据， 所述锚框数 据包括锚框类别及对应的位置坐标。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述锚框数据匹配预先生成的离 线表单模板库， 包括： 根据所述锚框的位置坐标检索预先生成的离线表单模板库， 输出锚框对应位置及对应 的跨行或跨页文本具体内容， 记为第一文本； 基于锚框数据的位置坐标查找除锚框位置 外的其他文本， 记为第二文本 。 5.根据权利要求4所述的方法， 其特征在于， 所述基于匹配结果， 将所述锚框数据与所 述文本数据进行融合， 得到结构化的表单信息， 包括： 基于第一文本和第二文本， 将锚框数据与文本数据进行合并， 得到结构化的表单信息 。 6.根据权利要求3 ‑5任一项所述的方法， 其特征在于， 所述基于锚框标注数据集对目标 检测模型进行训练， 生成训练好的锚框识别模型， 包括： 预先构建基于 YOLOv5网络的目标检测模型； 将所述锚框标注数据集进行 预处理， 生成统一尺寸的锚框标注数据样本； 将所述锚框标注数据样本 输入目标检测模型进行训练， 生成训练好的锚框识别模型。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述锚框标注数据样本输入目标检 测模型进行训练， 生成训练好的锚框识别模型， 包括： 将所述锚框标注数据样本 输入目标检测模型的ResNet网络进行 特征提取； 将提取后的第 一特征输入目标检测模型的颈部网络部分， 获取颈部网络部分输出的第 二特征； 将所述第二特 征按照分辨 率大小进行归并后， 生成第三特 征； 将所述第三特 征输入到 头部网络部分， 获取头 部网络输出的预测结果； 对预测结果进行评估， 根据评估结果对所述锚框识别模型的网络参数进行调整， 直到 所述锚框识别模型的识别精度满足预设的条件。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115223183 A 2获取锚框识别模型输出的锚框数据坐标， 根据预设的规则， 将所述锚框数据的坐标转 换为所述表单图像中的坐标。 9.一种信息提取装置， 其特 征在于， 所述装置包括： 文本数据获取模块， 用于获取待识别的表单图像， 提取 所述表单图像中的文本数据； 锚框数据获取模块， 用于将所述表单图像输入训练好的锚框识别模型， 得到所述表单 图像的锚框数据； 表单模板匹配模块， 用于根据所述锚框数据匹配预 先生成的离线表单模板库； 数据融合模块， 用于基于匹配结果， 将所述锚框数据与所述文本数据进行融合， 得到结 构化的表单信息 。 10.根据权利要求9所述的装置， 其特 征在于， 所述文本数据获取模块包括： 表单图像识别单元， 用于获取待识别的表单图像， 基于文本识别算法对所述表单图像 进行文本识别； 文本数据获取单元， 用于基于文本识别结果， 得到所述表单图像中的文本数据， 所述文 本数据包括文本内容及对应的位置坐标。 11.根据权利要求10所述的装置， 其特 征在于， 所述锚框数据获取模块包括： 数据集获取单元， 用于获取表单图像样本的锚框标注结果， 基于锚框标注结果得到锚 框标注数据集； 模型训练单元， 用于基于锚框标注数据集对目标检测模型进行训练， 生成训练好的锚 框识别模型； 模型输出单元， 用于将所述表单图像输入所述锚框识别模型， 得到所述表单图像的锚 框数据， 所述锚框数据包括锚框类别及对应的位置坐标。 12.根据权利要求1 1所述的装置， 其特 征在于， 所述表单模板匹配模块， 包括： 第一文本匹配单元， 用于根据所述锚框的位置坐标检索预先生成的离线表单模板库， 输出锚框对应位置及对应的跨行或跨页文本具体内容， 记为第一文本； 第二文本匹配单元， 用于基于锚框数据的位置坐标查找除锚框位置外的其他文本， 记 为第二文本 。 13.根据权利要求12所述的装置， 其特 征在于， 所述数据融合模块包括： 数据合并单元， 用于基于第 一文本和第二文本， 将锚框数据与文本数据进行合并， 得到 结构化的表单信息 。 14.根据权利要求11 ‑13任一项所述的装置， 其特征在于， 所述锚框数据获取模块还包 括： 模型构建单 元， 用于预 先构建基于 YOLOv5网络的目标检测模型； 数据预处理单元， 用于将所述锚框标注数据集进行预处理， 生成统一尺寸的锚框标注 数据样本； 训练单元， 用于将所述锚框标注数据样本输入目标检测模型进行训练， 生成训练好的 锚框识别模型。 15.根据权利要求14所述的装置， 其特 征在于， 所述锚框数据获取模块还 包括： 第一特征提取单元， 用于将所述锚框标注数据样本输入目标检测模型的ResNet网络进 行特征提取；权　利　要　求　书 2/3 页 3 CN 115223183 A 3