(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210734174.5 (22)申请日 2022.06.27 (65)同一申请的已公布的文献号 申请公布号 CN 114821374 A (43)申请公布日 2022.07.29 (73)专利权人 中国电子科技 集团公司第二十八 研究所 地址 210007 江苏省南京市秦淮区苜蓿园 东街1号 (72)发明人 孙华　韩东　马驰　施晓东　 李大伟　周徽　乐意　陆中祥　 丁阳　孙浩　张思远　赖劭彤　 陈林伟　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 胡建华(51)Int.Cl. G06V 20/17(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 唐进岭 (54)发明名称 一种知识与数据协同驱动的无人机航拍目 标检测方法 (57)摘要 本发明公开了一种知识与数据协同驱动 的 无人机航拍目标检测方法， 包括： 步骤1， 准备无 人机航拍场景下的训练数据集； 步骤2， 基于训练 数据集， 利用先验常识构建知识图谱； 步骤3， 构 建无人机航拍目标检测网络模型； 步骤4， 基于训 练数据集和知识图谱， 训练所述无人机航拍目标 检测网络模 型， 获得训练后的无人机航拍目标检 测网络模型； 步骤5， 利用训练后的无人机航拍目 标检测网络模 型对输入的测试图片进行测试， 获 得目标定位和分类结果。 与传统方法相比， 本方 法引入先验常识， 充分利用目标之间的语义关系 和空间关系， 更容易检测出无人机航拍复杂场景 下的弱小目标， 提高无人机航拍目标检测的准确 率。 权利要求书3页 说明书7页 附图4页 CN 114821374 B 2022.09.13 CN 114821374 B 1.一种知识与数据协同驱动的无 人机航拍目标检测方法， 其特 征在于， 包括： 步骤1， 准备 无人机航拍场景 下的训练数据集； 步骤2， 基于训练数据集， 利用先验常识构建知识图谱； 步骤3， 构建无 人机航拍目标检测网络模型； 步骤4， 基于训练数据集和知识图谱， 训练所述无人机航拍目标检测网络模型， 获得训 练后的无 人机航拍目标检测网络模型； 步骤5， 利用训练后的无人机航拍目标检测网络模型对输入的测试图片进行测试， 获得 目标定位和分类结果； 步骤3中所述无人机航拍目标检测网络模型包括深度特征提取模块、 语义关系模块、 空 间关系模块、 注意力融合模块和分类模块， 所述深度 特征提取模块， 用于提取输入的无人机航拍图片的候选框位置和候选区原始 特征； 所述语义关系模块， 用于基于所述知识图谱和无人机航拍图片候选区原始特征， 获得 无人机航拍图片的语义特 征； 所述空间关系模块， 用于基于无人机航拍图片的候选区位置和候选区原始特征， 获得 无人机航拍图片的空间特 征； 所述注意力 融合模块， 用于基于无人机航拍图片的语义特征和 空间特征， 获得无人机 航拍图片的强化特 征； 所述分类模块， 用于基于无人机航拍图片的强化特征， 获得无人机航拍图片对应的目 标检测结果。 2.根据权利要求1所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤2包括： 从所述训练数据集抽取出所有的目标类， 基于人类先验常识， 构建<物 体1， 关系， 物体2>的三元 组， 使用图数据库Neo4j进 行存储并构建所述训练数据集对应的知 识图谱， 所述知识图谱的邻接矩阵记为X， ， N为知识图谱中节点的个数， D为每个 节点的特 征向量的维度。 3. 根据权利要求2所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤3中所述无人机航拍目标检测网络模型中的深度特征提取模块和分类模块分 别使用Faster  RCNN网络的深度特 征提取网络和分类 器。 4.根据权利要求3所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤3中所述无人机航拍目标检测网络模 型中的语义关系模块包括图卷积网络， 步 骤4在训练所述无 人机航拍目标检测网络模型时， 语义关系模块执 行以下步骤： 将知识图谱的邻 接矩阵记X输入图卷积网络处理， 提取包含目标间语义信息的特征； 将 提取到的语义信息与原始特征矩阵进 行矩阵点乘融合， 并经过全连接层将其变换成与 原始 特征相同的维度， 然后利用注意力机制， 使其与原始特征带权融合， 获得无人机航拍图片的 语义特征Xsemantic， 表达式如下： 其中， XCNN代表深度特征提取模块提取的候选区原始特征， FC代表全连接层， 代表两 矩阵点乘， ||代表级联， α se代表语义关系模块学习到的注意力参数， 代表通过图卷积权　利　要　求　书 1/3 页 2 CN 114821374 B 2网络得到的包 含目标间语义信息的特 征， 表达式如下： 其中 是在图卷积网络的第l层输出的特征图， l∈LGCN， LGCN  ≥ 3， LGCN为图卷积网 络总层数， L是拉普拉斯矩阵， σ( •)是非线性激活函数； 图卷积网络的第一层的输入由知识 图谱结构定义 ，  表示语义关系模块学习获得的语义关系权 重矩阵。 5.根据权利要求4所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤3中所述无人机航拍目标检测网络模 型中的空间关系模块包括图注意力网络， 步骤4在训练所述无 人机航拍目标检测网络模型时， 空间关系模块执 行以下步骤： 将无人机航拍图片的候选框位置输入图注意力网络， 计算当前候选框和图片中其他候 选框之间的相对位置， 获得候选 框的空间信息； 利用多头注意力 机制聚合候选框的空间信 息， 将聚合后的候选框的空间信 息与候选区 原始特征进行带权融合， 获得 无人机航拍图片的空间特 征Xspatial， 表达式如下： 其中， αsp代表空间关系模块学习到的注意力参数， K是图注意力 网络中多头注意力机 制的数量且K  ≥ 1，⨁表示两矩阵内元素两两相加， 表示图注意力网络第m+1层输出 的候选框空间信息， 表达式如下： 其中σ ij为图注意力网络经过softmax得到的空间关系注意力系数； 代表空 间关系模块学习得到的空间关系权重矩阵； Rij代表第i个候选框和第j个候选框之间的相 对位置， 1  ≤ i,j ≤ N； N为候选框个数； 是在图注意力网络第m层输出的特征 图， m∈ LGAT， LGAT  ≥ 3， LGAT为图注意力网络总层数。 6. 根据权利要求5所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤3中所述无人机航拍目标检测网络模 型中的注 意力融合模块利用注意力机制， 自适应融合语义特征和空间特征， 获得无人机航拍图片的强化特征Xenhance， 表达式： Xenhance = α⊙Xsmantic+(1 ‑α )⊙Xspatial 其中， α 表示注意力融合模块的注意力系数， 表达式： α =σ  (W Xsmantic + b) 其中， W和b为注意力融合模块的学习参数。 7. 根据权利要求6所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤4中训练所述无人机航拍目标检测网络模 型的损失函数使用Faster  RCNN网络 的损失函数。 8.根据权利要求7所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特 征在于， 步骤1中的训练数据集使用VisDro ne2019数据集。 9.根据权利要求8所述的一种知识与数据协同驱动的无人机航拍目标检测方法， 其特权　利　要　求　书 2/3 页 3 CN 114821374 B 3