(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221078690 0.8 (22)申请日 2022.07.04 (71)申请人 国家计算机网络与信息安全管理中 心 地址 100029 北京市朝阳区裕民路甲3号 申请人 中国科学院自动化研究所 (72)发明人 李扬曦　彭成维　刘科栋　缪亚男　 王佩　胡卫明　李兵　刘雨帆　 王坚　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 赵娜 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/75(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 敏感内容检测方法、 装置、 电子设备和存储 介质 (57)摘要 本发明提供一种敏感内容检测方法、 装置、 电子设备和存储介质， 涉及内容安全技术领域， 所述方法包括： 获取待检测视频； 将待检测视频 输入至视觉元素分析模型， 得到视觉元素分析模 型输出的视觉元素结果和视觉特征； 将待检测视 频输入至听觉元素分析模型， 得到听觉元素分析 模型输出的听觉元素结果和听觉特征； 将视觉特 征和听觉 特征输入至事件检测模 型， 输出用于表 征是否包含 敏感内容的事件检测结果； 将视觉元 素结果和听觉元素结果与敏感内容规则库匹配， 输出敏感事件类型， 并结合事件检测结果和敏 感 事件类型， 确定敏感内容检测结果。 本发明可实 现对视频敏感内容的全面检测， 提升检测灵活度 和准确度。 权利要求书3页 说明书14页 附图3页 CN 115527140 A 2022.12.27 CN 115527140 A 1.一种敏感内容检测方法， 其特 征在于， 包括： 获取待检测视频； 将所述待检测视频输入至视觉元素分析模型， 得到所述视觉元素分析模型输出的视觉 元素结果和视 觉特征； 将所述待检测视频输入至听觉元素分析模型， 得到所述 听觉元素分析模型输出的听觉 元素结果和听觉特 征； 将所述视觉特征和所述 听觉特征输入至事件检测模型， 输出用于表征是否包含敏感内 容的事件检测结果； 将所述视觉元素结果和所述听觉元素结果与敏感内容规则库匹配， 输出敏感事件类 型， 并结合所述事 件检测结果和所述敏感事 件类型， 确定敏感内容检测结果。 2.根据权利要求1所述的敏感内容检测方法， 其特征在于， 所述将所述待检测视频输入 至视觉元素分析模型， 得到所述视 觉元素分析模型输出的视 觉元素结果和视 觉特征， 包括： 将所述待检测视频输入至所述视觉元素分析模型的视觉分类模型， 输出第 一视觉元素 结果和对应的第一视觉特征， 所述第一视觉元素结果用于表征所述待检测视频内的人物视 觉元素和物体视 觉元素； 将所述待检测视频输入至所述视觉元素分析模型的检测模型， 输出第 二视觉元素结果 和对应的第二视觉特征， 所述第二视觉元素结果用于表征所述待检测视频内的人和物的位 置关系； 将所述待检测视频输入至所述视觉元素分析模型的交互模型， 输出第 三视觉元素结果 和对应的第三视觉特征， 所述第三视觉元素结果用于表征所述待检测视频内的人和物的交 互关系以及人与人的交 互关系； 基于所述第一视觉元素结果、 所述第二视觉元素结果和所述第三视觉元素结果， 确定 所述视觉元素结果； 基于所述第一视 觉特征、 所述第二视 觉特征和所述第三视 觉特征， 确定所述视 觉特征。 3.根据权利要求1所述的敏感内容检测方法， 其特征在于， 所述将所述待检测视频输入 至听觉元 素分析模型， 得到所述听觉元 素分析模型输出的听觉元 素结果和听觉特 征， 包括： 将所述待检测视频输入至所述 听觉元素分析模型的听觉分类模型， 输出第 一听觉元素 结果和对应的第一听觉特征， 所述第一听觉元素结果用于表征所述待检测视频内的人物听 觉元素、 物体听觉元 素和环境元 素； 将所述待检测视频输入至所述 听觉元素分析模型的定位模型， 输出第 二听觉元素结果 和对应的第二听觉特征， 所述第二听觉元素结果用于表征所述待检测视频内的人和物的声 源位置； 基于所述第一听觉元 素结果和所述第二听觉元 素结果， 确定所述听觉元 素结果； 基于所述第一听觉特 征和所述第二听觉特 征， 确定所述听觉特 征。 4.根据权利要求1所述的敏感内容检测方法， 其特征在于， 所述将所述视觉特征和所述 听觉特征输入至事 件检测模型， 输出用于表征 是否包含敏感内容的事 件检测结果， 包括： 将所述视 觉特征输入至所述事 件检测模型的视 觉特征处理模型， 输出视 觉融合特 征； 将所述听觉特 征输入至所述事 件检测模型的听觉特 征处理模型， 输出听觉融合特 征； 将所述视觉融合特征和所述听觉融合特征输入至所述事件检测模型的多模态融合模权　利　要　求　书 1/3 页 2 CN 115527140 A 2型， 输出用于表征 是否包含敏感内容的事 件检测结果。 5.根据权利要求1所述的敏感内容检测方法， 其特征在于， 所述将所述视觉元素结果和 所述听觉元素结果与敏感内容规则库匹配， 输出敏感事件类型， 并结合所述事件检测结果 和所述敏感事 件类型， 确定敏感内容检测结果， 包括： 将所述视觉元素结果进行任意组合， 并与 所述敏感内容规则库内的视觉元素规则进行 匹配， 输出命中的所述视 觉元素规则对应的第一敏感事 件类型； 将所述听觉元素结果进行任意组合， 并与 所述敏感内容规则库内的听觉元素规则进行 匹配， 输出命中的所述听觉元 素规则对应的第二敏感事 件类型； 将所述视觉元素结果和所述 听觉元素结果进行任意组合， 并与 所述敏感内容规则库内 的交叉元素规则进行匹配， 输出命中的所述交叉 元素规则对应的第三敏感事 件类型； 基于所述第一敏感事件类型、 所述第二敏感事件类型和所述第三敏感事件类型， 统计 得到待检测视频对应的敏感事 件类型； 结合所述事件检测结果和所述敏感事件类型， 确定所述待检测视频对应的敏感内容检 测结果。 6.根据权利要求1至 5中任一项所述的敏感内容检测方法， 其特 征在于， 还 包括： 获取新敏感事件， 将所述新敏感事件对应的视频分别输入至所述视觉元素分析模型和 所述听觉元素分析模型， 得到所述视觉元素分析模型输出的新视觉元素结果和新视觉特 征， 以及所述听觉元 素分析模型输出的新听觉元 素结果和新听觉特 征； 基于所述新视觉元素结果和所述新 听觉元素结果， 确定所述新敏感事件对应的新的视 觉元素规则、 新的听觉元 素规则和新的交叉 元素规则； 在待检测视频命中所述新的视觉元素规则、 新的听觉元素规则和新的交叉元素规则中 的至少一项的情况 下， 将所述敏感事 件类型确定为所述敏感内容检测结果。 7.一种敏感内容检测装置， 其特 征在于， 包括： 获取模块， 用于获取待检测视频； 视觉元素分析模块， 用于将所述待检测视频输入至视觉元素分析模型， 得到所述视觉 元素分析模型输出的视 觉元素结果和视 觉特征； 听觉元素分析模块， 用于将所述待检测视频输入至听觉元素分析模型， 得到所述听觉 元素分析模型输出的听觉元 素结果和听觉特 征； 事件检测模块， 用于将所述视觉特征和所述听觉特征输入至事件检测模型， 输出用于 表征是否包含敏感内容的事 件检测结果； 多线索推理模块， 用于将所述视觉元素结果和所述 听觉元素结果与 敏感内容规则库匹 配， 输出敏感事件类型， 并结合所述事件检测结果和所述敏感事件类型， 确定敏感 内容检测 结果。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述敏感内容检测方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述敏感内容检测方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执权　利　要　求　书 2/3 页 3 CN 115527140 A 3