(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692178.1 (22)申请日 2022.06.17 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 李思奇　田茂清　刘建博　伊帅　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 王文红 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06T 15/20(2011.01) G06T 17/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 神经网络训练方法、 物品检测方法、 装置、 设 备及介质 (57)摘要 本公开提供了一种神经网络训练方法、 物品 检测方法、 装置、 设备及介质， 通过获取样本物品 图像， 生成模拟样本物品摆放的样 本物品摆放图 像， 并使用 样本物品摆放图像， 结合真实物品摆 放图像对神经网络进行训练， 可以大大减少采集 和标注训练样本所需的工作量， 降低人力、 物力 等资源和成本的消耗， 节省样本构建时间， 提高 采集训练样 本的效率， 并且可以有效降低采集真 实训练样本时所遇到的环境、 时间、 光照等因素 带来的影响， 增加样本的丰富性， 有效地提升神 经网络训练的鲁棒 性和泛化能力。 权利要求书3页 说明书19页 附图4页 CN 115035343 A 2022.09.09 CN 115035343 A 1.一种神经网络训练方法， 其特 征在于， 所述方法包括： 获取样本图像集和采集物品图像集， 所述样本图像集包括针对同一样本物品采集得到 的至少一个样本物品图像， 所述采集物品图像包括采集的真实物品摆放图像； 基于所述样本 图像集， 生成模拟物品摆放的样本物品摆放图像， 以及所述样本物品摆 放图像的样本物品标注信息； 将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络， 获取所述神经网 络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征 数据和第二特 征数据， 以及所述神经网络 输出的所述样本物品摆放图像的物品检测结果； 基于所述物品检测结果和对应的样本物品标注信息， 以及所述第一特征数据、 所述第 二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果， 调整 所述神经网络的网络参数， 直至所述神经网络满足训练截止条件， 将训练完毕的所述神经 网络作为用于对图像中物品进行检测的物品检测模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述样本 图像集， 生成模拟物品 摆放的样本物品摆放图像， 以及所述样本物品摆放图像的样本物品标注信息， 包括： 基于所述样本图像集中的至少一个样本物品图像， 生成所述样本图像集对应的样本物 品的三维物品虚拟模型； 对生成的三维物品虚拟模型进行仿真密集摆放， 生成模拟物品摆放的样本物品摆放图 像， 以及所述样 本物品摆放图像的样本物品标注信息， 其中， 所述样 本物品摆放图像包括生 成的至少部分三维物品虚拟模型。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述样本图像集中的至少一个样 本物品图像， 生成所述样本图像集对应的样本物品的三维物品虚拟模型， 包括： 基于所述样本图像集中的至少一个样本物品图像， 生成所述样本图像集对应的样本物 品的初始 虚拟模型； 按照所述样本物品的物品信息， 对所述初始虚拟模型进行纹理渲染和材质渲染， 得到 所述样本物品的三维物品虚拟模型。 4.根据权利要求2所述的方法， 其特征在于， 所述对生成的三维物品虚拟模型进行仿真 密集摆放， 生成模拟物品摆放的样本物品摆放图像， 以及所述样本物品摆放图像的样本物 品标注信息， 包括： 对生成的三维物品虚拟模型进行仿真密集摆放， 得到在目标空间中摆放至少部分三维 物品虚拟模型的至少两个物品摆放场景， 以及每个物品摆放场景中各个三维物品虚拟模型 的摆放信息； 针对每个物品摆放场景， 按照预设的、 针对所述物品摆放场景的场景信息， 对所述物品 摆放场景中的每 个三维物品虚拟模型进行渲染， 得到渲染后的物品摆放场景； 获取针对所述 渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像； 基于对应的各个三维物品虚拟模型的摆放信 息， 确定所述样本物品摆放图像对应的样 本物品标注信息 。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述样本物品摆放图像和所述真实 物品摆放图像输入至神经网络， 获取所述神经网络 分别对所述样本物品摆放图像和所述真 实物品摆放图像进行特征提取得到的第一特征数据和 第二特征数据， 以及所述神经网络输权　利　要　求　书 1/3 页 2 CN 115035343 A 2出的所述样本物品摆放图像的物品检测结果， 包括： 将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络， 通过所述神经网 络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进 行特征提取， 得到所 述样本物品摆放图像的第一特 征数据和所述真实物品摆放图像的第二特 征数据； 将所述第一特征数据输入至所述神经网络的物品检测层中， 得到对所述样本物品摆放 图像进行物品检测的物品检测结果。 6.根据权利要求1所述的方法， 其特征在于， 将所述第 一特征数据和所述第 二特征数据 作为目标特征数据， 将所述样本物品摆放图像和所述真实物品摆放图像作为 目标图像， 所 述基于所述物品检测结果和对应的样本物品标注信息， 以及所述第一特征数据、 所述第二 特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果， 调整 所 述神经网络的网络参数， 直至所述神经网络满足训练截止条件， 包括： 基于所述目标特征数据和针对所述目标图像的预设分类结果， 确定针对所述神经网络 在特征提取方面的第一损失值； 基于所述物品检测结果和对应的样本物品标注信 息， 确定针对所述神经网络在物品检 测方面的第二损失值； 基于所述第一损 失值和所述第二损 失值， 调整所述神经网络的网络参数， 直至所述神 经网络满足训练截止条件为止 。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述目标特征数据和针对所述目 标图像的预设 分类结果， 确定针对所述神经网络在特 征提取方面的第一损失值， 包括： 基于所述目标 特征数据， 确定所述目标图像的图像分类结果； 基于所述图像分类结果和针对所述目标图像的预设分类结果， 确定针对所述神经网络 在特征提取方面的第一损失值。 8.根据权利要求6所述的方法， 其特征在于， 所述训练截止条件包括第 一截止条件和第 二截止条件， 所述基于所述第一损失值和所述第二损失值， 调整 所述神经网络的网络参数， 直至所述神经网络满足训练截止条件为止， 包括： 基于所述第一损 失值， 调整所述神经网络的特征提取层的网络参数， 直至所述神经网 络满足所述第一截止条件为止； 基于所述第二损 失值， 调整所述神经网络的物品检测层的网络参数， 以及所述物品检 测层与所述特 征提取层之间的网络参数， 直至所述神经网络满足所述第二截止条件为止 。 9.根据权利要求6所述的方法， 其特征在于， 所述基于所述第 一损失值和所述第 二损失 值， 调整所述神经网络的网络参数， 直至所述神经网络满足训练截止条件为止， 包括： 基于所述第 一损失值和所述第 二损失值， 调整所述神经网络的特征提取层的网络参数 和物品检测层的网络参数， 以及所述物品检测层与所述特征提取层之间的网络参数， 直至 所述神经网络满足训练截止条件为止 。 10.一种物品检测方法， 其特 征在于， 所述方法包括： 获取待检测图像； 将所述待检测图像输入至根据权利要求1 ‑9中任一项所述的神经网络训练方法训练得 到的物品检测模型中， 得到针对所述待检测图像中目标物品的检测结果。 11.一种神经网络训练装置， 其特 征在于， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 115035343 A 3