(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211160184.9 (22)申请日 2022.09.22 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 李强　张逸尘　张鹏　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 夏倩 (51)Int.Cl. G06V 10/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/62(2017.01) (54)发明名称 一种基于RGB-D相机的慢 性伤口全自动手持 测量设备 (57)摘要 本发明公开了一种基于RGB ‑D相机的慢性伤 口全自动手持测量设备， 属于慢 性伤口测量技术 领域； 其中， 图像采集预处理模 块用于控制RGB ‑D 相机采集待测量伤口的一组彩色图像和深度图 像， 并记录相机内参， 以及对深度图像进行双边 滤波处理； 伤口区域分割模块用于将彩色图像的 大小进行归一化调整后， 输入到预训练好的伤口 分割模型中， 得到伤口区域的掩膜， 将深度图像 和掩膜中的对应像素点相乘， 得到伤口区域深度 图像； 伤口面积计算模块使用伤口区域深度图像 和相机内参采用基于伤口区域边缘的方式或基 于伤口区域表 面的方式计算伤口区域的面积； 与 其他测量设备和方法相比， 自动化程度高， 无需 人为提供标注， 无需放置标记物， 测量精度高， 小 型化且低成本 。 权利要求书3页 说明书9页 附图3页 CN 115409976 A 2022.11.29 CN 115409976 A 1.一种基于RGB ‑D相机的慢性伤口全自动手持测量设备， 其特 征在于， 包括： 图像采集预处理模块， 用于控制RGB ‑D相机采集待测量伤口的一组彩色图像和深度图 像， 并记录相机内参； 对深度图像进 行双边滤波处理， 将采集到的彩色图像和处理后的深度 图像输出至伤口区域分割模块中， 将相机内参输出至伤口面积计算模块中； 伤口区域分割模块， 用于将彩色图像的大小进行归一化调整后， 输入到预训练好的伤 口分割模 型中， 得到伤口区域的掩膜， 将深度图像和掩膜中的对应像素点相乘， 得到伤口区 域深度图像， 并输出至伤口面积计算模块中； 伤口面积计算模块， 用于基于伤口区域深度图像和相机 内参采用方式一或方式二计算 伤口区域的面积； 其中， 所述方式一包括： 基于伤 口区域深度图像和相机内参计算伤 口区域边缘的3D点 云， 将伤口区域边缘的3D点云拟合到同一平面上得到伤口区域的空间多边形表示， 计算所 述空间多边形的面积， 得到伤口区域的面积； 所述方式二包括： 基于伤口区域深度图像和相机 内参分别计算伤口区域和伤口区域边 缘的3D点云； 将伤口区域的3D点云重 建为表面， 并去除表 面中处于伤口区域边缘外的3D点， 平滑去噪后得到 完整的伤口3D模型； 计算所述伤口3D模型的表面积， 得到伤口区域的面积。 2.根据权利要求1所述的慢性伤口全自动手持测量设备， 其特征在于， 所述伤口面积计 算模块通过以下映射公式对伤口区域深度图像中的伤口区域边缘或伤口区域中的像素点 进行映射， 得到对应的3D点云： 其中， (x,y,z)为伤口区域深度图像中伤口区域边缘或伤口区域 中某一像素点p在其3D 点云中的3D坐标； d为伤口区域深度图像中像素点p的像素值； depth  scale为RGB ‑D相机中 用于将深度像素值转换为实际距离的固定参数； (u,v)为像素点p在伤口区域深度图像中的 坐标； cx， cy， fx和fy均为相机内参。 3.根据权利要求1所述的慢性伤口全自动手持测量设备， 其特征在于， 在所述方式一 下， 通过最小化伤口区域边缘的3D点云中各3D点与平面f之间的距离， 得到所述平面f的表 达式； 通过垂直投影将伤口区域边缘的3D点云中的所有3D点投影到所述平 面f上， 得到伤口 区域的空间多边形表示。 4.根据权利要求1所述的慢性伤口全自动手持测量设备， 其特征在于， 所述方式一计算 得到的伤口区域的面积为：权　利　要　求　书 1/3 页 2 CN 115409976 A 2其中， n为投影平面的单位法向量； cos(n,z)为n与 坐标轴z的夹角余弦； N为伤口区域边 缘的3D点云中的3D点数量； (xi,yi,zi)为伤口区域边缘的3D点云中的第i个3D点坐标； cos (n,x)为n与坐标轴x的夹角余弦； cos(n,y)为 n与坐标轴y的夹角余弦。 5.根据权利要求1所述的慢性伤口全自动手持测量设备， 其特征在于， 所述方式二采用 泊松表面重建算法将伤口区域的3D点云重建为表面。 6.根据权利要求1所述的慢性伤口全自动手持测量设备， 其特征在于， 在所述方式二 中， 将表面上的3D点和伤口区域边缘的3D点云投影到3D点云坐标系下的xy平面上， 得到表 面上的3D点在xy平面上所对应的2D点、 以及伤口区域边缘在xy平面上所确定的多边形区 域， 并将位于多边形区域以外的2D点所对应的表面上的3D点去除， 从而去除表面中处于伤 口区域边缘外的3D点。 7.根据权利要求1 ‑6任意一项所述的慢性伤口全自动手持测量设备， 其特征在于， 所述 伤口面积 计算模块先采用所述方式一计算伤口区域的面积， 判断采用所述方式一所得的伤 口区域的面积是否大于预设面积， 若 是， 则采用所述方式二计算伤口区域的面积， 作为最 终 的面积测 量结果； 否则， 将采用所述方式一所得的伤口区域的面积作为最终的面积测量结 果。 8.根据权利要求1 ‑6任意一项所述的慢性伤口全自动手持测量设备， 其特征在于， 所述 伤口分割模型包括： 编码网络， 用于提取彩色图像在不同分辨 率下的图像特 征， 并输出至特 征强化网络中； 特征强化网络， 用于在不同感受野上对不同分辨 率下的图像特 征进行强化处 理； 特征融合网络， 用于对强化处理后的不同分辨率下的图像特征进行融合， 得到融合特 征； 输出解码网络， 用于对融合特征进行上采样处理至彩色图像的原始分辨率大小， 得到 伤口区域的掩膜。 9.根据权利要求8所述的慢性伤口全自动手持测量设备， 其特征在于， 所述编码网络为 HarDNet模型， 包括多个级 联的HarDNet单元， 以及设置在每两个相邻的HarDNet单元之间的 池化层； 所述HarDNet单 元包括： 级联的HarDBl ock和卷积层； 彩色图像经过所述HarDNet模型处理后， 从最后三级HarDNet单元输出得到3个不 同分 辨率下的图像特 征； 所述特征强化网络包括： 3个RFB模块， 与所述HarDNet模型的最后3级HarDNet单元的输 出端一一对应相连， 分别对不同分辨 率下的图像特 征进行强化处 理； 所述输出解码网络包括： 3个级联的解码单元以及卷积核尺寸为1*1的卷积层； 所述解权　利　要　求　书 2/3 页 3 CN 115409976 A 3