(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210720304.X (22)申请日 2022.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 114827711 A (43)申请公布日 2022.07.29 (73)专利权人 如你所视 （北京） 科技有限公司 地址 100085 北京市海淀区上地六街弘源 首著大厦一 号楼8层 (72)发明人 谢独放　李阳　李浩正　王怡丁　 焦弟琴　黄晓艺　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 杜毅 (51)Int.Cl. H04N 21/431(2011.01)H04N 21/81(2011.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06T 17/00(2006.01) G06T 19/00(2011.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (56)对比文件 CN 111178191 A,2020.0 5.19 CN 110060230 A,2019.07.26 CN 113129362 A,2021.07.16 CN 113902856 A,2022.01.07 US 2003095707 A1,20 03.05.22 审查员 刘昶 (54)发明名称 图像信息 显示方法和装置 (57)摘要 本公开实施例公开了一种图像信息显示方 法和装置， 涉及计算机技术领域， 其中的方法包 括： 获取二维图像中的像素的分类信息， 生成与 二维图像相对应的语义图； 基于语义图确定与二 维图像中的目标物体相对应的候选显示区域； 获 取与候选显示区域相对应的三维显示平面， 在与 各个目标物体对应的三维显示平面中选取三维 目标显示区域； 根据显示位置信息以及图像观测 位置， 确定与三维目标显示区域相对应的二维屏 幕显示区域， 对图像信息进行显示处理； 本公开 实施例可以在用户浏览时， 在真实空间平面以及 虚拟空间平面上展示与用户进行交互的图像信 息， 提供MR信息展示能力以及场景化信息， 提高 了用户的空间浏览体验。 权利要求书3页 说明书12页 附图5页 CN 114827711 B 2022.09.20 CN 114827711 B 1.一种图像信息 显示方法， 其特 征在于， 包括： 获取二维图像 中的像素的分类信 息， 基于所述分类信 息生成与 所述二维图像相对应的 语义图； 基于所述语义图确定与所述 二维图像中的目标物体相对应的候选 显示区域， 包括： 基于所述语义图中的类别标签， 在所述语义图中确定与 所述目标物体对应的至少一个 目标区域； 使用预设的图像连通算法将与所述目标物体对应的多个目标区域进行图像连通 处理， 生成至少一个 像素聚合簇； 根据所述至少一个 像素聚合簇确定所述 候选显示区域； 根据与所述二维图像相对应的深度图像， 获取与 所述候选显示 区域相对应的三维显示 平面； 获取与所述二维图像相对应的三维模型， 确定与所述三维模型相对应的图像观测位 置， 基于所述图像观测位置在与各个目标物体对应的三 维显示平面中选取三 维目标显示区 域， 包括： 根据所述图像观测位置， 获取与 各个目标物体相对应的三维显示平面相对应的展示因 素； 其中， 所述展示因素包括： 三维显示平面的朝向、 三维显示平面与所述图像观测位置之 间的距离； 基于所述展示因素确定与各个目标物体相对应的三维显示平面的展示评分； 根 据所述展示评分选取 所述三维目标显示区域； 获取与所述三维 目标显示区域相对应的显示位置信 息以及图像信 息， 根据所述显示位 置信息以及所述图像观测位置， 确定与所述三维目标显示区域相对应的二维屏幕显示区 域； 在所述二维屏幕显示区域中对所述图像信息进行显示处 理。 2.如权利要求1所述的方法， 其特征在于， 所述获取二维图像中的像素的分类信息， 基 于所述分类信息生成与所述 二维图像相对应的语义图包括： 使用训练好的神经网络模型对所述二维图像中的各个像素进行分类处理， 获取所述二 维图像中各个 像素的类别标签； 基于所述 二维图像中的各个 像素的位置信息以及对应的类别标签， 生成所述语义图。 3.如权利要求2所述的方法， 其特征在于， 所述根据 所述至少一个像素聚合簇确定所述 候选显示区域包括： 判断所述像素聚合簇的数量是否大于1， 如果否， 则将此像素聚合簇设置为候选簇； 如 果是， 则根据预设的聚合簇评分因素对各个像素聚合簇进行评分处理， 并基于所述各个像 素聚合簇的评 分在多个像素聚合簇中确定候选簇； 其中， 所述聚合簇评 分因素包括： 像素聚 合簇的位置分布以及大小； 将所述候选簇设置为前 景并将所述语义图中的其 余像素设置为背景， 生成二 值图； 在所述二值图中获取与所述前 景相对应的最大矩形， 作为所述 候选显示区域。 4.如权利要求3所述的方法， 其特征在于， 所述根据与所述二维图像相对应的深度图 像， 获取与所述 候选显示区域相对应的三维显示平面包括： 基于所述深度图像将所述候选显示区域中的二维像素坐标转换为对应的三维像素坐 标； 根据所述 三维像素坐标生成与所述 候选显示区域相对应的三维点云； 根据平面检测算法对所述三维点云进行平面检测； 如果通过检测， 则获取与所述三维权　利　要　求　书 1/3 页 2 CN 114827711 B 2点云相对应的三维显示平面。 5.如权利要求4所述的方法， 其特征在于， 所述显示位置信息包括： 所述三维目标显示 区域的顶点三维坐标信息； 所述根据所述显示位置信息以及所述图像观测位置， 确定与所 述三维目标显示区域相对应的二维屏幕显示区域包括： 基于所述顶点三维坐标信 息以及所述图像观测位置， 确定所述三维目标显示 区域的顶 点二维坐标信息； 根据所述二维坐标信 息， 在所述三维模型与所述图像观测位置相对应的二维屏幕显示 图像中确定所述 二维屏幕显示区域。 6.如权利要求5所述的方法， 其特征在于， 所述在所述二维屏幕显示区域中对所述图像 信息进行显示处 理包括： 获取所述二维屏幕显示 区域的背景信 息， 基于所述背景信 息对所述图像信 息的显示元 素进行调整； 其中， 所述图像信息的显示元 素包括： 图片和对应的文字、 符号中的至少一项。 7.如权利要求5所述的方法， 其特征在于， 所述在所述二维屏幕显示区域中对所述图像 信息进行显示处 理包括： 获取所述三维 目标显示 区域与所述图像观测位置之间的观测距离， 并确定所述二维屏 幕显示区域的区域大小； 基于所述区域大小和所述观测距离， 确定所述图像信息的显示方式和大小。 8.一种图像信息 显示装置， 其特 征在于， 包括： 图像分析模块， 用于获取二维图像中的像素的分类信息， 基于所述分类信息生成与所 述二维图像相对应的语义图； 候选区域确定模块， 用于基于所述语义图确定与 所述二维图像中的目标物体相对应的 候选显示区域； 其中， 所述候选区域确定模块， 包括： 目标区域确定单元， 用于基于所述语义图中的类 别标签， 在所述语义图中确定与所述 目标物体对应的至少一个目标区域； 区域连通处理单 元， 用于使用预设的图像连通算法将与所述目标物体对应的多个目标区域进 行图像连通处 理， 生成至少一个像素聚合簇； 候选区域选取单元， 用于根据所述至少一个像素聚合簇确定 所述候选显示区域； 三维平面获取模块， 用于根据与所述二维图像相对应的深度图像， 获取与所述候选显 示区域相对应的三维显示平面； 目标区域确定模块， 用于获取与所述二维图像相对应的三维模型， 确定与所述三维模 型相对应的图像观测位置， 基于所述图像观测位置在与各个目标物体对应的三维显示平面 中选取三维目标显示区域； 其中， 所述目标区域确定模块， 具体用于根据 所述图像观测位置， 获取与 各个目标物体 相对应的三维显示平面相对应的展示因素； 其中， 所述展示因素包括： 三维显示平面的朝 向、 三维显示平面与所述图像观测 位置之间的距离； 基于所述展示因素确定与各个目标物 体相对应的三维显示平面的展示评分； 根据所述展示评分选取 所述三维目标显示区域； 显示区域确定模块， 用于获取与 所述三维 目标显示 区域相对应的显示位置信 息以及图 像信息， 根据所述显示位置信息以及所述图像观测位置， 确定与所述三维目标显示区域相权　利　要　求　书 2/3 页 3 CN 114827711 B 3