(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726617.6 (22)申请日 2022.06.23 (71)申请人 联通沃音乐文化有限公司 地址 510700 广东省广州市黄埔区(中新广 州知识城)亿创街1号 406房之283 (72)发明人 胡高生　李韩　庞文刚　邹西山　 林金怡　余武　吴伟华　 (74)专利代理 机构 广东世纪专利事务所有限公 司 44216 专利代理师 刘卉 (51)Int.Cl. H04N 21/2187(2011.01) H04N 21/44(2011.01) H04N 21/435(2011.01) H04N 21/81(2011.01)G06T 17/00(2006.01) (54)发明名称 基于可编辑三维虚拟形象生成直播视频流 的方法和系统 (57)摘要 本发明公开了一种基于可编辑三维虚拟形 象生成直播视频流的方法和系统， 涉及计算机的 技术领域， 旨在视频直播中虚拟对象的设置在吸 引力、 互动性、 多样性和适应性方面所存在的技 术问题。 本发明建立有三维虚拟形象库， 通过将 三维虚拟形象拟合到直播终端所提供的直播视 频图像中， 生成以三维虚拟形象遮挡主播在直播 视频图像中自身形象 的直播视频流， 同时根据用 户类型的不同而相应地选择不同的三维虚拟形 象。 依照本发明方法所提供的直播视频流， 可改 善直播主播整体形象不足的问题， 使主播能借助 直播内容和拟合的虚拟形象相结合而提高对用 户的吸引力， 同时因为虚拟形象是参考用户特性 而相应选择的， 能适应用户的多样性。 权利要求书2页 说明书7页 附图6页 CN 115334325 A 2022.11.11 CN 115334325 A 1.一种基于可编辑三维虚拟形象生成直播视频流的方法， 应用于包含直播终端、 处理 平台和用户终端的系统架构中， 其特 征在于， 该 方法包括： 处理平台从直播终端中获取主播的直播视频图像， 并检测直播视频图像中人物的身体 姿态和/或脸部表情数据； 在处理平台中建立三维虚拟形象库， 处理平台从用户终端中获取决策信息， 并根据决 策信息从三维虚拟形象库中调用目标虚拟形象； 处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像， 并 将二维虚拟图像与直播视频图像处理为拟合视频图像， 并将由拟合视频图像构成的直播视 频流提供给用户终端。 2.如权利要求1所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 所述在处理平台中建立三维虚拟形象库包括： 所述三维虚拟形象通过够件成套的形象部 件、 形象部件的组合模型和形象部件的变形模型； 所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括： 检测人物的预 设局部， 检测各 预设局部之间的坐标参数、 检测预设局部的变形参数； 所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型， 根 据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型， 以将目标虚拟形 象处理为二维虚拟图像。 3.如权利要求2所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 所述形象部件的组合模型包括身体姿态组合模 型和脸部表情组合模型， 所述检测各预设局 部之间的坐标参数包括： 检测身体局部之间的姿态坐标参数， 检测脸部局部之间的表情坐 标参数。 4.如权利要求1所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 该方法还包括： 处理平台建立有操作与控制指令集， 处理平台从用户终端获取用户操作数 据， 并根据操作与控制指令集确定控制指令， 根据控制指令修改目标虚拟形象的身体姿态 和/或脸部表情。 5.如权利要求4所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 所述用户终端设置有操作指令， 所述处理平台预设有三维虚拟形象的驱动指令， 并建立有 操作指令与驱动指令的映射集合， 所述的根据控制指令修改目标虚拟形象的身体姿态和/ 或脸部表情包括： 所述三维虚拟形象由若干形象部件组成， 当未响应于所述驱动指令， 所述形象部件按 照人物的身体姿态和/或脸部表情相组合成目标虚拟形象， 当响应于所述驱动 指令， 至少部 分包含在驱动指令中的形象部件按照 驱动指令独立设置身体姿态和/或脸部表情， 并与其 余根据直播视频图像设置的形象部件进行组合成目标虚拟形象。 6.如权利要求1所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 所述的处 理平台从用户终端中获取决策信息包括： 建立用户信息和三维虚拟形象的深度学习系统， 处理平台实时获取用户信息， 并通过 深度学习 系统得出三维虚拟形象选择的决策信息 。 7.如权利要求1所述的基于可编 辑三维虚拟形象生成直播视频流的方法， 其特征在于， 所述的在处理平台中建立三 维虚拟形象库包括： 根据用户终端的指令修改已建立的三维虚权　利　要　求　书 1/2 页 2 CN 115334325 A 2拟形象， 并将已修改的三维虚拟形象保存三维虚拟形象库。 8.一种基于可编辑 三维虚拟对象生成直 播视频流的系统， 其特 征在于， 该系统包括： 视频直播模块， 用于获取主播的直 播视频图像， 并相用户发送拟合视频图像； 三维虚拟形象库， 用于以预设结构存 储三维虚拟形象以供调用； 虚拟对象设置模块， 用于检测直播视频图像 中人物的身体姿态和/或脸部表情数据， 根 据决策信息从三维虚拟形象库中调佣目标虚拟形象， 根据身体姿态和/或脸部表情数据将 目标虚拟形象处理为二维虚拟图像， 将二维虚拟 图像与直播视频图像处理为拟合视频图 像。 9.如权利要求8搜书的基于可编 辑三维虚拟对象生成直播视频流的系统， 其特征在于， 该系统还 包括： 形象控制指令库， 用于以预设映射关系存 储操作指令和控制指令； 直播管理模块， 用于检测用户操作数据并检测是否具有所述操作指令， 并根据操作指 令在形象控制指令库调用控制指令； 形象修改模块， 用于控制指令修改已根据据身体姿态和/或脸部表情数据处理的目标 虚拟形象。 10.如权利要求8搜书的基于可编辑三维虚拟对象生成直播视频流的系统， 其特征在 于， 该系统还 包括： 决策模块， 用于实时获取用户信 息并通过深度学习系统得出三维虚拟形象选择的决策 信息； 用户形象设置模块， 用于根据用户终端的指令修改已建立的三维虚拟形象， 并将已修 改的三维虚拟形象保存三维虚拟形象库。权　利　要　求　书 2/2 页 3 CN 115334325 A 3