(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210697118.9 (22)申请日 2022.06.20 (71)申请人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路一段24 号 申请人 北京大学　 成都璟鱼互动科技有限公司 (72)发明人 吴琴　宇文泰然　林劲轮　张志蕾　 李浩　徐菲　王艺潇　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 邢江峰 (51)Int.Cl. G16H 20/30(2018.01) G06V 40/20(2022.01) A61M 21/00(2006.01)G06T 17/00(2006.01) (54)发明名称 自闭症儿童体感互动装置、 方法、 计算机设 备及存储介质 (57)摘要 本发明属于互动游戏设备领域， 公开了一种 自闭症儿童体感互动装置、 方法、 计算机设备及 存储介质， 所述自闭症儿童体感互动方法包括： 通过体感技术， 基于Unity和Kinect设定一套广 播体操， 以体感游戏的方式将广播体操每一节的 每一个动作分解出来， 并设计每一个动作的参 数， 使自闭症儿童对特定动作进行不断的调整、 练习， 对各个动作的身体控制认知学习； 通过成 功的特效和其他强化奖励的方式， 以提高对枯燥 动作的学习兴趣， 为治疗师提供可行的动作认知 学习方式。 本发 明可以在后台动作库中设置大量 的动作， 减少了大量素材动作的制作， 可 以更加 方便的设置动作的难度以及针对不同类型自闭 症儿童设置的动作。 权利要求书3页 说明书8页 附图2页 CN 115083565 A 2022.09.20 CN 115083565 A 1.一种自闭症 儿童体感互动方法， 其特征在于， 所述自闭症 儿童体感互动方法包括： 利 用影像采集设备实时采集使用者的活动范围信息； 基于采集的活动范围信息， 数据 处理终 端利用后台建立的3D人物模型对应的动作 库与采集的活动范围信息进行信息对比； 对信息对比结果进行 呈现并与使用者进行交 互。 2.如权利要求1所述的自闭症儿童体感互动方法， 其特征在于， 所述3D人物模型对应的 动作库包括： 基于Unity和Kinect设定广播体操动作信息， 并以体感游戏的方式将广播体操 信息中每一节的每一个动作分解， 并设定每一个动作的参数。 3.如权利要求1所述自闭症 儿童体感互动方法， 其特征在于， 所述自闭症 儿童体感互动 方法具体包括以下步骤： 步骤一， 布置场景， 调整KinectV2摄像头的位置； 并确定一个自闭症儿童的活动范围， 同时确定自闭症儿童比对动作时不能超出 所确定的区域； 步骤二， 在电脑中建立3D人物模型， 确定相对应的动作库； 通过投影屏， 放出对应的动 作； 步骤三， 使自闭症儿童照着投影屏上的动作进行模仿， KinectV2摄像头识别到人物的 动作进行动作比对； 步骤四， 当动作比对成功， 产生胜利的特效和语音夸奖； 当动作比对失败， 产生失败的 特效和语音鼓励； 步骤五， 动作针对不同类型的自闭症 儿童设置不同的难度关卡， 当通关的时候， 给予大 的胜利特效和语音夸奖。 4.如权利要求3所述自闭症儿童体感互动方法， 其特征在于， 所述步骤二中， 在电脑中 建立的3D人物模型 具体过程 为： 3D人物同步， 通过Unity中引用Kinect官方驱动， 获取KinectV2摄像头所得到的值； 3D 人物建模， 确定一个常规的人物建模， 使3D人物建模跟着真人同步动作， 在3D建模中添加骨 骼和人体各个关节点； KinectV2摄像头获得镜头内人的骨骼数据， 针对每个骨骼获取相 对 于地面的横向、 纵向、 竖向的坐标； 先将骨骼数据导入3D建模上， 使人物建模的身体跟着真 人身体的各个部位的X、 Y、 Z坐标的改变而改变， 同时通过编写算法确定骨骼数据的合理性； 确定相对应的动作 库具体过程 为： 动作库中的动作设计， 在Unity脚本中定义新动作的枚举， 然后在其他脚本中实现具体 内容； 真人在KinectV2摄像头下做出新动作， 获得新动作的各个骨骼数据， 然后通过比对动 作下的各个骨骼之间的相对位置， 来定义相对应的姿势； 对于短时连贯的连续动作， 将连续动作分为几个部分， 做出第一部分动作后做出了第 二部分动作才算成功， 并且通过决策树的训练， 以减少误触； 在运行时， 通过C#语言的预加 载功能减少识别延迟； 动作判断， 并通过轮播图算法进行场景跳转； 每一节都有对应的动作脚本， 在脚本 中引 用已设计好的姿势； 按照标准顺序排序后， 做出当前所要求的姿势才能做下一个姿势， 除要 求动作以外所有动作都默认为错误动作， 并且要求做到相应动作一定时间才算成功； 动作 判断成功后， 轮播图对应动作的图片消失并出现特效， 分数增 加。 5.如权利要求4所述自闭症 儿童体感互动方法， 其特征在于， 所述通过轮播图算法进行 场景跳转具体过程 为：权　利　要　求　书 1/3 页 2 CN 115083565 A 2通过Unity的场景搭建， 以实现广播体操每一节运动的场景， 场景之间的切换资源加载 通过场景控制器和协程实现； 在切换场景时， 同时加载两个场景， 目的场景和加载场景； 当目的场景加载资源过多， 通过场景控制器将目的场景 的加载进度表现在加载场景中， 涉及到多个场景之间的转换， 先将每个场景 的名称放在数组中， 使用时直接通过下标调用数组； 轮播图算法使用了循环 和协程， 通过一层循环不断更新轮播图位置并且实现图片消失、 轮播图停止、 计算分数； 通 过协程创建各种特效， 以激发好奇心。 6.如权利要求3所述自闭症儿童体感互动方法， 其特征在于， 所述步骤二中， 通过投影 屏， 放出对应的动作具体过程 为： 确定设定好的特殊动作， 根据不同类型的自闭症儿童设计相应的难度动作； 当自闭症儿童手不协调时， 多设计一些手部动作； 当自闭症 儿童不能下蹲和用脚时， 多 设计下蹲和用脚相关的动作。 7.如权利要求3所述自闭症儿童体感互动方法， 其特征在于， 所述步骤三中， KinectV2 摄像头识别到人物的动作进行动作比对具体过程 为： 通过儿童的动作和已经设计好的动作之间进行比对； 在比对过程中， 确定比对关键点 进行比对。 8.一种实施如权利要求1～7任意一项所述自闭症儿童体感互动方法的自闭症儿童体 感互动装置， 其特 征在于， 所述自闭症儿童体感互动装置设置有： 投影屏幕； 投影屏幕上侧安装有KinectV2摄像头， 投影屏幕通过导线与笔记本电脑连接， 投影屏 幕前侧划定有自闭症儿童活动范围。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器存 储有计算机程序， 所述计算机程序被所述处 理器执行时， 使得 所述处理器执行如下步骤： 步骤一， 布置场景， 调整KinectV2摄像头的位置； 并确定一个自闭症儿童的活动范围， 同时确定自闭症儿童比对动作时不能超出 所确定的区域； 步骤二， 在电脑中建立3D人物模型， 确定相对应的动作库； 通过投影屏， 放出对应的动 作； 步骤三， 使自闭症儿童照着投影屏上的动作进行模仿， KinectV2摄像头识别到人物的 动作进行动作比对； 步骤四， 当动作比对成功， 产生胜利的特效和语音夸奖； 当动作比对失败， 产生失败的 特效和语音鼓励； 步骤五， 动作针对不同类型的自闭症 儿童设置不同的难度关卡， 当通关的时候， 给予大 的胜利特效和语音夸奖。 10.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 使得所述处理器执行如下步骤： 步骤一， 布置场景， 调整KinectV2摄像头的位置； 并确定一个自闭症儿童的活动范围， 同时确定自闭症儿童比对动作时不能超出 所确定的区域； 步骤二， 在电脑中建立3D人物模型， 确定相对应的动作库； 通过投影屏， 放出对应的动 作；权　利　要　求　书 2/3 页 3 CN 115083565 A 3