(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206843.8 (22)申请日 2022.09.30 (71)申请人 王小兴 地址 200233 上海市徐汇区钦州北路3 00弄 9号1701室 申请人 张晶晶　邓尧恺 (72)发明人 王小兴　张晶晶　邓尧恺　 (51)Int.Cl. G06F 3/01(2006.01) G06F 17/16(2006.01) G06T 19/00(2011.01) (54)发明名称 一种可穿戴式虚拟音乐交互设备及其计算 方法 (57)摘要 一种可穿戴式虚拟音乐交互设备， 包含主手 部本体、 运动定位反馈模块、 人机交互模块、 电池 模块； 所述运动定位反馈模块设置于所述主手部 本体上， 用于获取使用者的手部动作； 将所述动 作转换为数据信号并传送至内部处理器， 内部处 理器将生成的数据通过数据传输子模块发送至 人机交互模块； 所述人机交互模块对 所述数据进 行解析， 得出使用者输入的音符参数的实际值， 并将所述音符参数的实际值通过发声部件进行 播放， 对使用者的演奏进行视觉、 听觉、 触觉反 馈； 所述电池模块用于为运动定位反馈模块供 电。 该设备是一款只要穿戴在手上就能正常演奏 的虚拟乐器， 穿戴舒适、 便于携带， 支持在任何地 方使用， 在保证使用者双手自由的同时， 能够并 行实现多项任务。 同时， 还给出了一种音符参数 实际值的计算方法。 权利要求书2页 说明书10页 附图8页 CN 115509358 A 2022.12.23 CN 115509358 A 1.一种可穿戴式虚拟音乐交互设备， 包含主手部本体、 运动定位反馈模块、 人机交互模 块、 电池模块； 所述运动定位反馈模块设置于所述主手部本体上， 用于获取使用者的手部动作； 将所 述动作转换为数据信号并传送至内部处理器， 内部处理器将生成的数据通过数据传输子模 块发送至人机交 互模块； 所述人机交互模块对所述数据进行解析， 得出使用者输入的音符参数的实 际值， 并将 所述音符参数的实际值 通过发声部件进行播 放， 对使用者的演奏进行反馈； 所述电池 模块用于为 运动定位反馈模块供电； 所述音符参数的实际值包括但不限于： 音高、 音长和音强。 2.根据权利要求1所述的可穿戴式虚拟音乐交互设备， 其特征在于， 所述人机交互模块 还包括显示部件， 通过 所述显示部件 对使用者演奏的虚拟乐器位置进行视 觉反馈； 所述视觉反馈的方式包括： 将通过所述运动定位反馈模块获得的动作数据， 与在显示 部件上初始 化后的键盘类乐器的键盘位置、 或管类乐器的键位孔位、 或弦乐器的琴弦位置、 或打击乐器的击 打位置， 进行映射， 以在使用者手部运动到不同位置时， 在显示部件上显示 对应的键盘位置、 或键位 孔位、 或琴弦位置、 或击打位置， 已被 触发的标识； 虚拟乐器的类型包括但不限于 键盘类乐器、 管乐器、 弦乐器、 打击乐器。 3.根据权利要求1~2所述的可穿戴式虚拟音乐交互设备， 其特征在于， 所述运动反馈定 位模块上还包括第一惯性导航模块， 用于采集手部的运动参数及进行相应的运动轨迹跟 踪； 所述惯性 导航模块具体包括陀螺 仪和加速度计。 4.根据权利要求3所述的可穿戴式虚拟音乐交互设备， 其特征在于， 所述运动定位反馈 模块还具有设置于使用者小臂上的第二惯性导航模块， 该第二惯性导航模块为可拆卸式或 固定式， 用于采集小臂偏航角， 通过计算得到手臂 位移作为使用者在三 维空间内xyz轴上的 移动距离； 进一步地， 可以根据初始化设置的虚拟乐器音域， 以及每个音高对应的位移宽度和方 位， 计算出使用者实际演奏的音高值。 5.根据权利要求3所述的可穿戴式虚拟音乐交互设备， 其特征在于， 所述运动定位反馈 模块还具有设置于使用者小臂上的第二惯性导航模块和设置于使用者大臂上的第三惯性 导航模块， 该第二和第三惯性导航模块为可拆卸式或固定式， 获取第二惯性导航模块采集 到的小臂偏航角和 第三惯性导航模块采集到的大臂偏航角及俯仰角， 计算得到手臂 位移作 为使用者在三维空间内xyz轴上的移动距离； 进一步地， 可以根据初始化设置的虚拟乐器音域， 以及每个音高对应的位移宽度和方 位， 计算出使用者实际演奏的音高值。 6.一种应用于可穿戴式虚拟音乐交互设备计算方法， 其特征在于， 计算使用者演奏的 音符参数的实际值的具体方式为： 以使用者初始化位置为原点获取身体坐标系， 获取手部动作的具体方式为： 获取由第 一惯性导航模块经过处理得到的欧拉角， 具体包括手部动作的俯仰角pitch、 横滚角roll、 航偏角yaw， 分别代 表身体坐标系中以xyz轴为旋转轴的旋转角度； 根据所述三个旋转角度， 结合第一惯性导航模块获得的加速度值和移动 时间， 计算出 手部在xyz轴三个方向上的位移， 并通过所述位移进一步计算， 得到使用者演奏的音符参数权　利　要　求　书 1/2 页 2 CN 115509358 A 2实际值的音高。 7.根据权利要求6所述的应用于可穿戴式虚拟音乐交互设备计算方法， 其特征在于， 所 述计算使用者演奏的音符参数的实际值音高的具体方式为： 通过第一惯性导航模块得到的所述旋转角度构建旋转矩阵； 对旋转矩阵进行转置以回 到所述身体坐标系， 再乘以通过第一惯性导航模块 获得的xyz轴上三个方向的加速度， 并对 所述加速度 做二次积分， 获得手部在三 维空间内的位移， 即在 xyz轴上相对于身体坐标系原 点的位移； 在得到使用者的手部在xyz轴上相对于身体坐标系原点的位移后， 则可以根据初始化 设置的虚拟乐器音域， 以及每个音高对应的位移宽度和方位， 计算出使用者演奏的音符参 数实际值的音高。 8.根据权利要求6~7所述的应用于可穿戴式虚拟音乐交互设备计算方法， 其特征在于， 根据手部在xyz轴上的位移， 计算使用者实际演奏的音高的具体方式为： 初始化设置键盘乐器琴键的宽度、 或管乐器键孔的宽度、 或弦乐器琴弦的间距宽度、 或 打击乐器 每个击打面的宽度； 初始化设置使用者身体坐标系原点的位置为一个 固定音高， 使用计算出手部在身体坐 标系内xyz轴上的位移， 除以所述初始 化虚拟乐器的键盘、 或键孔、 或琴弦、 或击打面的宽度 并取整， 计算得 出使用者在手部移动 后相对于所述固定音高的实际演奏的音高。 9.根据权利要求6~8所述的应用于可穿戴式虚拟音乐交互设备计算方法， 其特征在于， 通过计算重力加速度分量的方式， 或设置数字低通滤波器LPF的方式进行重力补偿。 10.根据权利要求6~7所述的应用于可穿戴式虚拟音乐交互设备计算方法， 其特征在 于， 通过运动定位反馈模块获得手部的移动时间， 结合所述运动定位反馈模块中第一或第 二惯性导航模块获取的角度变化， 并计算出手部动作的俯仰角pitch、 横滚角roll、 航偏角 yaw， 进一 步计算使用者演奏的音符实际参数值的音强和音长； 进一步地， 通过手部在特定位置触发实 际音高后的保持位置的时间长度， 即实 际的触 发时长， 获得使用者演奏的音符实际参数值的音长； 进一步地， 通过所述第 一或第二惯性导航模块中采集到的在某音高被实际触发时刻的 俯仰角pitch的角速度大小， 获得音符的音强； 具体地， 俯仰角pitch的角速度大小与音强的 大小正相关。权　利　要　求　书 2/2 页 3 CN 115509358 A 3