(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692372.X (22)申请日 2022.06.17 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 孟玉陈　唐明勇　王兴　陈永胜　 吴姝衡　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　张颖玲 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) G10H 1/32(2006.01) (54)发明名称 乐器演奏方法、 装置、 机 器人及存 储介质 (57)摘要 本申请实施例提供了一种乐器演奏方法、 装 置、 机器人及存储介质， 其中， 所述方法包括： 获 取待处理的图像帧集合， 其中， 所述图像帧集合 中的图像帧具有先后时序关系； 对 所述待处理的 图像帧集合中的当前图像帧进行图像检测， 得到 所述当前图像帧中所包括的对象的姿态； 判断所 述当前图像帧中所包括的对象的姿态是否与预 设动作类型集中的基本动作类型相匹配， 其中， 所述预设动作集包括至少两个基本动作类型； 响 应于所述当前图像帧中对象的姿态为所述预设 动作类型集中匹配的基本动作类型， 确定与匹配 的基本动作类型对应的目标音符， 并控制机器人 的执行机构弹奏所述 乐器的所述目标音符。 权利要求书3页 说明书19页 附图5页 CN 115008462 A 2022.09.06 CN 115008462 A 1.一种乐器演奏方法， 其特 征在于， 包括： 获取待处 理的图像帧集 合， 其中， 所述图像帧集 合中的图像帧具有先后时序关系； 对所述待处理 的图像帧集合中的当前图像帧进行图像检测， 得到所述当前图像帧中所 包括的对象的姿态； 判断所述当前图像帧中所包括的对象的姿态是否与预设动作类型集中的基本动作类 型相匹配， 其中， 所述预设动作集包括至少两个 基本动作类型； 响应于所述当前图像帧中对象的姿态为所述预设动作类型集中匹配的基本动作类型， 确定与匹配的基本动作类型对应的目标音符， 并控制机器人的执行机构弹奏所述乐器的所 述目标音符。 2.根据权利要求1所述的方法， 其特征在于， 所述预设动作类型集包括动作序列， 所述 动作序列为基本动作类型集 合中各基本动作类型按照时序组成的序列， 所述判断所述当前图像帧中所包括的对象的姿态是否与预设动作类型集中的基本动 作类型相匹配， 包括： 判断所述当前图像 帧中对象的姿态是否为所述动作序列中的目标动 作； 所述响应于所述当前图像帧中对象的姿态为所述预设动作类型集中匹配的基本动作 类型， 确定与匹配的基本动作类型对应的目标音符， 包括： 响应于所述当前图像帧中对象的 姿态为所述动作序列中的目标动作， 确定与所述目标动作的类型匹配的目标音符。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述 乐器演奏的开始操作， 通过显示屏输出 所述动作序列； 所述获取待处理的图像帧集合， 包括： 响应于所述乐器演奏的开始操作， 通过图像采集 装置采集所述对象的视频， 将所述对象的视频确定为所述待处 理的图像帧集 合； 所述判断所述当前图像帧中所包括的对象的姿态是否为所述动作序列中的目标动作， 包括： 从所述动作序列中确定与所述当前图像 帧匹配的目标动作帧， 判断所述当前图像 帧 中所包括的对象的姿态是否为所述目标动作帧中的目标动作。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述乐器演奏的测试操作， 通过显示屏输出测试动作的外轮廓范围， 其中， 所述 外轮廓范围用于提 示所述对象的所述姿态在所述外轮廓范围内； 获取包含所述对象的测试图像帧集 合； 基于所述测试图像帧集 合中的图像帧， 确定所述对象的站位是否满足预设条件； 在所述对象的站位满足预设条件的情况下， 提示所述对象执行所述乐器演奏的开始操 作； 所述响应于所述乐器演奏的开始操作， 通过显示屏输出所述动作序列， 包括： 响应于所 述乐器演奏的开始操作， 通过显示屏输出 所述动作序列中所述目标动作的外轮廓范围。 5.根据权利要求2至4任一项所述的方法， 其特 征在于， 还 包括： 确定所述 乐器演奏的歌曲中音符的先后顺序和所述音符的节拍； 确定每一所述音符对应的基本动作类型； 将每一所述音符对应的基本动作类型， 按照所述歌曲中音符的先后顺序和音符的节 拍， 生成所述动作序列。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述待处理 的图像帧集合中的当前权　利　要　求　书 1/3 页 2 CN 115008462 A 2图像帧进行图像 检测， 得到所述当前图像帧中所包括的对象的姿态， 包括： 对所述待处理 的图像帧集合中的当前图像帧进行目标检测， 得到所述当前图像帧中所 包括的对象的检测框； 基于所述当前图像帧中所包括的对象的检测框， 确定与每一所述对象关联的关键点集 合的位置信息； 基于与每一所述对象关联的关键点 集合的位置信息， 确定每一所述对象的姿态。 7.根据权利要求6所述的方法， 其特征在于， 所述判断所述当前图像帧中所包括的对象 的姿态是否与预设动作类型集中的基本动作类型相匹配， 包括： 确定所述当前图像帧中与所包括的对象关联的关键点集合的每一关键点的位置信息 是否在预设范围内， 得到第一确定结果； 基于所述第 一确定结果， 判断所述当前图像帧中所包括的对象的所述姿态是否与 预设 动作类型集中的基本动作类型相匹配。 8.根据权利要求7所述的方法， 其特征在于， 基于所述第一确定结果， 判断所述当前图 像帧中所包括的对象的所述姿态是否与预设动作类型集中的基本动作类型相匹配， 包括： 基于所述第 一确定结果， 确定所述当前图像帧中所包括的每一所述对象的所述关键点 集合中位置信息在预设范围内的关键点的第一数量； 确定所述关键点 集合中关键点的总数量； 确定所述第一数量与所述总数量的比例； 基于所述比例， 判断所述当前图像帧中所包括的对象的所述姿态是否与预设动作类型 集中的基本动作类型相匹配。 9.根据权利要求6 至8任一项所述的方法， 其特 征在于， 还 包括： 确定所述当前图像帧中与所包括的对象关联的所述关键点集合的每一关键点的第一 准确度； 确定所述机器人弹奏所述目标音符的时间的第二 准确度； 基于所述第一 准确度和所述第二 准确度， 确定所述目标音符的演奏评价结果； 确定所述歌曲中每一音符的演奏评价结果； 基于所述歌曲中每一音符的演奏评价结果， 确定所述歌曲的演奏评价结果。 10.根据权利要求9所述的方法， 其特征在于， 确定所述当前图像帧中与所包括的对象 关联的所述关键点 集合的每一关键点的第一 准确度， 包括： 确定所述当前图像帧中与所包括的对象关联的所述关键点集合中每一关键点的位置 与目标位置之间的距离； 基于所述距离， 确定每一所述关键点的第一 准确度。 11.根据权利要求9所述的方法， 其特征在于， 确定所述机器人弹奏所述目标音符的时 间的第二 准确度， 包括： 确定所述机器人弹奏所述目标音符的第一时刻； 确定所述歌曲中所述目标音符的第二时刻； 确定所述第一时刻和所述第二时刻的差值； 基于所述差值， 确定所述机器人弹奏所述目标音符的时间的第二 准确度。 12.一种乐器演奏装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115008462 A 3