(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924335.7 (22)申请日 2022.08.03 (71)申请人 广州迈聆信息科技有限公司 地址 510670 广东省广州市黄埔区科珠路 192号423房(仅限办公) (72)发明人 李勤　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 严慧 (51)Int.Cl. H04N 7/15(2006.01) H04S 7/00(2006.01) H04L 65/60(2022.01) G10L 25/57(2013.01) G06V 40/20(2022.01)G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/26(2022.01) G06F 9/451(2018.01) (54)发明名称 一种信息处 理方法、 电子设备、 系统及 介质 (57)摘要 本发明公开了一种信息处理方法、 电子设 备、 系统及介质。 方法包括： 获取至少一个用户的 音视频信息； 根据音视频信息， 确定所对应用户 的状态信息； 基于目标参数， 确定待处理信息， 所 包括的音视频信息为关联后的音频信息和视频 信息； 编码待处理信息， 得到编码后信息， 所述待 处理信息内每个用户的音视频信息单独编码； 传 输编码后信息。 该方法根据获取的音视频信息， 能够确定 所对应用户的状态信息， 从而基于包含 状态信息的目标参数， 实现了从音视频信息中准 确选取待处理信息， 为接收端提供了信号基础， 使得声像位置能够基于待处理信息灵活确定， 保 证了音频的空间 效果。 权利要求书3页 说明书20页 附图7页 CN 115150580 A 2022.10.04 CN 115150580 A 1.一种信息处 理方法， 其特 征在于， 包括： 获取至少一个用户的音视频信息， 所述音视频信息包括音频信息和视频信息； 根据所述音视频信息， 确定所对应用户的状态信息， 所述状态信息包括指示所对应用 户是否正在讲话的指示信息； 基于目标参数， 确定待处理信息， 所述待处理信息包括从所述音视频信息中选取的音 视频信息， 所述目标参数包括所述状态信息， 所包括的音视频信息为关联后的音频信息和 视频信息； 编码所述待处理信息， 得到编码后信息， 所述待处理信息内每个用户的音视频信息单 独编码； 传输所述编码后信息， 所述编码后信息用于确定所述音频信息的声像位置 。 2.根据权利要求1所述的方法， 其特征在于， 根据所述音视频信息， 确定所对应用户的 状态信息， 包括： 基于所述视频信息， 分割所述视频信息所对应图像得到每 个用户的图像信息； 关联同一用户的音频信息和图像信息； 针对每个用户关联后的音频信息和图像信息， 基于所述音频信息确定音频检测结果， 基于所述图像信息确定图像 检测结果； 基于每个用户对应的所述音频检测结果和所述图像检测结果， 确定所对应的状态信 息。 3.根据权利要求1所述的方法， 其特征在于， 所述基于目标参数， 确定待处理信息， 包 括： 针对每个用户的状态信 息， 累计所述状态信 息， 确定所对应的讲话 时长， 所述状态信 息 还包括所述讲话时长； 基于确定的各 所述讲话时长， 从所述至少一个用户的音视频信息中选取待处 理信息。 4.根据权利要求1所述的方法， 其特征在于， 所述目标参数还包括用户标识信息， 相应 的， 基于目标参数， 确定待处 理信息； 将所述用户标识信息对应的音视频信息确定为待处 理信息； 从除所述用户标识信息对应的音视频信息 外的音视频信息中选取待处 理信息。 5.根据权利要求1所述的方法， 其特征在于， 所述编码所述待处理信息， 得到编码后信 息， 包括： 针对所述待处理信 息内每个用户的音视频信 息和状态信 息， 编码所述音视频信 息和所 述状态信息编码得到所述用户的编码后信息； 或， 针对所述待处理信 息内每个用户的音视频信 息， 编码所述音视频信 息得到所述用户的 编码后信息 。 6.一种信息处 理方法， 其特 征在于， 包括： 获取并解码编码后信息得到待处理信息， 所述待处理信息包括选取得到的音视频信 息， 所述音视频信息包括音频信息和视频信息， 所述编码后信息为基于权利要求 1‑5任一所 述的方法得到的； 确定所述视频信息所对应图像的图像位置； 基于所述图像位置， 确定虚拟声像的声像位置， 所述虚拟声像为所述视频信息所对应权　利　要　求　书 1/3 页 2 CN 115150580 A 2音频信息的虚拟声像； 基于所述图像位置渲染并显示所述视频信息对应的图像； 基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号； 播放所述多通道信号。 7.根据权利要求6所述的方法， 其特征在于， 所述确定所述视频信 息所对应图像的图像 位置， 包括： 基于所述待处理信 息和预设的窗口排列信 息， 确定所述视频信 息所对应图像的图像位 置。 8.根据权利要求7所述的方法， 其特征在于， 所述待处理信 息还包括所选取的音视频信 息所对应的状态信息， 相应的， 所述基于所述待处理信息和预设的窗口排列信息， 确定所述 视频信息所对应图像的图像位置， 包括： 在所述音视频信息的个数为至少两个时， 基于各所述状态信息， 确定所对应视频信息 的视频排列顺序； 基于预设的窗口排列信息和所述视频排列顺序， 确定所对应视频信息的图像位置， 所 述窗口排列信息包括所包 含窗口的位置信息 。 9.根据权利要求8所述的方法， 其特征在于， 所述基于各所述状态信息， 确定所对应视 频信息的视频排列顺序， 包括： 基于各状态信息所包括的指示信息和讲话时长， 将各 所述状态信息排序； 将状态信息的状态排列顺序， 确定为所对应视频信息的视频排列顺序。 10.根据权利要求8所述的方法， 其特征在于， 所述基于预设的窗口排列信息和所述视 频排列顺序， 确定所对应视频信息的图像位置， 包括： 按照所述视频排列顺序和窗口排列信 息， 依次将所述视频信 息关联至窗口排列信 息所 对应窗口； 将所述窗口排列信息所对应窗口的窗口中心位置， 确定为所关联视频信息的图像位 置。 11.根据权利要求6所述的方法， 其特征在于， 所述基于所述图像位置， 确定虚拟声像的 声像位置， 包括： 将所述图像位置确定为所对应虚拟声像的声像位置 。 12.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行权利要求 1‑11中任一项 所述的 方法。 13.一种会议系统， 其特征在于， 包括如权利要求12所述的 电子设备、 采集设备和输出 设备， 执行如权利要求1 ‑11所述的电子设备为应用于会议室场景的电子设备； 所述采集设备用于采集至少一个用户的音视频信息； 所述输出设备用于 输出图像和多通道信号。 14.根据权利要求13所述的会议系统， 其特征在于， 所述采集设备包括音频采集单元和权　利　要　求　书 2/3 页 3 CN 115150580 A 3