Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. CN111512371 - APPARATUS AND ASSOCIATED METHODS FOR PRESENTATION OF CAPTURED SPATIAL AUDIO CONTENT

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

[ ZH ]

权利要求书

1.一种装置,所述装置包括被配置为以下的部件:
基于
(i)场景的所捕获的空间音频内容,所述场景包括音频,所述音频与至少指示所述场景中的方向的信息相关联,所述音频从所述方向被捕获;以及
(ii)视觉焦点信息,包括至少指示所述场景的第一部分的信息,所述场景的对应的所捕获的视觉图像被聚焦在所述第一部分上以呈现给用户;
提供所捕获的所述空间音频内容的呈现以伴随所捕获的所述视觉图像的所述呈现,所捕获的所述空间音频内容被呈现为空间音频,所述空间音频被配置为向所述用户提供所述音频源自在所捕获的所述空间音频内容中指示的所述方向的感知,所述空间音频内容被提供用于具有空间音频焦点的呈现,所述空间音频焦点选择性地应用于从所述场景的不同于所述第一部分的第二部分捕获的音频,所述空间音频焦点包括音频修改效果,所述音频修改效果用以相对于来自所述场景中的其他地方的音频而增加具有与所述第二部分相对应的方向的音频的可听性。

2.根据权利要求1所述的装置,其中所述第二部分是由所述装置基于特定于所述用户的音频焦点信息来选择的,所捕获的所述视觉图像和所捕获的所述空间音频内容旨在呈现给所述用户,并且所述装置包括被配置为基于以下至少之一来确定所述音频焦点信息的部件:
a)来自所述用户的对所述场景的至少一部分的用户选择;
b)用户设置的简档设置,指示所述用户偏好的音频或音频源中的一者或多者;
b)历史数据,与所述用户相关联并且指示所述用户对共同特征的一个或多个用户选择,所述共同特征以可听方式存在于所捕获的所述空间音频内容中或者以可视方式出现在所捕获的所述视觉内容中,并且在先前已经被呈现给所述用户并且由所述用户选择的不同的所捕获的视觉和音频内容中;
c)历史位置数据,与所述用户相关联并且指示共同特征,所述共同特征以可听方式存在于所捕获的所述空间音频内容中或者以可视方式出现在所捕获的所述视觉内容中,并且在先前已经在与所述场景的所确定的位置相对应的位置处被呈现给所述用户的不同的所捕获的视觉和音频内容中;
d)时间特定数据,包括历史数据,所述历史数据指示对于所捕获的所述空间音频内容是共同的并且在相关时间段捕获的不同的所捕获的视觉和音频内容中的音频,所述相关时间段包括最近时间段或者一天或一年中的对应时间。

3.根据权利要求1或权利要求2所述的装置,其中所述场景的所述第一部分包括以下至少之一:
a)当前被提供用于呈现的所捕获的所述视觉内容的整个空间范围;
b)当前被提供用于呈现的所捕获的所述视觉内容的整个空间范围的子区段;
c)当前被提供用于呈现并且已经由所述用户选择的所捕获的所述视觉内容的一部分。

4.根据权利要求1至3中任一项所述的装置,其中所捕获的所述视觉内容和所捕获的所述空间音频内容被提供用于实况呈现,并且用于具有选择性地应用的所述空间音频焦点的呈现的、所捕获的所述空间音频内容的所述提供,提供反馈信令到捕获所捕获的所述空间音频内容的内容捕获设备的发送,所述反馈信令被配置为提供由所述内容捕获设备对所述音频修改效果的应用。

5.根据权利要求1至3中任一项所述的装置,其中所捕获的所述视觉内容和所捕获的所述空间音频内容是预先记录的所捕获的内容,所捕获的所述视觉内容是以光学可重聚焦格式捕获的,所述光学可重聚焦格式使得以下成为可能:根据所述视觉焦点信息,就所述视觉图像的景深的位置和深度中的一者或两者而言的所述光学焦点的改变。

6.根据前述权利要求中任一项所述的装置,其中基于所述场景的所捕获的所述视觉图像,所述装置被配置为提供具有所述场景的所述第一部分的所捕获的所述视觉图像的呈现,所述场景的所述第一部分在所述视觉焦点信息中被定义为被聚焦用于呈现给所述用户。

7.根据前述权利要求中任一项所述的装置,其中所述场景的所捕获的所述视觉图像包括以下中的一项:
a)所述场景的静止视觉图像;
b)所述场景的视频图像;
c)所述场景的虚拟现实图像,所述虚拟现实图像具有比在任何一个时刻能够呈现给所述用户的空间范围大的空间范围。

8.根据权利要求4或5所述的装置,其中所述装置具有被配置为执行以下的部件:基于(i)所述视觉焦点信息的变化,用以至少定义所述场景的第三部分,被提供用于呈现给用户的所捕获的所述视觉图像应当被聚焦在所述第三部分上;以及(ii)所捕获的所述空间音频内容的持续呈现,以伴随所捕获的所述视觉图像的呈现;
提供选择性地应用的空间音频焦点向如下音频的变化,所述音频从所述场景的不同于所述第二部分的第四部分捕获。

9.根据权利要求4或5所述的装置,其中所述装置具有被配置为执行以下的部件:基于(i)对所捕获的所述空间音频内容的分析,指示所述场景中的音频源的变化和所述场景中的音频源的位置的变化中的一者或两者;以及(ii)所捕获的所述空间音频内容的持续呈现,以伴随所捕获的所述视觉图像的呈现;
提供选择性地应用的空间音频焦点向如下音频的变化,所述音频从所述场景的不同于所述第一部分和所述第二部分的第四部分捕获。

10.根据权利要求4所述的装置,其中所捕获的所述视觉内容和所捕获的所述空间音频内容被提供用于实况呈现,并且所述装置包括被配置为以下的部件:基于在所捕获的所述空间音频内容被捕获时对其的计算机实现的分析来确定所述场景的一个或多个候选第二部分,所述装置被配置为选择所述候选第二部分中的一个或多个候选第二部分用于所述空间音频焦点的应用。

11.根据权利要求5所述的装置,其中所捕获的所述视觉内容和所捕获的所述空间音频内容是预先记录的内容,并且所述装置包括被配置为以下的部件:基于至少部分地在提供所捕获的所述空间音频内容用于呈现之前对所捕获的所述空间音频内容的计算机实现的分析,来确定所述场景的一个或多个候选第二部分,所述装置被配置为选择所述候选第二部分中的一个或多个候选第二部分用于所述空间音频焦点的应用。

12.根据前述权利要求中任一项所述的装置,其中被提供有所述空间音频焦点的所述音频进一步呈现有用户可选择的链接,其中所述装置具有在用户选择所述链接时被配置为提供不同的所捕获的视觉图像和对应的所捕获的视觉图像的呈现的部件,所述不同的所捕获的视觉图像和所述对应的所捕获的视觉图像具有以下中的一项或多项:(i)所捕获的空间音频内容,基于音频分析而被确定为与被提供有所述空间音频焦点的音频相比在听觉上相似,以及(ii)所捕获的视觉图像,被确定为包含音频源的图像,所述音频源的所述图像与被提供有所述空间音频焦点的所述音频的所确定的源有关。

13.根据权利要求2所述的装置,其中所述音频焦点信息是基于呈现给所述用户的空间音频内容的多个实例,使用神经网络来确定的。

14.一种方法,所述方法包括:
基于
(i)场景的所捕获的空间音频内容,所述场景包括音频,所述音频与至少指示所述场景中的方向的信息相关联,所述音频从所述方向被捕获;以及
(ii)视觉焦点信息,包括至少指示所述场景的第一部分的信息,所述场景的对应的所捕获的视觉图像被聚焦在所述第一部分上以呈现给用户;
提供所捕获的所述空间音频内容的呈现以伴随所捕获的所述视觉图像的所述呈现,所捕获的所述空间音频内容被呈现为空间音频,所述空间音频被配置为向所述用户提供所述音频源自在所捕获的所述空间音频内容中指示的所述方向的感知,所述空间音频内容被提供用于具有空间音频焦点的呈现,所述空间音频焦点选择性地应用于从所述场景的不同于所述第一部分的第二部分捕获的音频,所述空间音频焦点包括音频修改效果,所述音频修改效果用以相对于来自所述场景中的其他地方的音频增加具有与所述第二部分相对应的方向的音频的可听性。

15.一种计算机可读介质,包括存储在其上的计算机程序代码,所述计算机可读介质和所述计算机程序代码被配置为当在至少一个处理器上运行时执行以下方法:
基于
(i)场景的所捕获的空间音频内容,所述场景包括音频,所述音频与至少指示所述场景中的方向的信息相关联,所述音频从所述方向被捕获;以及
(ii)视觉焦点信息,包括至少指示所述场景的第一部分的信息,所述场景的对应的所捕获的视觉图像被聚集在所述第一部分上以呈现给用户;
提供所捕获的所述空间音频内容的呈现以伴随所捕获的所述视觉图像的所述呈现,所捕获的所述空间音频内容被呈现为空间音频,所述空间音频被配置为向所述用户提供所述音频源自在所捕获的所述空间音频内容中指示的所述方向的感知,所述空间音频内容被提供用于具有空间音频焦点的呈现,所述空间音频焦点选择性地应用于从所述场景的不同于所述第一部分的第二部分捕获的音频,所述空间音频焦点包括音频修改效果,所述音频修改效果用以相对于来自所述场景中的其他地方的音频增加具有与所述第二部分相对应的方向的音频的可听性。