Processing

Please wait...

PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 26.10.2021 at 12:00 PM CEST
Settings

Settings

Goto Application

1. CN109545122 - VR display compensation method and device and display system

Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters

[ ZH ]
VR显示的补偿方法及补偿装置、显示系统


技术领域
本发明属于显示技术领域,具体涉及一种VR显示的补偿方法及补偿装置、显示系统。
背景技术
VR(Virtual Reality,虚拟现实),利用仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等,可以实现用户视觉的模拟,身临其境一样。虚拟显示技术(VR)注重用户体验感受,超高分辨率可以提高视觉效果,体验更加丰富真实,在现有技术中硬件和软件限制了VR超高分辨率的显示效果,无法实现高帧频、高分辨率的显示。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提供一种VR显示的补偿方法及补偿装置、显示系统。
解决本发明技术问题所采用的技术方案是一种VR显示的补偿方法,包括:
根据显示面板的渲染分辨率、渲染帧频和带宽数据,计算出控制器输出的第一同步信号值;
将所述第一同步信号值与预先存储的显示面板的第二同步信号值进行比较;
当比较出所述第一同步信号值大于所述第二同步信号值时,生成两相邻帧原始图像数据之间的补偿图像数据;
根据所生成的补偿图像数据,对待显示的图像进行补偿。
优选的是,当比较出所述第一同步信号值大于所述第二同步信号值时,所生成的两相邻帧原始图像数据之间的补偿图像数据为一帧补偿图像数据;
所述两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;所述生成两相邻帧原始图像数据之间的补偿图像数据的步骤,包括:
根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的补偿图像数据;
根据第N帧原始图像数据的图像加速度和所述推测的补偿图像数据,计算出补偿矩阵,以得到补偿图像数据;其中,N为大于或者等于1的整数。
优选的是,当比较出所述第一同步信号值大于所述第二同步信号值时,所生成的两相邻帧原始图像数据之间的补偿图像数据为多帧补偿图像数据;
所述两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;所述生成两相邻帧原始图像数据之间的补偿图像数据的步骤,包括:
根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的第一帧补偿图像数据;根据第N帧原始图像数据的图像加速度和所述推测的第一帧补偿图像数据,计算出第一帧补偿图像的补偿矩阵,以得到第一帧补偿图像数据;其中,N为大于或者等于1的整数;
根据第M帧补偿图像数据和其之前的、连续的预设帧图像数据,获取推测的第M+1帧补偿图像数据;其中,M为大于或者等于1的整数;
根据第M帧补偿图像数据的图像加速度和所述推测的第M+1帧补偿图像数据,计算出第M+1帧图像的补偿矩阵,以得到第M+1帧补偿图像数据。
优选的是,所生成的补偿图像数据的帧数,与所述第一同步信号值和第二同步信号值的差值正相关。
优选的是,所述根据显示面板的渲染分辨率和带宽数据,计算出控制器输出的第一同步信号值的步骤,包括:
获取显示面板的渲染分辨率、渲染帧频,以及带宽数据;
根据所述显示面板渲染分辨率和渲染帧频,计算出渲染带宽数据;
根据公式:1/B+A*24/(A-C),计算出控制器输出的第一同步信号值;其中,A为渲染带宽数据,B为渲染帧频,C为显示面板的带宽数据。
解决本发明技术问题所采用的技术方案是一种VR显示的动态补偿装置,包括:
计算单元,用于根据显示面板的渲染分辨率、渲染帧频和带宽数据,计算出控制器输出的第一同步信号值;
比较单元,用于将所述第一同步信号值与预先存储的显示面板的第二同步信号值进行比较;
补偿图像数据生成单元,用于当所述比较单元比较出所述第一同步信号值大于所述第二同步信号值时,生成两相邻帧原始图像数据之间的补偿图像数据;
补偿单元,用于根据所述补偿图像数据生成单元生成的补偿图像数据,对待进行显示的图像进行补偿。
优选的是,当所述比较单元比较出所述第一同步信号值大于所述第二同步信号值时,所述补偿图像数据生成单元所生成的两相邻帧原始图像数据之间的补偿图像数据为一帧补偿图像数据;
所述两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;
所述补偿图像数据生成单元包括:
推测模块,用于根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的补偿图像数据;
补偿矩阵计算模块,用于根据第N帧原始图像数据的图像加速度和所述推测模块所获取的所述推测的补偿图像数据,计算出补偿矩阵;其中,N为大于或者等于1的整数;
补偿图像数据生成模块,用于根据所述补偿矩阵计算模块计算出的所述补偿矩阵生成补偿图像数据。
优选的是,当所述比较单元比较出所述第一同步信号值大于所述第二同步信号值时,所述补偿图像数据生成单元所生成的两相邻帧原始图像数据之间的补偿图像数据为多帧补偿图像数据;
所述两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;
所述补偿图像数据生成单元,包括:
推测模块,用于根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的第一帧补偿图像数据;其中,N为大于或者等于1的整数,以及根据第M帧补偿图像数据和其之前的、连续的预设帧图像数据,获取推测的第M+1帧补偿图像数据;其中,M为大于或者等于1的整数;
补偿矩阵计算模块,用于根据第N帧原始图像数据的图像加速度和所述推测的第一帧补偿图像数据,计算出第一帧补偿图像的补偿矩阵,以及根据第M帧补偿图像数据的图像加速度和所述推测模块推测出的所述推测的第M+1帧补偿图像数据,计算出第M+1帧图像的补偿矩阵;
补偿图像数据生成模块,用于所述补偿矩阵计算模块计算出的第一帧补偿图像的补偿矩阵,生成第一帧补偿图像数据,以及根据所述补偿矩阵计算模块计算出第M+1帧图像的补偿矩阵,生成第M+1帧补偿图像数据。
优选的是,所述补偿图像数据生成单元生成的所述补偿图像数据的帧数,与所述第一同步信号值和第二同步信号值的差值正相关。
优选的是,所述计算单元,包括:
获取模块,用于获取显示面板的渲染分辨率、渲染帧频,以及带宽数据;
第一计算模块,用于根据所述显示面板渲染分辨率和渲染帧频,计算出渲染带宽数据;
第二计算模块,用于根据公式:1/B+A*24/(A-C),计算出控制器输出的第一同步信号值;其中,A为渲染带宽数据,B为渲染帧频,C为显示面板的带宽数据。
解决本发明技术问题所采用的技术方案是一种显示系统,其包括上述的VR显示的动态补偿装置。
附图说明
图1为本发明的实施例1的VR显示的补偿方法的流程图;
图2为本发明的实施例1的VR显示的补偿方法的具体流程图;
图3为本发明的实施例2的VR显示的动态补偿装置的结构示意图;
图4为本发明的实施例2的VR显示的动态补偿装置的具体结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
在现有技术中,由于VR超高分辨率会导致渲染时间过长刷新率降低,以及现有的接口视频传输速率最高可到达21.6Gbps,无法满足超高分辨率实时传输的要求,这两种原因导致目前无法实现超高分辨率VR产品。为了在本实施例中提供一种VR显示的补偿方法,以解决现有技术中所存在的技术问题,具体结合下述实施例进行说明。
实施例1:
如图1所示,本实施例提供一种VR显示的补偿方法,该方法包括如下步骤:
S11、根据显示面板的渲染分辨率、渲染帧频和带宽数据,计算出控制器输出的第一同步信号值。
在该步骤中,对于VR显示面板而言,像素排布是固定的,其所对应的渲染分辨率和渲染帧频均是固定的,其中,显示面板的渲染分辨率和渲染帧频是VR显示的软件设计者提供的数据,带宽数据也是显示面板固有的参数,这样一来,可以先获取显示面板的渲染分辨率、渲染帧频、带宽数据,并将这三者输出给计算单元,计算单元则可以根据显示面板的渲染分辨率和带宽数据,计算出控制器输出的第一同步信号值,也即计算出软件的第一同步信号值。
在此需要说明的是,第一同步信号是指显示面板在渲染分辨率下所对应的垂直同步信号,该信号为脉冲信号,本实施例中所谓的第一同步信号值是指脉冲宽度,也即时间值。带宽数据是指传输数据的速率。控制器为显示系统的软件端,显示面板则为显示系统的硬件端。
S12、将步骤S11中计算得到的第一同步信号值,与预先存储的显示面板的第二同步信号值进行比较。其中,第二同步信号是指显示面板物理分辨率下对应的垂直同步信号,也就是说,第二同步信号值是显示面板出厂时具有的固定值。
在该步骤中,具体可以通过比较单元对第一同步信号值和与预先存储的显示面板的第二同步信号值进行比较;若当比较出第一同步信号值大于第二同步信号值时,则执行步骤S13;若当比较出第一同步信号值等于第二同步信号值时,则说明待显示图像的视频信号的传输是不受限的,显示画面不会出现卡顿等不良,故可以按照第一同步信号值进行视频信号的传输,无需进行显示图像的补偿。
在此需要说明的是,由于显示面板的渲染分辨率是大于显示面板的物理分辨率的,故计算单元计算得到的第一同步信号值是不会小于第二同步信号值的。
S13、当比较出第一同步信号值大于第二同步信号值时,生成两相邻帧原始图像数据之间的补偿图像数据。其中,每一帧原始图像数据是指待显示的原始图像中的每一帧图像数据。补偿图像数据是指在原始图像数据之间即将要插入的帧图像的数据。
在该步骤中,还可以包括计算第一同步信号值和第二同步信号值的差值步骤,而二者的差值决定了所生成的补偿图像数据的帧数,具体的,第一同步信号值和第二同步信号值的差值,与补偿图像数据的帧数是正相关的,也即,第一同步信号值和第二同步信号值的差值越大,所生成的补偿图像数据的帧数越多。
S14、根据步骤S13中所生成的补偿图像数据,对待显示的图像进行补偿。
在该步骤中,具体的是将补偿图像数据插入相对应的两相邻帧原始图像数据中,以形成待显示的图像数据,之后根据待显示的图像数据进行画面的显示,也即完成对原始显示数据的补偿。
由于VR设备在运行中,渲染分辨率、渲染帧频都影响着VR设备的效果,在佩戴VR设备时,考虑到分辨率和头部运动,产生渲染时间过长,导致超出一帧的时间,这样显示在屏幕中的信息会至少延迟一帧,导致画面卡顿,在本实施例中所提供的VR显示的补偿方法,首先在软件端根据分辨率信息计算软件的同步信号,之后在硬件端通过软件发送信号来处理是否进行补偿和正常视频信号处理,增加补偿图像数据,以降低视频信号的传输带宽要求,同时降低了渲染压力,并且可以实现高分辨率的显示,提高VR整体体验,改善现有技术中的不良。
为清楚的理解本实施例中VR显示的补偿方法,结合下述的具体实现方式对本实施例中的补偿方法进行说明。其中,在下述方法中,两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据。如图2所示,该补偿方法具体包括如下步骤:
S20、获取显示面板的渲染分辨率、渲染帧频和带宽数据。
其中,软件开发者会将一些用户信息以及显示面板的相关数据(例如:显示面板的渲染分辨率、渲染帧频、带宽数据)提供给显示系统,因此,在该步骤中,显示系统的计算单元中的获取模块可以直接获取显示面板的渲染分辨率、渲染帧频、带宽数据。
S21、根据步骤S20中获取的显示面板的渲染分辨率、渲染帧频和带宽数据,计算出控制器输出的第一同步信号值。
在该步骤中,计算单元中的第一计算模块可以根据所获取的渲染分辨率和渲染帧频,计算出显示面板的渲染带宽数据,也即对应传输该渲染分辨率和渲染帧频的显示数据所需要的带宽。接下来,可以通过第二计算模块,根据公式1/B+A*24/(A-C),计算出控制器输出的第一同步信号值;其中,A为渲染带宽数据,B为渲染帧频,C为显示面板的带宽数据。
S22、将步骤S21中所计算得到的第一同步信号值与预先存储显示面板的第二同步信号值进行比较,并在第一步同步信号值大于第二同步信号值时执行步骤S23。
在该步骤中,可以通过显示系统中的比较单元比较步骤S21中所计算得到的第一同步信号值,和预先存储在显示系统的存储单元中的显示面板的固有的第二同步信号值。
S23、生成第N帧原始图像数据和第N+1帧图像数据之间的补偿图像数据。
在该步骤中,首先,需要计算出第一同步信号值和第二同步信号值二者的差值,并根据二者的差值确定出待生成的补偿图像数据的帧数;其中,第一同步信号值和第二同步信号值二者的差值,与待生成的补偿图像数据的帧数是正相关的,也即第一同步信号值和第二同步信号值二者的差值越大,所生成的补偿图像数据的帧数越多,否则反之。接下来,分别以所生成的补偿图像数据的帧数为一帧和多帧,对如何生成补偿图像数据进行说明。
1、待生成的补偿图像数据的帧数为一帧。
首先,根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的补偿图像数据。
具体的,假若N为100,预设帧为10帧,此时则可以根据第90帧至第100帧原始图像数据,并通过显示器内部的感应器(sensor)进行预测,获取推测的补偿图像数据。
接下来,同样通过显示器内部的感应器获取第N帧原始图像数据的图像加速度,并根据第N帧原始图像数据的图像加速度和推测的补偿图像数据,计算出补偿图像数据的纹理坐标(纹理坐标整合后的数据结构为矩阵),也即得到补偿矩阵,以得到第N帧原始图像数据和第N+1帧图像数据之间的补偿图像数据。
具体的,在该步骤中需要根据第N帧原始图像数据,并通过显示器内部的感应器获取该帧图像的图像加速度,之后再根据第N帧原始图像数据的图像加速度和推测的补偿图像数据,计算出补偿矩阵,继而得到第N帧原始图像数据和第N+1帧图像数据之间的补偿图像数据。
2、待生成的补偿图像数据的帧数为多帧。
首先,根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的第一帧补偿图像数据。
具体的,假若N为100,预设帧为10帧,此时则可以根据第90帧至第100帧原始图像数据,并通过显示器内部的感应器获取推测的第一帧补偿图像数据。
之后,同样通过显示器内部的感应器获取第N帧原始图像数据的图像加速度,并根据第N帧原始图像数据的图像加速度和推测的补偿图像数据,计算出第一帧补偿图像数据的纹理坐标(纹理坐标整合后的数据结构为矩阵),也即得到补偿矩阵,以得到第一帧补偿图像数据。
接下来,根据第M帧补偿图像数据和其之前的、连续的预设帧图像数据,通过显示器内部的感应器进行推测,获取推测的第M+1帧补偿图像数据;其中,M为大于或者等于1的整数。在此需要说明的是,当M=1时,第一帧补偿图像数据和其之前的、连续的预设帧图像数据中的“预设帧图像数据”是指第一帧补偿图像数据之前的“预设帧原始图像数据”;当M>1时,以M=2为例,第二帧补偿图像数据和其之前的、连续的预设帧图像数据中的“预设帧图像数据”是指第一帧补偿图像数据和第一帧补偿图像数据之前的预设帧原始图像数据。
具体的,假若M=1,此时则需要根据第一帧补偿图像数据和第91帧至第100帧原始图像数据,并通通过显示器内部的感应器进行推测,获取推测的第二帧补偿图像数据;同理按照相同的方法可以计算出推测的第三帧补偿图像数据,直至算出推测的最后一帧补偿图像数据。
最后,同样通过显示器内部的感应器获取第M帧补偿图像数据的图像加速度,并根据第M帧补偿图像数据的图像加速度和推测的第M+1帧补偿图像数据,计算出第M+1帧图像的补偿矩阵,以得到第M+1帧补偿图像数据。
具体的,同样以M=1,此时需要根据第一帧补偿图像数据,通过显示器内部的感应器获取第一帧补偿图像的图像加速度,之后根据第一帧补偿图像的图像加速度和推测的第二帧补偿图像数据,得到第二帧补偿图像数据;同理按照同样的方法可以计算出第三帧补偿图像数据,直至计算出最后一帧补偿图像数据。
S24、将步骤S23中所计算出的补偿图像数据,对待显示的图像进行补偿。
在该步骤中,可以将显示系统的补偿单元根据步骤S23中所计算出的补偿图像数据插入相对应的两相邻帧原始图像数据之间,对待显示的图像进行补偿。
实施例2:
如图3和4所示,本实施例提供一种VR显示的动态补偿装置,其可以用于实施例1中VR显示的补偿方法。本实施例中VR显示的动态补偿装置包括:计算单元、比较单元、补偿图像数据生成单元,以及补偿单元。其中,计算单元、比较单元、补偿图像数据生成单元,以及补偿单元均可以采用中央处理器(CPU),而当这几者均采用CPU时,可以集成在同一CPU中。
其中,计算单元用于根据显示面板的渲染分辨率、渲染帧频和带宽数据,计算出控制器输出的第一同步信号值。
具体的,显示面板的渲染分辨率是VR显示的软件设计者提供的数据,带宽数据也是显示面板固有的参数,计算单元具体包括:获取模块、第一计算模块、第二计算模块;其中,获取模块用于获取显示面板的渲染分辨率、渲染帧频,以及带宽数据;第一计算模块用于根据所述显示面板渲染分辨率和渲染帧频,计算出渲染带宽数据;第二计算模块用于根据公式:1/B+A*24/(A-C),计算出控制器输出的第一同步信号值;其中,A为渲染带宽数据,B为渲染帧频,C为显示面板的带宽数据。
其中,比较单元用于将所述第一同步信号值与预先存储的显示面板的第二同步信号值进行比较。
其中,补偿图像数据生成单元用于当所述比较单元比较出所述第一同步信号值大于所述第二同步信号值时,生成两相邻帧原始图像数据之间的补偿图像数据。
具体的,当比较单元比较出第一同步信号值大于第二同步信号值时,补偿图像数据生成单元所生成的两相邻帧原始图像数据之间的补偿图像数据为一帧补偿图像数据;两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;补偿图像数据生成单元具体包括:推测模块、补偿矩阵计算模块、补偿图像数据生成模块;其中,推测模块用于根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的补偿图像数据;补偿矩阵计算模块用于根据第N帧原始图像数据的图像加速度和所述推测模块所获取的所述推测的补偿图像数据,计算出补偿矩阵;其中,N为大于或者等于1的整数;补偿图像数据生成模块用于根据所述补偿矩阵计算模块计算出的所述补偿矩阵生成补偿图像数据。
具体的,当比较单元比较出第一同步信号值大于第二同步信号值时,补偿图像数据生成单元所生成的两相邻帧原始图像数据之间的补偿图像数据为多帧补偿图像数据;两相邻帧原始图像数据分别为第N帧原始图像数据和第N+1帧原始图像数据;
补偿图像数据生成单元,包括:推测模块、补偿矩阵计算模块、补偿图像数据生成模块;其中,推测模块用于根据第N帧原始图像数据和其之前的、连续的预设帧原始图像数据,获取推测的第一帧补偿图像数据;其中,N为大于或者等于1的整数,以及根据第M帧补偿图像数据和其之前的、连续的预设帧图像数据,获取推测的第M+1帧补偿图像数据;其中,M为大于或者等于1的整数;补偿矩阵计算模块用于根据第N帧原始图像数据的图像加速度和所述推测的第一帧补偿图像数据,计算出第一帧补偿图像的补偿矩阵,以及根据第M帧补偿图像数据的图像加速度和所述推测模块推测出的所述推测的第M+1帧补偿图像数据,计算出第M+1帧图像的补偿矩阵;补偿图像数据生成模块用于所述补偿矩阵计算模块计算出的第一帧补偿图像的补偿矩阵,生成第一帧补偿图像数据,以及根据所述补偿矩阵计算模块计算出第M+1帧图像的补偿矩阵,生成第M+1帧补偿图像数据。
其中,补偿图像数据生成单元生成的所述补偿图像数据的帧数,与所述第一同步信号值和第二同步信号值的差值正相关。
其中,补偿图像数据生成单元可以为FPGA(逻辑可编程器件),此时可以将动态补偿算法进行嵌入FPGA中,以方便动态补偿图像,可实现高帧频流畅完整的显示。
其中,补偿单元用于根据所述补偿图像数据生成单元生成的补偿图像数据,对待进行显示的图像进行补偿。
由于本实施例中所提供的VR显示的动态补偿装置,首先在软件端根据分辨率信息计算软件的同步信号,之后在硬件端通过软件发送信号来处理是否进行动态补偿和正常视频信号处理,即降低视频信号的传输带宽要求,同时降低了渲染压力,并且可以实现高分辨率的显示,提高VR整体体验。
实施例3:
本实施例提供了一种显示系统,其包括实施例2中的VR显示的动态补偿装置和显示面板。由于本实施例中的显示系统包括实施例2中的VR显示的动态补偿装置,故其可以实现高分辨率显示。
其中,显示系统可以为OLED显示装置或者液晶显示装置,例如液晶面板、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。