Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018157835) 360-DEGREE PANORAMIC VIDEO CODING METHOD BASED ON MOTION ATTENTION MODEL
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067  

权利要求书

1   2   3   4   5   6  

附图

1   2   3   4   5  

说明书

发明名称 : 基于运动注意力模型的360度全景视频编码方法

技术领域

[0001]
本发明涉及360度全景视频编码技术领域,具体地说是一种基于运动注意力模型的360度全景视频编码方法。

背景技术

[0002]
传统直播方式能够给观众带来实时的赛事享受,加入360度全景直播技术以后,除了能够营造出更具有现场感的观赛氛围,还突破了空间座位的限制,大大拓宽了收视群体。360度全景直播技术的发展不仅仅能够用于如演唱会、体育赛事等事件型直播,还能应用于医疗领域、房地产现场看房销售等。一般情况下,都为户外直播。在这种环境下,本身采集端网络极不稳定,影响用户观看360度全景直播时的质量。即使是室内直播,网络传输中所面临的卡顿,也是360度全景直播必须克服的问题。
[0003]
随着用户对虚拟现实的真实性要求越来越高,目前普通的视频编码方案已无法满足在保证相同主观质量下减少360度全景视频的压缩码率。由于网络带宽条件有限,只能使用较低码流传输视频,但又希望看清关键目标时,视频感兴趣区域编码技术可以牺牲非感兴趣区域图像质量,对感兴趣区域进行集中资源编码,从而实现在不提高码流的条件下,获得关键目标信息,这样可以有效的避免了存储和带宽成本的增加。视频感兴趣区域变质量传输特性在监控领域非常实用,360度全景摄像机所采集到的画面都或多或少存在无用区域,同样占用传输带宽和存储,因此,只对关注区域的视频信息高质量传输,对不变化的视频少传或不传,以此来提高关注场景的视频质量及减少无用区域的编码码字。
[0004]
发明内容
[0005]
本发明的目的在于提供一种基于运动注意力模型的360度全景视频编码方法,可以复用编码中的运动矢量信息进行运动注意力区域的提出,并在编码时对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字,从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。
[0006]
本发明采用的技术方案包括如下步骤:
[0007]
步骤1:提取运动矢量得到运动矢量场,计算每个运动矢量的可靠度;
[0008]
步骤2:根据可靠度进行可靠度的加权滤波预处理,以降低噪声;
[0009]
步骤3:将步骤2修正后的运动矢量场进行全局运动补偿;
[0010]
步骤4:构建运动注意力模型,得到编码块的运动注意力;
[0011]
步骤5:根据步骤5得到编码块的运动注意力,自适应分配码字。
[0012]
进一步地,在步骤1中,运动矢量可靠度定义如下:
[0013]
[数0001]


[0014]
其中v是当前块的运动矢量,MAD是当前块与匹配块的平均绝对差,μ v是当前块8邻域块的平均运动矢量。
[0015]
进一步地,在步骤2中进行可靠度加权滤波:若g(v)大于0.1,表示当前块运动矢量可靠,则不用做任何处理;若g(v)小于0.1,表示当前块运动矢量不可靠,则对不可靠运动矢量做可靠度加权向量中值滤波,使其周围可靠的运动矢量代替当前不可靠运动矢量。
[0016]
进一步地,在步骤3中:将步骤3修正后的运动矢量场进行全局运动补偿,即统计当前帧中所有SKIP模式的运动矢量的均值,并对当前帧所有运动矢量减去该均值,得到全局运动补偿后运动矢量场。
[0017]
进一步地,在步骤4中:运动注意力模型包括三方面的内容:运动矢量强度,空域运动矢量对比度和时域运动矢量对比度;
[0018]
运动矢量强度定义如下:
[0019]
[数0002]


[0020]
其中v x和v y分别为运动矢量v的x和y轴方向的分量,NF是规一化因子。空域运动矢量对比度定义如下:
[0021]
[数0003]


[0022]
其中v表示当前块运动矢量,v i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下:
[0023]
[数0004]


[0024]
其中v t表示当前块运动矢量,v t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下:
[0025]
MA=MI+MC s+MC t
[0026]
进一步地,在步骤5中:根据步骤4得到编码块的运动注意力来自适应分配码字,即对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字,以此来提高运动关注场景的视频质量同时减少无用区域的编码码字,由此第n个编码块分配的码字计算如下:
[0027]
[数0005]


[0028]
其中MA n表示第n个编码块的运动注意力,R frame表示整帧的总码字。
[0029]
和现有技术相比,本发明的有益效果为:
[0030]
1)运动注意力的计算是在运动矢量场的基础上进行,运动矢量场直接从编码器中获得,因此不需要额外的计算复杂度;
[0031]
2)其次提出了基于运动矢量可靠度加权的中值滤波方法对矢量场进行滤波处理,减少噪声的影响;
[0032]
3)根据注意力形成的机理,综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型。
[0033]
4)最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字,对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字,以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。

附图说明

[0034]
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
[0035]
图1是本发明的流程说明图;
[0036]
图2是编码器中得到的原始运动矢量场;
[0037]
图3是经过可靠度加权滤波后运动矢量场;
[0038]
图4是经过全局运动补偿后运动矢量场;
[0039]
图5是通过运动注意力模型得到的显著图。

具体实施方式

[0040]
现结合附图对本发明作进一步地说明。
[0041]
参见图1,图1展示的是本发明的一个实施例的HEVC编码框,本实施例的目的在于提供一种基于运动注意力模型的360度全景视频编码方法,将注意力 模型加入其中,主要包括如下步骤:
[0042]
步骤1:提取运动矢量得到运动矢量场,计算每个运动矢量的可靠度。
[0043]
运动矢量从本实施例所采用的HEVC的参考编码器HM16.0中来进行提取,并获得运动矢量场。参见图2,图2中所显示的单个箭头即为运动矢量,为编码块相对于参考帧在一定搜索范围内的相对位移;由密布于视频的运动矢量共同构成了运动矢量场。
[0044]
步骤2:根据可靠度进行可靠度的加权滤波预处理,以降低噪声。
[0045]
由于物体的运动在时间和空间上都有连续性,所以运动矢量图各点之间并不是独立的,而是相互关联和约束的。在空间域,物体所对应的若干相连分块之间应该有相近的运动矢量。在时域,同一物体在不同时刻所在位置处也应该有相近的运动矢量。基于此,本发明提出了一种运动矢量可靠性的概念,计算运动矢量的可靠度;根据得到的运动矢量的可靠度,对不可靠运动矢量做运动矢量场的可靠度加权向量中值滤波,使周围可靠的运动矢量代替当前不可靠运动矢量。
[0046]
运动矢量可靠度g(v)定义如下:
[0047]
[数0006]


[0048]
其中v是当前块的运动矢量,MAD是当前块与匹配块的平均绝对差,μ v是当前块8邻域块的平均运动矢量。
[0049]
HEVC的参考编码器HM16.0中获得的运动矢量是使得编码最优的运动矢量,并不是真实运动矢量(编码器中大多数的运动矢量与真实运动矢量是相近的)。因此步骤2中对运动矢量场进行滤波预处理,以减少噪声影响——若g(v)越大,表示当前块运动矢量越可靠,则不用做任何处理;若g(v)小于0.1,表示当前块运动矢量不可靠,则对不可靠运动矢量做可靠度加权向量中值滤波,使其周围可靠的运动矢量代替当前不可靠运动矢量。
[0050]
参见图3,图3是经过可靠度加权滤波后运动矢量场;在图2的五处画圈部分中的运动矢量被判定为不可靠,而其圈周围的运动矢量被判定为可靠,则在经过步骤2之后由其周围可靠的运动矢量代替了圈中不可靠运动矢量。同时,在圈外其他地方的运动矢量被判定为可靠,则不作任何处理予以保留。
[0051]
步骤3:将步骤2修正后的运动矢量场进行全局运动补偿;
[0052]
当视频源由于摄像头运动而引入全局运动时,提取得到的运动矢量会因此受到影响。当全局运动程度不高时,全局运动所附加的效果对运动矢量影响较小;但当全局运动程度较高时,全局运动对运动矢量的影响便不能忽略不计。因此,需要对运动矢量图进行去全局运动补偿。本实施例采用的方法是统计当前帧中所有SKIP模式的运动矢量的均值,并对当前帧所有运动矢量减去该均值。参见图4,由于图像中背景内容大多为静止状态,则其运动矢量被判定为SKIP模式;在统计该SKIP模式的运动矢量的均值后,在整个图像中所有的运动矢量减去该均值,则获得了图4。在图4中可见,原本密布于画面上的大部分运动矢量由于被均值减去成为了不显眼的“点”或者“短箭头”;所留下的运动矢量(在三个有移动的人体上的运动矢量)由于全局运动补偿反而得到了显著的提升,这样便形成了进一步地差异,有明显对比。
[0053]
步骤4:构建运动注意力模型,得到编码块的运动注意力;在上述全局运动补偿的处理之后,根据修正后运动矢量进行运动视觉模型的构建,包括三方面的内容:运动矢量强度,空域运动矢量对比度和时域运动矢量对比度。运动矢量强度定义如下:
[0054]
[数0007]


[0055]
其中v x和v y分别为运动矢量v的x和y轴方向的分量,NF是规一化因子。空域运动矢量对比度定义如下:
[0056]
[数0008]


[0057]
其中v表示当前块运动矢量,v i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下:
[0058]
[数0009]


[0059]
其中v t表示当前块运动矢量,v t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下:
[0060]
MA=MI+MC s+MC t
[0061]
上述内容中,运动矢量强度MI较大的区域将会更多的引起人们的注意。当运动强度较小时,时空域运动矢量MC s对比度将补偿这种不足。一方面采用运动矢 量空间邻域内的运动矢量空域对比度MC t来描述局部运动注意力程度,另一方面由于时域运动矢量对低能量的运动非常敏感,所以它对运动矢量强度是很好的补偿。
[0062]
步骤5:根据步骤4得到编码块的运动注意力,自适应分配码字。最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字,对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字。以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。因此,第n个编码块分配的码字计算如下:
[0063]
[数0010]


[0064]
其中MA n表示第n个编码块的运动注意力,R frame表示整帧的总码字。
[0065]
参见图5,图中越白的区域表示计算得到的运动注意力越大,譬如移动的人体的轮廓边缘,这些范围人眼越关注,编码时分配的码字越多;越黑表示计算得到的运动注意力越小,譬如绝大部分的背景图像,由于处于静止状态因而人眼不太敏感,编码时分配的码字相对较少。
[0066]
经验证,本实施例在HEVC的参考编码器HM16.0下,针对多个视频序列,相同主观质量情况下的码率减少11%。实施例可以复用编码中的运动矢量信息进行运动注意力区域的提出,并在编码时对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字,从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。
[0067]
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内。

权利要求书

[权利要求 1]
一种基于运动注意力模型的360度全景视频编码方法,其特征在于包括如下步骤: 步骤1:提取运动矢量得到运动矢量场,计算每个运动矢量的可靠度; 步骤2:根据可靠度进行可靠度的加权滤波预处理,以降低噪声; 步骤3:将步骤2修正后的运动矢量场进行全局运动补偿; 步骤4:构建运动注意力模型,得到编码块的运动注意力; 步骤5:根据步骤5得到编码块的运动注意力,自适应分配码字。
[权利要求 2]
根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法,其特征在于:步骤1中,运动矢量可靠度定义如下: [数0001]


其中v是当前块的运动矢量,MAD是当前块与匹配块的平均绝对差,μ v是当前块8邻域块的平均运动矢量。
[权利要求 3]
根据权利要求2所述的一种基于运动注意力模型的360度全景视频编码方法,其特征在于:步骤2中进行可靠度加权滤波:若g(v)大于0.1,表示当前块运动矢量可靠,则不用做任何处理;若g(v)小于0.1,表示当前块运动矢量不可靠,则对不可靠运动矢量做可靠度加权向量中值滤波,使其周围可靠的运动矢量代替当前不可靠运动矢量。
[权利要求 4]
根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法,其特征在于:步骤3中:将步骤3修正后的运动矢量场进行全局运动补偿,即统计当前帧中所有SKIP模式的运动矢量的均值,并对当前帧所有运动矢量减去该均值,得到全局运动补偿后运动矢量场。
[权利要求 5]
根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法,其特征在于:步骤4中:运动注意力模型包括三方面的内容:运动矢量强度,空域运动矢量对比度和时域运动矢量对比度; 运动矢量强度定义如下: [数0002]


其中v x和v y分别为运动矢量v的x和y轴方向的分量,NF是规一化因子。空域运动矢量对比度定义如下: [数0003]


其中v表示当前块运动矢量,v i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下: [数0004]


其中v t表示当前块运动矢量,v t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下: MA=MI+MC s+MC t
[权利要求 6]
根据权利要求1所述的基于运动注意力模型的360度全景视频编码方法,其特征在于,步骤5中:根据步骤4得到编码块的运动注意力来自适应分配码字,即对运动关注区域的分配较多码字,对不变化的视频区域分配较少码字,以此来提高运动关注场景的视频质量同时减少无用区域的编码码字, 由此第n个编码块分配的码字计算如下: [数0005]


其中MA n表示第n个编码块的运动注意力,R frame表示整帧的总码字。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]