Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020116563 - THREE-DIMENSIONAL DATA ENCODING METHOD, THREE-DIMENSIONAL DATA DECODING METHOD, THREE-DIMENSIONAL DATA ENCODING DEVICE, AND THREE-DIMENSIONAL DATA DECODING DEVICE

Document

明 細 書

発明の名称 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008  

課題を解決するための手段

0009   0010  

発明の効果

0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329   0330   0331   0332   0333   0334   0335   0336   0337   0338   0339   0340   0341   0342   0343   0344   0345   0346   0347   0348   0349   0350   0351   0352   0353   0354   0355   0356   0357   0358   0359   0360   0361   0362   0363   0364   0365   0366   0367   0368   0369   0370   0371   0372   0373   0374   0375   0376   0377   0378   0379   0380   0381   0382   0383   0384   0385   0386   0387   0388   0389   0390   0391   0392   0393   0394   0395   0396   0397   0398   0399   0400   0401   0402   0403   0404   0405   0406   0407   0408   0409   0410   0411   0412   0413   0414   0415   0416   0417   0418   0419   0420   0421   0422   0423   0424   0425   0426   0427   0428   0429   0430   0431   0432   0433   0434   0435   0436   0437   0438   0439   0440   0441   0442   0443   0444   0445   0446   0447   0448   0449   0450   0451   0452   0453   0454   0455   0456   0457   0458   0459   0460   0461   0462   0463   0464   0465   0466   0467   0468   0469   0470   0471   0472   0473   0474   0475   0476   0477   0478   0479   0480   0481   0482   0483   0484   0485   0486   0487   0488   0489   0490   0491   0492   0493   0494   0495   0496   0497   0498   0499   0500   0501   0502   0503   0504   0505   0506   0507   0508   0509   0510   0511   0512   0513   0514   0515   0516   0517   0518   0519   0520   0521   0522   0523   0524   0525   0526   0527   0528   0529   0530   0531   0532   0533   0534   0535   0536   0537   0538   0539   0540   0541   0542   0543   0544   0545   0546   0547   0548   0549   0550   0551   0552   0553   0554   0555   0556   0557   0558   0559   0560   0561   0562   0563   0564   0565   0566   0567   0568   0569   0570   0571   0572   0573   0574   0575   0576   0577   0578   0579   0580   0581   0582   0583   0584   0585   0586   0587   0588   0589   0590   0591   0592   0593   0594   0595   0596   0597   0598   0599   0600   0601   0602   0603   0604   0605   0606   0607   0608   0609   0610   0611   0612   0613   0614   0615   0616   0617   0618   0619   0620   0621   0622   0623   0624   0625   0626   0627   0628   0629   0630   0631   0632   0633   0634   0635   0636   0637   0638   0639   0640   0641   0642   0643   0644   0645   0646   0647   0648   0649   0650   0651   0652   0653   0654   0655   0656  

産業上の利用可能性

0657  

符号の説明

0658  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126  

明 細 書

発明の名称 : 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

技術分野

[0001]
 本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。

背景技術

[0002]
 自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
[0003]
 三次元データの表現方法の1つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像(一例として、MPEGで規格化されたMPEG-4 AVC又はHEVCなどがある)と同様に、符号化によるデータ量の圧縮が必須となる。
[0004]
 また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ(Point Cloud Library)などによって一部サポートされている。
[0005]
 また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている(例えば、特許文献1参照)。

先行技術文献

特許文献

[0006]
特許文献1 : 国際公開第2014/020663号

発明の概要

発明が解決しようとする課題

[0007]
 三次元データの符号化処理では、符号化効率を向上できることが望まれている。
[0008]
 本開示は、符号化効率を向上できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供することを目的とする。

課題を解決するための手段

[0009]
 本開示の一態様に係る三次元データ符号化方法は、複数の点群データを結合することで結合点群データを生成し、前記結合点群データを符号化することでビットストリームを生成し、前記ビットストリームは、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を含む。
[0010]
 本開示の一態様に係る三次元データ復号方法は、複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を取得し、前記第1情報及び前記複数の第2情報を用いて、(i)前記ビットストリームから前記結合点群データを復号し、(ii)前記結合点群データから前記複数の点群データを生成する。

発明の効果

[0011]
 本開示は、符号化効率を向上できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供できる。

図面の簡単な説明

[0012]
[図1] 図1は、実施の形態1に係る三次元データ符号化復号システムの構成を示す図である。
[図2] 図2は、実施の形態1に係る点群データの構成例を示す図である。
[図3] 図3は、実施の形態1に係る点群データ情報が記述されたデータファイルの構成例を示す図である。
[図4] 図4は、実施の形態1に係る点群データの種類を示す図である。
[図5] 図5は、実施の形態1に係る第1の符号化部の構成を示す図である。
[図6] 図6は、実施の形態1に係る第1の符号化部のブロック図である。
[図7] 図7は、実施の形態1に係る第1の復号部の構成を示す図である。
[図8] 図8は、実施の形態1に係る第1の復号部のブロック図である。
[図9] 図9は、実施の形態1に係る第2の符号化部の構成を示す図である。
[図10] 図10は、実施の形態1に係る第2の符号化部のブロック図である。
[図11] 図11は、実施の形態1に係る第2の復号部の構成を示す図である。
[図12] 図12は、実施の形態1に係る第2の復号部のブロック図である。
[図13] 図13は、実施の形態1に係るPCC符号化データに関わるプロトコルスタックを示す図である。
[図14] 図14は、実施の形態2に係るISOBMFFの基本構造を示す図である。
[図15] 図15は、実施の形態2に係るプロトコルスタックを示す図である。
[図16] 図16は、実施の形態3に係る符号化部及び多重化部の構成を示す図である。
[図17] 図17は、実施の形態3に係る符号化データの構成例を示す図である。
[図18] 図18は、実施の形態3に係る符号化データ及びNALユニットの構成例を示す図である。
[図19] 図19は、実施の形態3に係るpcc_nal_unit_typeのセマンティクス例を示す図である。
[図20] 図20は、実施の形態3に係るNALユニットの送出順序の例を示す図である。
[図21] 図21は、実施の形態4に係る第1の符号化部のブロック図である。
[図22] 図22は、実施の形態4に係る第1の復号部のブロック図である。
[図23] 図23は、実施の形態4に係る分割部のブロック図である。
[図24] 図24は、実施の形態4に係るスライス及びタイルの分割例を示す図である。
[図25] 図25は、実施の形態4に係るスライス及びタイルの分割パターンの例を示す図である。
[図26] 図26は、実施の形態4に係る依存関係の例を示す図である。
[図27] 図27は、実施の形態4に係るデータの復号順の例を示す図である。
[図28] 図28は、実施の形態4に係る符号化処理のフローチャートである。
[図29] 図29は、実施の形態4に係る結合部のブロック図である。
[図30] 図30は、実施の形態4に係る符号化データ及びNALユニットの構成例を示す図である。
[図31] 図31は、実施の形態4に係る符号化処理のフローチャートである。
[図32] 図32は、実施の形態4に係る復号処理のフローチャートである。
[図33] 図33は、実施の形態4に係る符号化処理のフローチャートである。
[図34] 図34は、実施の形態4に係る復号処理のフローチャートである。
[図35] 図35は、実施の形態5に係る複数フレームの点群データからツリー構造及びオキュパンシー符号を生成するイメージを示す図である。
[図36] 図36は、実施の形態5に係るフレーム結合の例を示す図である。
[図37] 図37は、実施の形態5に係る複数フレームの結合の例を示す図である。
[図38] 図38は、実施の形態5に係る三次元データ符号化処理のフローチャートである。
[図39] 図39は、実施の形態5に係る符号化処理のフローチャートである。
[図40] 図40は、実施の形態5に係る三次元データ復号処理のフローチャートである。
[図41] 図41は、実施の形態5に係る復号及び分割処理のフローチャートである。
[図42] 図42は、実施の形態5に係る符号化部のブロック図である。
[図43] 図43は、実施の形態5に係る分割部のブロック図である。
[図44] 図44は、実施の形態5に係る位置情報符号化部のブロック図である。
[図45] 図45は、実施の形態5に係る属性情報符号化部のブロック図である。
[図46] 図46は、実施の形態5に係る点群データの符号化処理のフローチャートである。
[図47] 図47は、実施の形態5に係る符号化処理のフローチャートである。
[図48] 図48は、実施の形態5に係る復号部のブロック図である。
[図49] 図49は、実施の形態5に係る位置情報復号部のブロック図である。
[図50] 図50は、実施の形態5に係る属性情報復号部のブロック図である。
[図51] 図51は、実施の形態5に係る結合部のブロック図である。
[図52] 図52は、実施の形態5に係る点群データの復号処理のフローチャートである。
[図53] 図53は、実施の形態5に係る復号処理のフローチャートである。
[図54] 図54は、実施の形態5に係るフレームの結合パターンの例を示す図である。
[図55] 図55は、実施の形態5に係るPCCフレームの構成例を示す図である。
[図56] 図56は、実施の形態5に係る符号化位置情報の構成を示す図である。
[図57] 図57は、実施の形態5に係る符号化位置情報のヘッダのシンタックス例を示す図である。
[図58] 図58は、実施の形態5に係る符号化位置情報のペイロードのシンタックス例を示す図である。
[図59] 図59は、実施の形態5に係るリーフノード情報の例を示す図である。
[図60] 図60は、実施の形態5に係るリーフノード情報の例を示す図である。
[図61] 図61は、実施の形態5に係るビットマップ情報の例を示す図である。
[図62] 図62は、実施の形態5に係る符号化属性情報の構成を示す図である。
[図63] 図63は、実施の形態5に係る符号化属性情報のヘッダのシンタックス例を示す図である。
[図64] 図64は、実施の形態5に係る符号化属性情報のペイロードのシンタックス例を示す図である。
[図65] 図65は、実施の形態5に係る符号化データの構成を示す図である。
[図66] 図66は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図67] 図67は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図68] 図68は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図69] 図69は、実施の形態5に係る一部のフレームを復号する例を示す図である。
[図70] 図70は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図71] 図71は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図72] 図72は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図73] 図73は、実施の形態5に係るデータの送出順及びデータの参照関係を示す図である。
[図74] 図74は、実施の形態5に係る符号化処理のフローチャートである。
[図75] 図75は、実施の形態5に係る復号処理のフローチャートである。
[図76] 図76は、実施の形態6に係る符号化部のブロック図である。
[図77] 図77は、実施の形態6に係るフレームインデックス生成部のブロック図である。
[図78] 図78は、実施の形態6に係る復号部のブロック図である。
[図79] 図79は、実施の形態6に係るフレームインデックス取得部のブロック図である。
[図80] 図80は、実施の形態6に係るフレームインデックス符号化部のブロック図である。
[図81] 図81は、実施の形態6に係るリーフノード及びビットマップの一例を示す図である。
[図82] 図82は、実施の形態6に係るランキングの一例を示す図である。
[図83] 図83は、実施の形態6に係るルックアップテーブルの一例を示す図である。
[図84] 図84は、実施の形態6に係る符号化処理のフローチャートである。
[図85] 図85は、実施の形態6に係る符号化データの生成処理のフローチャートである。
[図86] 図86は、実施の形態6に係る結合情報のシンタックス例を示す図である。
[図87] 図87は、実施の形態6に係るフレームインデックス取得部のブロック図である。
[図88] 図88は、実施の形態6に係るルックアップテーブルの一例を示す図である。
[図89] 図89は、実施の形態6に係るフレームインデックスの復号処理のフローチャートである。
[図90] 図90は、実施の形態6に係る共通情報及び個別情報の復号処理のフローチャートである。
[図91] 図91は、実施の形態6に係るリーフノードのシンタックスの第1例を示す図である。
[図92] 図92は、実施の形態6に係るリーフノードのシンタックスの第2例を示す図である。
[図93] 図93は、実施の形態6に係る位置情報のシンタックスの第1例を示す図である。
[図94] 図94は、実施の形態6に係る位置情報のシンタックスの第2例を示す図である。
[図95] 図95は、実施の形態6に係る符号化処理のフローチャートである。
[図96] 図96は、実施の形態6に係る復号処理のフローチャートである。
[図97] 図97は、実施の形態7に係るフレーム結合時の重複点の例を示す図である。
[図98] 図98は、実施の形態7に係るヘッダのシンタックス例を示す図である。
[図99] 図99は、実施の形態7に係るノード情報のシンタックス例を示す図である。
[図100] 図100は、実施の形態7に係る重複点の例を示す図である。
[図101] 図101は、実施の形態7に係る重複点の例を示す図である。
[図102] 図102は、実施の形態7に係る重複点の例を示す図である。
[図103] 図103は、実施の形態7に係る三次元データ符号化処理のフローチャートである。
[図104] 図104は、実施の形態7に係るソート処理の例を示す図である。
[図105] 図105は、実施の形態7に係るソート処理の例を示す図である。
[図106] 図106は、実施の形態7に係る三次元データ復号処理のフローチャートである。
[図107] 図107は、実施の形態7に係るノード情報のシンタックス例を示す図である。
[図108] 図108は、実施の形態7に係るビットマップ情報と、num_combine_point及びcombine_equalzeroとの関係を示す図である。
[図109] 図109は、実施の形態7に係るビットマップ情報と、num_combine_point及びcombine_idxとの関係を示す図である。
[図110] 図110は、実施の形態7に係る三次元データ符号化処理のフローチャートである。
[図111] 図111は、実施の形態7に係る三次元データ復号処理のフローチャートである。
[図112] 図112は、実施の形態7に係るSPSのシンタックス例を示す図である。
[図113] 図113は、実施の形態7に係るGPSのシンタックス例を示す図である。
[図114] 図114は、実施の形態7に係るGPSのシンタックス例を示す図である。
[図115] 図115は、実施の形態7に係る符号化効率の比とフレーム結合の適用の可否との関係の例を示す図である。
[図116] 図116は、実施の形態7に係る符号化効率の比とフレーム間の距離との関係の例を示す図である。
[図117] 図117は、実施の形態7に係るフレーム結合の適用の可否の切り替えを模式的に示す図である。
[図118] 図118は、実施の形態7に係る三次元データ符号化処理のフローチャートである。
[図119] 図119は、実施の形態7に係る三次元データ符号化処理のフローチャートである。
[図120] 図120は、実施の形態7に係る三次元データ符号化装置のブロック図である。
[図121] 図121は、実施の形態7に係る三次元データ符号化装置のブロック図である。
[図122] 図122は、実施の形態7に係る符号化データの構成例を示す図である。
[図123] 図123は、実施の形態7に係る符号化データの構成例を示す図である。
[図124] 図124は、実施の形態7に係るメタデータの復号処理のフローチャートである。
[図125] 図125は、実施の形態7に係る三次元データ符号化処理のフローチャートである。
[図126] 図126は、実施の形態7に係る三次元データ復号処理のフローチャートである。

発明を実施するための形態

[0013]
 本開示の一態様に係る三次元データ符号化方法は、複数の点群データを結合することで結合点群データを生成し、前記結合点群データを符号化することでビットストリームを生成し、前記ビットストリームは、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を含む。
[0014]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。
[0015]
 例えば、前記複数の第2情報の各々は、対応する点インデックスを有する三次元点の数を示す第3情報と、前記第3情報との組み合わせにより、前記対応する点インデックスを有する前記三次元点が前記複数の点群データのいずれに属するかを特定可能な第4情報とを含んでもよい。
[0016]
 例えば、前記第3情報で示される前記三次元点の数が前記複数の点群データの数と等しい場合、対応する前記第2情報は、前記第4情報を含まなくてもよい。
[0017]
 これによれば、ビットストリームの符号量を低減できる。
[0018]
 例えば、前記複数の第2情報の各々は、前記複数の点群データの数と同じビット数を有するビットマップ情報であってもよい。
[0019]
 本開示の一態様に係る三次元データ復号方法は、複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を取得し、前記第1情報及び前記複数の第2情報を用いて、(i)前記ビットストリームから前記結合点群データを復号し、(ii)前記結合点群データから前記複数の点群データを生成する。
[0020]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。
[0021]
 例えば、前記複数の第2情報の各々は、対応する点インデックスを有する三次元点の数を示す第3情報と、前記第3情報との組み合わせにより、前記対応する点インデックスを有する前記三次元点が前記複数の点群データのいずれに属するかを特定可能な第4情報とを含んでもよい。
[0022]
 例えば、前記第3情報で示される前記三次元点の数が前記複数の点群データの数と等しい場合、対応する前記第2情報は、前記第4情報を含まなくてもよい。
[0023]
 これによれば、ビットストリームの符号量を低減できる。
[0024]
 例えば、前記複数の第2情報の各々は、前記複数の点群データの数と同じビット数を有するビットマップ情報であってもよい。
[0025]
 また、本開示の一態様に係る三次元データ符号化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、複数の点群データを結合することで結合点群データを生成し、前記結合点群データを符号化することでビットストリームを生成し、前記ビットストリームは、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を含む。
[0026]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。
[0027]
 また、本開示の一態様に係る三次元データ復号装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を取得し、前記第1情報及び前記複数の第2情報を用いて、(i)前記ビットストリームから前記結合点群データを復号し、(ii)前記結合点群データから前記複数の点群データを生成する。
[0028]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。
[0029]
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
[0030]
 以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
[0031]
 (実施の形態1)
 ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
[0032]
 本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。
[0033]
 特に、現在、点群データの符号化方法(符号化方式)として第1の符号化方法、及び第2の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、又は、伝送或いは蓄積ができないという課題がある。
[0034]
 また、PCC(Point Cloud Compression)のように、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。
[0035]
 本実施の形態では、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するPCC符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。
[0036]
 まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
[0037]
 三次元データ符号化システム4601は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム4601は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム4601に含まれる複数の処理部のうち一部を含んでもよい。
[0038]
 三次元データ符号化システム4601は、点群データ生成システム4611と、提示部4612と、符号化部4613と、多重化部4614と、入出力部4615と、制御部4616とを含む。点群データ生成システム4611は、センサ情報取得部4617と、点群データ生成部4618とを含む。
[0039]
 センサ情報取得部4617は、センサ端末4603からセンサ情報を取得し、センサ情報を点群データ生成部4618に出力する。点群データ生成部4618は、センサ情報から点群データを生成し、点群データを符号化部4613へ出力する。
[0040]
 提示部4612は、センサ情報又は点群データをユーザに提示する。例えば、提示部4612は、センサ情報又は点群データに基づく情報又は画像を表示する。
[0041]
 符号化部4613は、点群データを符号化(圧縮)し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部4614へ出力する。付加情報は、例えば、センサ情報を含む。
[0042]
 多重化部4614は、符号化部4613から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
[0043]
 入出力部4615(例えば、通信部又はインタフェース)は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部4616(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4616は、符号化及び多重化等の制御を行う。
[0044]
 なお、センサ情報が符号化部4613又は多重化部4614へ入力されてもよい。また、入出力部4615は、点群データ又は符号化データをそのまま外部へ出力してもよい。
[0045]
 三次元データ符号化システム4601から出力された伝送信号(多重化データ)は、外部接続部4604を介して、三次元データ復号システム4602に入力される。
[0046]
 三次元データ復号システム4602は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム4602は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム4602に含まれる複数の処理部のうち一部を含んでもよい。
[0047]
 三次元データ復号システム4602は、センサ情報取得部4621と、入出力部4622と、逆多重化部4623と、復号部4624と、提示部4625と、ユーザインタフェース4626と、制御部4627とを含む。
[0048]
 センサ情報取得部4621は、センサ端末4603からセンサ情報を取得する。
[0049]
 入出力部4622は、伝送信号を取得し、伝送信号から多重化データ(ファイルフォーマット又はパケット)を復号し、多重化データを逆多重化部4623へ出力する。
[0050]
 逆多重化部4623は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部4624へ出力する。
[0051]
 復号部4624は、符号化データを復号することで点群データを再構成する。
[0052]
 提示部4625は、点群データをユーザに提示する。例えば、提示部4625は、点群データに基づく情報又は画像を表示する。ユーザインタフェース4626は、ユーザの操作に基づく指示を取得する。制御部4627(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4627は、逆多重化、復号及び提示等の制御を行う。
[0053]
 なお、入出力部4622は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部4625は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部4625は、ユーザインタフェース4626で取得されたユーザの指示に基づき、提示を行ってもよい。
[0054]
 センサ端末4603は、センサで得られた情報であるセンサ情報を生成する。センサ端末4603は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
[0055]
 センサ端末4603で取得可能なセンサ情報は、例えば、(1)LIDAR、ミリ波レーダ、又は赤外線センサから得られる、センサ端末4603と対象物との距離、又は対象物の反射率、(2)複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ(角速度)、位置(GPS情報又は高度)、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
[0056]
 外部接続部4604は、集積回路(LSI又はIC)、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
[0057]
 次に、点群データについて説明する。図2は、点群データの構成を示す図である。図3は、点群データの情報が記述されたデータファイルの構成例を示す図である。
[0058]
 点群データは、複数の点のデータを含む。各点のデータは、位置情報(三次元座標)、及びその位置情報に対する属性情報を含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物(オブジェクト)の三次元形状を示す。
[0059]
 三次元座標等の位置情報(Position)をジオメトリ(geometry)と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報(attribute)を含んでもよい。属性種別は、例えば色又は反射率などである。
[0060]
 1つの位置情報に対して1つの属性情報が対応付けられてもよいし、1つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、1つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
[0061]
 図3に示すデータファイルの構成例は、位置情報と属性情報とが1対1に対応する場合の例であり、点群データを構成するN個の点の位置情報と属性情報とを示している。
[0062]
 位置情報は、例えば、x、y、zの3軸の情報である。属性情報は、例えば、RGBの色情報である。代表的なデータファイルとしてplyファイルなどがある。
[0063]
 次に、点群データの種類について説明する。図4は、点群データの種類を示す図である。図4に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
[0064]
 静的オブジェクトは、任意の時間(ある時刻)の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをPCCフレーム、又はフレームと呼ぶ。
[0065]
 オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
[0066]
 また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
[0067]
 以下、各処理部の詳細について説明する。センサ情報は、LIDAR或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部4618は、センサ情報取得部4617で得られたセンサ情報に基づき点群データを生成する。点群データ生成部4618は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
[0068]
 点群データ生成部4618は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部4618は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部4618は、位置情報を変換(位置シフト、回転又は正規化など)してもよいし、属性情報をレンダリングしてもよい。
[0069]
 なお、図1では、点群データ生成システム4611は、三次元データ符号化システム4601に含まれるが、三次元データ符号化システム4601の外部に独立して設けられてもよい。
[0070]
 符号化部4613は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の2種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第1の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第2の符号化方法と記載する。
[0071]
 復号部4624は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
[0072]
 多重化部4614は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部4614は、PCC符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部4614は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
[0073]
 多重化方式又はファイルフォーマットとしては、ISOBMFF、ISOBMFFベースの伝送方式であるMPEG-DASH、MMT、MPEG-2 TS Systems、RMPなどがある。
[0074]
 逆多重化部4623は、多重化データからPCC符号化データ、その他のメディア、及び時刻情報などを抽出する。
[0075]
 入出力部4615は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部4615は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
[0076]
 通信プロトコルとしては、http、ftp、TCP又はUDPなどが用いられる。PULL型の通信方式が用いられてもよいし、PUSH型の通信方式が用いられてもよい。
[0077]
 有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ethernet(登録商標)、USB、RS-232C、HDMI(登録商標)、又は同軸ケーブルなどが用いられる。無線伝送としては、無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)又はミリ波などが用いられる。
[0078]
 また、放送方式としては、例えばDVB-T2、DVB-S2、DVB-C2、ATSC3.0、又はISDB-S3などが用いられる。
[0079]
 図5は、第1の符号化方法の符号化を行う符号化部4613の例である第1の符号化部4630の構成を示す図である。図6は、第1の符号化部4630のブロック図である。第1の符号化部4630は、点群データを第1の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部4630は、位置情報符号化部4631と、属性情報符号化部4632と、付加情報符号化部4633と、多重化部4634とを含む。
[0080]
 第1の符号化部4630は、三次元構造を意識して符号化を行うという特徴を有する。また、第1の符号化部4630は、属性情報符号化部4632が、位置情報符号化部4631から得られる情報を用いて符号を行うという特徴を有する。第1の符号化方法は、GPCC(Geometry based PCC)とも呼ばれる。
[0081]
 点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報(MetaData)を含む。位置情報は位置情報符号化部4631に入力され、属性情報は属性情報符号化部4632に入力され、付加情報は付加情報符号化部4633に入力される。
[0082]
 位置情報符号化部4631は、位置情報を符号化することで符号化データである符号化位置情報(Compressed Geometry)を生成する。例えば、位置情報符号化部4631は、8分木等のN分木構造を用いて位置情報を符号化する。具体的には、8分木では、対象空間が8個のノード(サブ空間)に分割され、各ノードに点群が含まれるか否かを示す8ビットの情報(オキュパンシー符号)が生成される。また、点群が含まれるノードは、さらに、8個のノードに分割され、当該8個のノードの各々に点群が含まれるか否かを示す8ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
[0083]
 属性情報符号化部4632は、位置情報符号化部4631で生成された構成情報を用いて符号化することで符号化データである符号化属性情報(Compressed Attribute)を生成する。例えば、属性情報符号化部4632は、位置情報符号化部4631で生成された8分木構造に基づき、処理対象の対象点(対象ノード)の符号化において参照する参照点(参照ノード)を決定する。例えば、属性情報符号化部4632は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
[0084]
 また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
[0085]
 付加情報符号化部4633は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報(Compressed MetaData)を生成する。
[0086]
 多重化部4634は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
[0087]
 次に、第1の符号化方法の復号を行う復号部4624の例である第1の復号部4640について説明する。図7は、第1の復号部4640の構成を示す図である。図8は、第1の復号部4640のブロック図である。第1の復号部4640は、第1の符号化方法で符号化された符号化データ(符号化ストリーム)を、第1の符号化方法で復号することで点群データを生成する。この第1の復号部4640は、逆多重化部4641と、位置情報復号部4642と、属性情報復号部4643と、付加情報復号部4644とを含む。
[0088]
 図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第1の復号部4640に入力される。
[0089]
 逆多重化部4641は、符号化データから、符号化位置情報(Compressed Geometry)、符号化属性情報(Compressed Attribute)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
[0090]
 位置情報復号部4642は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部4642は、8分木等のN分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
[0091]
 属性情報復号部4643は、位置情報復号部4642で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部4643は、位置情報復号部4642で得られた8分木構造に基づき、処理対象の対象点(対象ノード)の復号において参照する参照点(参照ノード)を決定する。例えば、属性情報復号部4643は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
[0092]
 また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
[0093]
 付加情報復号部4644は、符号化付加情報を復号することで付加情報を生成する。また、第1の復号部4640は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
[0094]
 次に、第2の符号化方法の符号化を行う符号化部4613の例である第2の符号化部4650について説明する。図9は、第2の符号化部4650の構成を示す図である。図10は、第2の符号化部4650のブロック図である。
[0095]
 第2の符号化部4650は、点群データを第2の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第2の符号化部4650は、付加情報生成部4651と、位置画像生成部4652と、属性画像生成部4653と、映像符号化部4654と、付加情報符号化部4655と、多重化部4656とを含む。
[0096]
 第2の符号化部4650は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第2の符号化方法は、VPCC(Video based PCC)とも呼ばれる。
[0097]
 点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報MetaData)を含む。
[0098]
 付加情報生成部4651は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
[0099]
 位置画像生成部4652は、位置情報と、付加情報生成部4651で生成されたマップ情報とに基づき、位置画像(Geometry Image)を生成する。この位置画像は、例えば、画素値として距離(Depth)が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
[0100]
 属性画像生成部4653は、属性情報と、付加情報生成部4651で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報(例えば色(RGB))が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
[0101]
 映像符号化部4654は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像(Compressed Geometry Image)及び符号化属性画像(Compressed Attribute Image)を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
[0102]
 付加情報符号化部4655は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報(Compressed MetaData)を生成する。
[0103]
 多重化部4656は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
[0104]
 次に、第2の符号化方法の復号を行う復号部4624の例である第2の復号部4660について説明する。図11は、第2の復号部4660の構成を示す図である。図12は、第2の復号部4660のブロック図である。第2の復号部4660は、第2の符号化方法で符号化された符号化データ(符号化ストリーム)を、第2の符号化方法で復号することで点群データを生成する。この第2の復号部4660は、逆多重化部4661と、映像復号部4662と、付加情報復号部4663と、位置情報生成部4664と、属性情報生成部4665とを含む。
[0105]
 図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第2の復号部4660に入力される。
[0106]
 逆多重化部4661は、符号化データから、符号化位置画像(Compressed Geometry Image)、符号化属性画像(Compressed Attribute Image)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
[0107]
 映像復号部4662は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
[0108]
 付加情報復号部4663は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
[0109]
 位置情報生成部4664は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部4665は、属性画像とマップ情報とを用いて属性情報を生成する。
[0110]
 第2の復号部4660は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
[0111]
 以下、PCC符号化方式における課題を説明する。図13は、PCC符号化データに関わるプロトコルスタックを示す図である。図13には、PCC符号化データに、映像(例えばHEVC)又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。
[0112]
 多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、HEVCでは、NALユニットと呼ばれるデータ構造に符号化データを格納し、NALユニットをISOBMFFに格納する技術が規定されている。
[0113]
 一方、現在、点群データの符号化方法として第1の符号化方法(Codec1)、及び第2の符号化方法(Codec2)が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、伝送及び蓄積ができないという課題がある。
[0114]
 なお、以降において、特定の符号化方法の記載がなければ、第1の符号化方法、及び第2の符号化方法のいずれかを示すものとする。
[0115]
 (実施の形態2)
 本実施の形態では、NALユニットをISOBMFFのファイルに格納する方法について説明する。
[0116]
 ISOBMFF(ISO based media file format)は、ISO/IEC14496-12に規定されるファイルフォーマット規格である。ISOBMFFは、ビデオ、オーディオ、及びテキストなど様々なメディアを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
[0117]
 ISOBMFFの基本構造(ファイル)について説明する。ISOBMFFにおける基本単位はボックスである。ボックスはtype、length、dataで構成され、様々なtypeのボックスを組み合わせた集合がファイルである。
[0118]
 図14は、ISOBMFFの基本構造(ファイル)を示す図である。ISOBMFFのファイルは、主に、ファイルのブランドを4CC(4文字コード)で示すftyp、制御情報などのメタデータを格納するmoov、及び、データを格納するmdatなどのボックスを含む。
[0119]
 ISOBMFFのファイルへのメディア毎の格納方法は別途規定されており、例えば、AVCビデオ及びHEVCビデオの格納方法は、ISO/IEC14496-15に規定される。ここで、PCC符号化データを蓄積又は伝送するために、ISOBMFFの機能を拡張して使用することが考えられるが、PCC符号化データをISOBMFFのファイルに格納する規定はまだない。そこで、本実施の形態では、PCC符号化データをISOBMFFのファイルに格納する方法について説明する。
[0120]
 図15は、PCCコーデック共通のNALユニットをISOBMFFのファイルに格納する場合のプロトコルスタックを示す図である。ここでは、PCCコーデック共通のNALユニットがISOBMFFのファイルに格納される。NALユニットはPCCコーデック共通であるが、NALユニットには複数のPCCコーデックが格納されるため、それぞれのコーデックに応じた格納方法(Carriage of Codec1、Carriage of Codec2)を規定することが望ましい。
[0121]
 (実施の形態3)
 本実施の形態では、上述した第1の符号化部4630、又は第2の符号化部4650で生成される符号化データ(位置情報(Geometry)、属性情報(Attribute)、付加情報(Metadata))の種別、及び付加情報(メタデータ)の生成方法、及び多重化部における多重処理について説明する。なお、付加情報(メタデータ)は、パラメータセット、又は制御情報と表記することもある。
[0122]
 本実施の形態では、図4で説明した動的オブジェクト(時間的に変化する三次元点群データ)を例に説明するが、静的オブジェクト(任意の時刻の三次元点群データ)の場合でも同様の方法を用いてもよい。
[0123]
 図16は、本実施の形態に係る三次元データ符号化装置に含まれる符号化部4801及び多重化部4802の構成を示す図である。符号化部4801は、例えば、上述した第1の符号化部4630又は第2の符号化部4650に対応する。多重化部4802は、上述した多重化部4634又は46456に対応する。
[0124]
 符号化部4801は、複数のPCC(Point Cloud Compression)フレームの点群データを符号化し、複数の位置情報、属性情報及び付加情報の符号化データ(Multiple Compressed Data)を生成する。
[0125]
 多重化部4802は、複数のデータ種別(位置情報、属性情報及び付加情報)のデータをNALユニット化することで、データを復号装置におけるデータアクセスを考慮したデータ構成に変換する。
[0126]
 図17は、符号化部4801で生成される符号化データの構成例を示す図である。図中の矢印は符号化データの復号に係る依存関係を示しており、矢印の元は矢印の先のデータに依存している。つまり、復号装置は、矢印の先のデータを復号し、その復号したデータを用いて矢印の元のデータを復号する。言い換えると、依存するとは、依存元のデータの処理(符号化又は復号等)において依存先のデータが参照(使用)されることを意味する。
[0127]
 まず、位置情報の符号化データの生成処理について説明する。符号化部4801は、各フレームの位置情報を符号化することで、フレーム毎の符号化位置データ(Compressed Geometry Data)を生成する。また、符号化位置データをG(i)で表す。iはフレーム番号、又はフレームの時刻等を示す。
[0128]
 また、符号化部4801は、各フレームに対応する位置パラメータセット(GPS(i))を生成する。位置パラメータセットは、符号化位置データの復号に使用することが可能なパラメータを含む。また、フレーム毎の符号化位置データは、対応する位置パラメータセットに依存する。
[0129]
 また、複数フレームから成る符号化位置データを位置シーケンス(Geometry Sequence)と定義する。符号化部4801は、位置シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する位置シーケンスパラメータセット(Geometry Sequence PS:位置SPSとも記す)を生成する。位置シーケンスは、位置SPSに依存する。
[0130]
 次に、属性情報の符号化データの生成処理について説明する。符号化部4801は、各フレームの属性情報を符号化することで、フレーム毎の符号化属性データ(Compressed Attribute Data)を生成する。また、符号化属性データをA(i)で表す。また、図17では、属性Xと属性Yとが存在する例を示しており、属性Xの符号化属性データをAX(i)で表し、属性Yの符号化属性データをAY(i)で表す。
[0131]
 また、符号化部4801は、各フレームに対応する属性パラメータセット(APS(i))を生成する。また、属性Xの属性パラメータセットをAXPS(i)で表し、属性Yの属性パラメータセットをAYPS(i)で表す。属性パラメータセットは、符号化属性情報の復号に使用することが可能なパラメータを含む。符号化属性データは、対応する属性パラメータセットに依存する。
[0132]
 また、複数フレームから成る符号化属性データを属性シーケンス(Attribute Sequence)と定義する。符号化部4801は、属性シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する属性シーケンスパラメータセット(Attribute Sequence PS:属性SPSとも記す)を生成する。属性シーケンスは、属性SPSに依存する。
[0133]
 また、第1の符号化方法では、符号化属性データは符号化位置データに依存する。
[0134]
 また、図17では2種類の属性情報(属性Xと属性Y)が存在する場合の例を示している。2種類の属性情報がある場合は、例えば、2つの符号化部により、それぞれのデータ及びメタデータが生成される。また、例えば、属性情報の種類毎に属性シーケンスが定義され、属性情報の種類毎に属性SPSが生成される。
[0135]
 なお、図17では、位置情報が1種類、属性情報が2種類である例を示しているが、これに限らず、属性情報は1種類であってもよいし、3種類以上であってもよい。この場合も、同様の方法で符号化データを生成できる。また、属性情報を持たない点群データの場合は、属性情報はなくてもよい。その場合は、符号化部4801は、属性情報に関連するパラメータセットを生成しなくてもよい。
[0136]
 次に、付加情報(メタデータ)の生成処理について説明する。符号化部4801は、PCCストリーム全体のパラメータセットであるPCCストリームPS(PCC Stream PS:ストリームPSとも記す)を生成する。符号化部4801は、ストリームPSに、1又は複数の位置シーケンス及び1又は複数の属性シーケンスに対する復号処理に共通に使用することができるパラメータを格納する。例えば、ストリームPSには、点群データのコーデックを示す識別情報、及び符号化に使用されたアルゴリズムを示す情報等が含まれる。位置シーケンス及び属性シーケンスはストリームPSに依存する。
[0137]
 次に、アクセスユニット及びGOFについて説明する。本実施の形態では、新たにアクセスユニット(Access Unit:AU)、及びGOF(Group of Frame)の考え方を導入する。
[0138]
 アクセスユニットは、復号時にデータにアクセスするため基本単位であり、1つ以上のデータ及び1つ以上のメタデータで構成される。例えば、アクセスユニットは、同一時刻の位置情報と1又は複数の属性情報とで構成される。GOFは、ランダムアクセス単位であり、1つ以上のアクセスユニットで構成される。
[0139]
 符号化部4801は、アクセスユニットの先頭を示す識別情報として、アクセスユニットヘッダ(AU Header)を生成する。符号化部4801は、アクセスユニットヘッダに、アクセスユニットに係るパラメータを格納する。例えば、アクセスユニットヘッダは、アクセスユニットに含まれる符号化データの構成又は情報を含む。また、アクセスユニットヘッダは、アクセスユニットに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
[0140]
 なお、符号化部4801は、アクセスユニットヘッダの代わりに、アクセスユニットに係るパラメータを含まないアクセスユニットデリミタを生成してもよい。このアクセスユニットデリミタは、アクセスユニットの先頭を示す識別情報として用いられる。復号装置は、アクセスユニットヘッダ又はアクセスユニットデリミタを検出することにより、アクセスユニットの先頭を識別する。
[0141]
 次に、GOF先頭の識別情報の生成について説明する。符号化部4801は、GOFの先頭を示す識別情報として、GOFヘッダ(GOF Header)を生成する。符号化部4801は、GOFヘッダに、GOFに係るパラメータを格納する。例えば、GOFヘッダは、GOFに含まれる符号化データの構成又は情報を含む。また、GOFヘッダは、GOFに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
[0142]
 なお、符号化部4801は、GOFヘッダの代わりに、GOFに係るパラメータを含まないGOFデリミタを生成してもよい。このGOFデリミタは、GOFの先頭を示す識別情報として用いられる。復号装置は、GOFヘッダ又はGOFデリミタを検出することにより、GOFの先頭を識別する。
[0143]
 PCC符号化データにおいて、例えば、アクセスユニットはPCCフレーム単位であると定義される。復号装置は、アクセスユニット先頭の識別情報に基づき、PCCフレームにアクセスする。
[0144]
 また、例えば、GOFは1つのランダムアクセス単位であると定義される。復号装置は、GOF先頭の識別情報に基づき、ランダムアクセス単位にアクセスする。例えば、PCCフレームが互いに依存関係がなく、単独で復号可能であれば、PCCフレームをランダムアクセス単位と定義してもよい。
[0145]
 なお、1つのアクセスユニットに2つ以上のPCCフレームが割り当てられてもよいし、1つのGOFに複数のランダムアクセス単位が割り当てられてもよい。
[0146]
 また、符号化部4801は、上記以外のパラメータセット又はメタデータを定義し、生成してもよい。例えば、符号化部4801は、復号時に必ずしも用いない可能性のあるパラメータ(オプションのパラメータ)を格納するSEI(Supplemental Enhancement Information)を生成してもよい。
[0147]
 次に、符号化データの構成、及び符号化データのNALユニットへの格納方法を説明する。
[0148]
 例えば、符号化データの種類毎にデータフォーマットが規定される。図18は、符号化データ及びNALユニットの例を示す図である。
[0149]
 例えば、図18に示すように符号化データは、ヘッダとペイロードとを含む。なお、符号化データは、符号化データ、ヘッダ又はペイロードの長さ(データ量)を示す長さ情報を含んでもよい。また、符号化データは、ヘッダを含まなくてもよい。
[0150]
 ヘッダは、例えば、データを特定するための識別情報を含む。この識別情報は、例えば、データ種別又はフレーム番号を示す。
[0151]
 ヘッダは、例えば、参照関係を示す識別情報を含む。この識別情報は、例えば、データ間に依存関係がある場合にヘッダに格納され、参照元から参照先を参照するための情報である。例えば、参照先のヘッダには、当該データを特定するための識別情報が含まれる。参照元のヘッダには、参照先を示す識別情報が含まれる。
[0152]
 なお、他の情報から参照先又は参照元を識別可能又は導出可能である場合は、データを特定するための識別情報、又は参照関係を示す識別情報を省略してもよい。
[0153]
 多重化部4802は、符号化データを、NALユニットのペイロードに格納する。NALユニットヘッダには、符号化データの識別情報であるpcc_nal_unit_typeが含まれる。図19は、pcc_nal_unit_typeのセマンティクスの例を示す図である。
[0154]
 図19に示すように、pcc_codec_typeがコーデック1(Codec1:第1の符号化方法)である場合、pcc_nal_unit_typeの値0~10は、コーデック1における、符号化位置データ(Geometry)、符号化属性Xデータ(AttributeX)、符号化属性Yデータ(AttributeY)、位置PS(Geom.PS)、属性XPS(AttrX.PS)、属性YPS(AttrX.PS)、位置SPS(Geometry Sequence PS)、属性XSPS(AttributeX Sequence PS)、属性YSPS(AttributeY Sequence PS)、AUヘッダ(AU Header)、GOFヘッダ(GOF Header)に割り当てられる。また、値11以降は、コーデック1の予備に割り当てられる。
[0155]
 pcc_codec_typeがコーデック2(Codec2:第2の符号化方法)である場合、pcc_nal_unit_typeの値0~2は、コーデックのデータA(DataA)、メタデータA(MetaDataA)、メタデータB(MetaDataB)に割り当てられる。また、値3以降は、コーデック2の予備に割り当てられる。
[0156]
 次に、データの送出順序について説明する。以下、NALユニットの送出順序の制約について説明する。
[0157]
 多重化部4802は、NALユニットをGOF又はAU単位でまとめて送出する。多重化部4802は、GOFの先頭にGOFヘッダを配置し、AUの先頭にAUヘッダを配置する。
[0158]
 パケットロスなどでデータが失われた場合でも、復号装置が次のAUから復号できるように、多重化部4802は、シーケンスパラメータセット(SPS)を、AU毎に配置してもよい。
[0159]
 符号化データに復号に係る依存関係がある場合には、復号装置は、参照先のデータを復号した後に、参照元のデータを復号する。復号装置において、データを並び替ることなく、受信した順番に復号できるようにするために、多重化部4802は、参照先のデータを先に送出する。
[0160]
 図20は、NALユニットの送出順の例を示す図である。図20は、位置情報優先と、パラメータ優先と、データ統合との3つの例を示す。
[0161]
 位置情報優先の送出順序は、位置情報に関する情報と、属性情報に関する情報との各々をまとめて送出する例である。この送出順序の場合、位置情報に関する情報の送出が属性情報に関する情報の送出よりも早く完了する。
[0162]
 例えば、この送出順序を用いることで、属性情報を復号しない復号装置は、属性情報の復号を無視することで、処理しない時間を設けることができる可能性がある。また、例えば、位置情報を早く復号したい復号装置の場合、位置情報の符号化データを早く得ることにより、より早く位置情報を復号することができる可能性がある。
[0163]
 なお、図20では、属性XSPSと属性YSPSを統合し、属性SPSと記載しているが、属性XSPSと属性YSPSとを個別に配置してもよい。
[0164]
 パラメータセット優先の送出順序では、パラメータセットが先に送出され、データが後で送出される。
[0165]
 以上のようにNALユニット送出順序の制約に従えば、多重化部4802は、NALユニットをどのような順序で送出してもよい。例えば、順序識別情報が定義され、多重化部4802は、複数パターンの順序でNALユニットを送出する機能を有してもよい。例えばストリームPSにNALユニットの順序識別情報が格納される。
[0166]
 三次元データ復号装置は、順序識別情報に基づき復号を行ってもよい。三次元データ復号装置から三次元データ符号化装置に所望の送出順序が指示され、三次元データ符号化装置(多重化部4802)は、指示された送出順序に従って送出順序を制御してもよい。
[0167]
 なお、多重化部4802は、データ統合の送出順序のように、送出順序の制約に従う範囲であれば、複数の機能をマージした符号化データを生成してもよい。例えば、図20に示すように、GOFヘッダとAUヘッダとを統合してもよいし、AXPSとAYPSとを統合してもよい。この場合、pcc_nal_unit_typeには、複数の機能を有するデータであることを示す識別子が定義される。
[0168]
 以下、本実施の形態の変形例について説明する。フレームレベルのPS、シーケンスレベルのPS、PCCシーケンスレベルのPSのように、PSにはレベルがあり、PCCシーケンスレベルを上位のレベルとし、フレームレベルを下位のレベルとすると、パラメータの格納方法には下記の方法を用いてもよい。
[0169]
 デフォルトのPSの値をより上位のPSで示す。また、下位のPSの値が上位のPSの値と異なる場合には、下位のPSでPSの値が示される。または、上位ではPSの値を記載せず、下位のPSにPSの値を記載する。または、PSの値を、下位のPSで示すか、上位のPSで示すか、両方で示すかの情報を、下位のPSと上位のPSのいずれか一方又は両方に示す。または、下位のPSを上位のPSにマージしてもよい。または、下位のPSと上位のPSとが重複する場合には、多重化部4802は、いずれか一方の送出を省略してもよい。
[0170]
 なお、符号化部4801又は多重化部4802は、データをスライス又はタイルなどに分割し、分割したデータを送出してもよい。分割したデータには、分割したデータを識別するための情報が含まれ、分割データの復号に使用するパラメータがパラメータセットに含まれる。この場合、pcc_nal_unit_typeには、タイル又はスライスに係るデータ又はパラメータを格納するデータであることを示す識別子が定義される。
[0171]
 (実施の形態4)
 HEVC符号化では復号装置における並列処理を可能とするために、スライス又はタイルといったデータ分割のツールがあるが、PCC(Point Cloud Compression)符号化ではまだない。
[0172]
 PCCでは、並列処理、圧縮効率、及び圧縮アルゴリズムによって、様々なデータ分割方法が考えられる。ここでは、スライス及びタイルの定義、データ構造及び送受信方法について説明する。
[0173]
 図21は、本実施の形態に係る三次元データ符号化装置に含まれる第1の符号化部4910の構成を示すブロック図である。第1の符号化部4910は、点群データを第1の符号化方法(GPCC(Geometry based PCC))で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部4910は、分割部4911と、複数の位置情報符号化部4912と、複数の属性情報符号化部4913と、付加情報符号化部4914と、多重化部4915とを含む。
[0174]
 分割部4911は、点群データを分割することで複数の分割データを生成する。具体的には、分割部4911は、点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報、及び付加情報を含む。分割部4911は、位置情報を複数の分割位置情報に分割し、属性情報を複数の分割属性情報に分割する。また、分割部4911は、分割に関する付加情報を生成する。
[0175]
 複数の位置情報符号化部4912は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、複数の位置情報符号化部4912は、複数の分割位置情報を並列処理する。
[0176]
 複数の属性情報符号化部4913は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部4913は、複数の分割属性情報を並列処理する。
[0177]
 付加情報符号化部4914は、点群データに含まれる付加情報と、分割部4911で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。
[0178]
 多重化部4915は、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ(符号化ストリーム)を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。
[0179]
 なお、図21では、位置情報符号化部4912及び属性情報符号化部4913の数がそれぞれ2つの例を示しているが、位置情報符号化部4912及び属性情報符号化部4913の数は、それぞれ1つであってもよいし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよいし、複数チップの複数コアで並列処理されてもよい。
[0180]
 図22は、第1の復号部4920の構成を示すブロック図である。第1の復号部4920は、点群データが第1の符号化方法(GPCC)で符号化されることで生成された符号化データ(符号化ストリーム)を復号することで点群データを復元する。この第1の復号部4920は、逆多重化部4921と、複数の位置情報復号部4922と、複数の属性情報復号部4923と、付加情報復号部4924と、結合部4925とを含む。
[0181]
 逆多重化部4921は、符号化データ(符号化ストリーム)を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。
[0182]
 複数の位置情報復号部4922は、複数の符号化位置情報を復号することで複数の分割位置情報を生成する。例えば、複数の位置情報復号部4922は、複数の符号化位置情報を並列処理する。
[0183]
 複数の属性情報復号部4923は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部4923は、複数の符号化属性情報を並列処理する。
[0184]
 複数の付加情報復号部4924は、符号化付加情報を復号することで付加情報を生成する。
[0185]
 結合部4925は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部4925は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。
[0186]
 なお、図22では、位置情報復号部4922及び属性情報復号部4923の数がそれぞれ2つの例を示しているが、位置情報復号部4922及び属性情報復号部4923の数は、それぞれ1つであってもよし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよい、複数チップの複数コアで並列処理されてもよい。
[0187]
 次に、分割部4911の構成を説明する。図23は、分割部4911のブロック図である。分割部4911は、スライス分割部4931(Slice Divider)と、位置情報タイル分割部4932(Geometry Tile Divider)と、属性情報タイル分割部4933(Attribute Tile Divider)とを含む。
[0188]
 スライス分割部4931は、位置情報(Position(Geometry))をスライスに分割することで複数のスライス位置情報を生成する。また、スライス分割部4931は、属性情報(Attribute)をスライスに分割することで複数のスライス属性情報を生成する。また、スライス分割部4931は、スライス分割に係る情報、及びスライス分割において生成された情報を含むスライス付加情報(Slice MetaData)を出力する。
[0189]
 位置情報タイル分割部4932は、複数のスライス位置情報をタイルに分割することで複数の分割位置情報(複数のタイル位置情報)を生成する。また、位置情報タイル分割部4932は、位置情報のタイル分割に係る情報、及び位置情報のタイル分割において生成された情報を含む位置タイル付加情報(Geometry Tile MetaData)を出力する。
[0190]
 属性情報タイル分割部4933は、複数のスライス属性情報をタイルに分割することで複数の分割属性情報(複数のタイル属性情報)を生成する。また、属性情報タイル分割部4933は、属性情報のタイル分割に係る情報、及び属性情報のタイル分割において生成された情報を含む属性タイル付加情報(Attribute Tile MetaData)を出力する。
[0191]
 なお、分割されるスライス又はタイルの数は1以上である。つまり、スライス又はタイルの分割を行わなくてもよい。
[0192]
 また、ここでは、スライス分割後にタイル分割が行われる例を示したが、タイル分割後にスライス分割が行われてもよい。また、スライス及びタイルに加え新たな分割種別を定義し、3つ以上の分割種別で分割が行われてもよい。
[0193]
 以下、点群データの分割方法について説明する。図24は、スライス及びタイル分割の例を示す図である。
[0194]
 まず、スライス分割の方法について説明する。分割部4911は、三次元点群データを、スライス単位で、任意の点群に分割する。分割部4911は、スライス分割において、点を構成する位置情報と属性情報とを分割せず、位置情報と属性情報とを一括で分割する。すなわち、分割部4911は、任意の点における位置情報と属性情報とが同じスライスに属するようにスライス分割を行う。なお、これらに従えば、分割数、及び分割方法はどのような方法でもよい。また、分割の最小単位は点である。例えば、位置情報と属性情報との分割数は同一である。例えば、スライス分割後の位置情報に対応する三次元点と、属性情報に対応する三次元点とは同一のスライスに含まれる。
[0195]
 また、分割部4911は、スライス分割時に分割数及び分割方法に係る付加情報であるスライス付加情報を生成する。スライス付加情報は、位置情報と属性情報とで同一である。例えば、スライス付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、スライス付加情報は、分割数、及び分割タイプなどを示す情報を含む。
[0196]
 次に、タイル分割の方法について説明する。分割部4911は、スライス分割されたデータを、スライス位置情報(Gスライス)とスライス属性情報(Aスライス)とに分割し、スライス位置情報とスライス属性情報をそれぞれタイル単位に分割する。
[0197]
 なお、図24では8分木構造で分割する例を示しているが、分割数及び分割方法はどのような方法でもよい。
[0198]
 また、分割部4911は、位置情報と属性情報とを異なる分割方法で分割してもよいし、同一の分割方法で分割してもよい。また、分割部4911は、複数のスライスを異なる分割方法でタイルに分割してもよいし、同一の分割方法でタイルに分割してもよい。
[0199]
 また、分割部4911は、タイル分割時に分割数及び分割方法に係るタイル付加情報を生成する。タイル付加情報(位置タイル付加情報及び属性タイル付加情報)は、位置情報と属性情報とで独立している。例えば、タイル付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、タイル付加情報は、分割数、及び分割タイプなど示す情報を含む。
[0200]
 次に、点群データをスライス又はタイルに分割する方法の例を説明する。分割部4911は、スライス又はタイル分割の方法として、予め定められた方法を用いてもよいし、点群データに応じて使用する方法を適応的に切り替えてもよい。
[0201]
 スライス分割時には、分割部4911は、位置情報と属性情報とに対して一括で三次元空間を分割する。例えば、分割部4911は、オブジェクトの形状を判定し、オブジェクトの形状に応じて三次元空間をスライスに分割する。例えば、分割部4911は、木又は建物などのオブジェクトを抽出し、オブジェクト単位で分割を行う。例えば、分割部4911は、1又は複数のオブジェクトの全体が1つのスライスに含まれるようにスライス分割を行う。または、分割部4911は、一つのオブジェクトを複数のスライスに分割する。
[0202]
 この場合、符号化装置は、例えば、スライス毎に符号化方法を変えてもよい。例えば、符号化装置は、特定のオブジェクト、又はオブジェクトの特定の一部に対して、高品質な圧縮方法を用いてもよい。この場合、符号化装置は、スライス毎の符号化方法を示す情報を付加情報(メタデータ)に格納してもよい。
[0203]
 また、分割部4911は、地図情報又は位置情報に基づき、各スライスが予め定められた座標空間に対応するようにスライス分割を行ってもよい。
[0204]
 タイル分割時には、分割部4911は、位置情報と属性情報とを独立に分割する。例えば、分割部4911は、データ量又は処理量に応じてスライスをタイルに分割する。例えば、分割部4911は、スライスのデータ量(例えばスライスに含まれる三次元点の数)が予め定められた閾値より多いかを判定する。分割部4911は、スライスのデータ量が閾値より多い場合にはスライスをタイルに分割する。分割部4911は、スライスのデータ量が閾値より少ないときにはスライスをタイルに分割しない。
[0205]
 例えば、分割部4911は、復号装置での処理量又は処理時間が一定の範囲(予め定められた値以下)となるよう、スライスをタイルに分割する。これにより、復号装置におけるタイル当たりの処理量が一定となり、復号装置における分散処理が容易となる。
[0206]
 また、分割部4911は、位置情報と属性情報とで処理量が異なる場合、例えば、位置情報の処理量が属性情報の処理量より多い場合、位置情報の分割数を、属性情報の分割数より多くする。
[0207]
 また、例えば、コンテンツによって、復号装置で、位置情報を早く復号して表示し、属性情報を後でゆっくり復号して表示してもよい場合に、分割部4911は、位置情報の分割数を、属性情報の分割数より多くしてもよい。これにより、復号装置は、位置情報の並列数を多くできるので、位置情報の処理を属性情報の処理より高速化できる。
[0208]
 なお、復号装置は、スライス化又はタイル化されているデータを必ずしも並列処理する必要はなく、復号処理部の数又は能力に応じて、これらを並列処理するかどうかを判定してもよい。
[0209]
 以上のような方法で分割することにより、コンテンツ又はオブジェクトに応じた、適応的な符号化を実現できる。また、復号処理における並列処理を実現できる。これにより、点群符号化システム又は点群復号システムの柔軟性が向上する。
[0210]
 図25は、スライス及びタイルの分割のパターンの例を示す図である。図中のDUはデータ単位(DataUnit)であり、タイル又はスライスのデータを示す。また、各DUは、スライスインデックス(SliceIndex)とタイルインデックス(TileIndex)を含む。図中のDUの右上の数値がスライスインデックスを示し、DUの左下の数値がタイルインデックスを示す。
[0211]
 パターン1では、スライス分割において、GスライスとAスライスとで分割数及び分割方法は同じである。タイル分割において、Gスライスに対する分割数及び分割方法とAスライスに対する分割数及び分割方法とは異なる。また、複数のGスライス間では同一の分割数及び分割方法が用いられる。複数のAスライス間では同一の分割数及び分割方法が用いられる。
[0212]
 パターン2では、スライス分割において、GスライスとAスライスとで分割数及び分割方法は同じである。タイル分割において、Gスライスに対する分割数及び分割方法とAスライスに対する分割数及び分割方法とは異なる。また、複数のGスライス間で分割数及び分割方法が異なる。複数のAスライス間で分割数及び分割方法が異なる。
[0213]
 次に、分割データの符号化方法について説明する。三次元データ符号化装置(第1の符号化部4910)は、分割されたデータを、それぞれ符号化する。三次元データ符号化装置は、属性情報を符号化する際に、どの構成情報(位置情報、付加情報又は他の属性情報)に基づき符号化を行ったかを示す依存関係情報を付加情報として生成する。つまり、依存関係情報は、例えば、参照先(依存先)の構成情報を示す。この場合、三次元データ符号化装置は、属性情報の分割形状に対応する構成情報に基づき依存関係情報を生成する。なお、三次元データ符号化装置は、複数の分割形状に対応する構成情報に基づき依存関係情報を生成してもよい。
[0214]
 依存関係情報は三次元データ符号化装置で生成され、生成された依存関係情報が三次元データ復号装置に送出されてもよい。または、三次元データ復号装置が依存関係情報を生成し、三次元データ符号化装置は依存関係情報を送出しなくてもよい。また、三次元データ符号化装置が使用する依存関係を、予め定めておき、三次元データ符号化装置は、依存関係情報を送出しなくてもよい。
[0215]
 図26は、各データの依存関係の一例を示す図である。図中の矢印の先は依存先を示し、矢印の元は依存元を示している。三次元データ復号装置は、依存先から依存元の順でデータを復号する。また、図中に実線で示すデータは実際に送出されるデータであり、点線で示すデータは送出されないデータである。
[0216]
 また、同図において、Gは位置情報を示し、Aは属性情報を示す。G s1は、スライス番号1の位置情報を示し、G s2は、スライス番号2の位置情報を示す。G s1t1は、スライス番号1かつタイル番号1の位置情報を示し、G s1t2は、スライス番号1かつタイル番号2の位置情報を示し、G s2t1は、スライス番号2かつタイル番号1の位置情報を示し、G s2t2は、スライス番号2かつタイル番号2の位置情報を示す。同様に、A s1は、スライス番号1の属性情報を示し、A s2は、スライス番号2の属性情報を示す。A s1t1は、スライス番号1かつタイル番号1の属性情報を示し、A s1t2は、スライス番号1かつタイル番号2の属性情報を示し、A s2t1は、スライス番号2かつタイル番号1の属性情報を示し、A s2t2は、スライス番号2かつタイル番号2の属性情報を示す。
[0217]
 Msliceは、スライス付加情報を示し、MGtileは、位置タイル付加情報を示し、MAtileは、属性タイル付加情報を示す。D s1t1は属性情報A s1t1の依存関係情報を示し、D s2t1は属性情報A s2t1の依存関係情報を示す。
[0218]
 また、三次元データ符号化装置は、三次元データ復号装置においてデータを並び替える必要がないように、データを復号順に並び替えてもよい。なお、三次元データ復号装置においてデータを並び替えてもよいし、三次元データ符号化装置と三次元データ復号装置との両方でデータを並び替えてもよい。
[0219]
 図27は、データの復号順の例を示す図である。図27の例では、左のデータから順に復号が行われる。三次元データ復号装置は、依存関係にあるデータ間では、依存先のデータから先に復号する。例えば、三次元データ符号化装置は、この順序となるようにデータを予め並び替えて送出する。なお、依存先のデータが先になる順序であれば、どのような順序でもよい。また、三次元データ符号化装置は、付加情報及び依存関係情報をデータより先に送出してもよい。
[0220]
 図28は、三次元データ符号装置による処理の流れを示すフローチャートである。まず、三次元データ符号化装置は、上記のように複数のスライス又はタイルのデータを符号化する(S4901)。次に、三次元データ符号化装置は、図27に示すように、依存先のデータが先になるようにデータを並び替える(S4902)。次に、三次元データ符号化装置は、並び替え後のデータを多重化(NALユニット化)する(S4903)。
[0221]
 次に、第1の復号部4920に含まれる結合部4925の構成を説明する。図29は、結合部4925の構成を示すブロック図である。結合部4925は、位置情報タイル結合部4941(Geometry Tile Combiner)と、属性情報タイル結合部4942(Attribute Tile Combiner)と、スライス結合部(Slice Combiner)とを含む。
[0222]
 位置情報タイル結合部4941は、位置タイル付加情報を用いて複数の分割位置情報を結合することで複数のスライス位置情報を生成する。属性情報タイル結合部4942は、属性タイル付加情報を用いて複数の分割属性情報を結合することで複数のスライス属性情報を生成する。
[0223]
 スライス結合部4943は、スライス付加情報を用いて複数のスライス位置情報を結合することで位置情報を生成する。また、スライス結合部4943は、スライス付加情報を用いて複数のスライス属性情報を結合することで属性情報を生成する。
[0224]
 なお、分割されるスライス又はタイルの数は1以上である。つまり、スライス又はタイルの分割が行われていなくてもよい。
[0225]
 また、ここでは、スライス分割後にタイル分割が行われる例を示したが、タイル分割後にスライス分割が行われてもよい。また、スライス及びタイルに加え新たな分割種別を定義し、3つ以上の分割種別で分割が行われてもよい。
[0226]
 次に、スライス分割又はタイル分割された符号化データの構成、及び符号化データのNALユニットへの格納方法(多重化方法)を説明する。図30は、符号化データの構成及び符号化データのNALユニットへの格納方法を示す図である。
[0227]
 符号化データ(分割位置情報及び分割属性情報)は、NALユニットのペイロードに格納される。
[0228]
 符号化データは、ヘッダとペイロードとを含む。ヘッダは、ペイロードに含まれるデータを特定するための識別情報を含む。この識別情報は、例えば、スライス分割或いはタイル分割の種別(slice_type、tile_type)、スライス或いはタイルを特定するためのインデックス情報(slice_idx、tile_idx)、データ(スライス或いはタイル)の位置情報、又はデータのアドレス(address)などを含む。スライスを特定するためのインデックス情報は、スライスインデックス(SliceIndex)とも記す。タイルを特定するためのインデックス情報は、タイルインデックス(TileIndex)とも記す。また、分割の種別とは、例えば、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。
[0229]
 なお、上記の情報の全て又は一部は、分割位置情報のヘッダ及び分割属性情報のヘッダの一方に格納され、他方に格納されてなくてもよい。例えば、位置情報と属性情報とで同一の分割方法が用いられる場合には、位置情報と属性情報とで分割の種別(slice_type、tile_type)及びインデックス情報(slice_idx、tile_idx)は同一である。よって、位置情報と属性情報の一方のヘッダにこれらの情報が含まれてもよい。例えば、位置情報に属性情報が依存する場合には、位置情報が先に処理される。よって、位置情報のヘッダにこれらの情報が含まれ、属性情報のヘッダにはこれらの情報が含まれなくてもよい。この場合、三次元データ復号装置は、例えば、依存先の位置情報のスライス又はタイルと同一のスライス又はタイルに依存元の属性情報が属すると判断する。
[0230]
 また、スライス分割又はタイル分割に係る付加情報(スライス付加情報、位置タイル付加情報又は属性タイル付加情報)、及び依存関係を示す依存関係情報等は、既存のパラメータセット(GPS、APS、位置SPS又は属性SPSなど)に格納されて送出されてもよい。分割方法がフレーム毎に変化する場合は、フレーム毎のパラメータセット(GPS又はAPS等)に分割方法を示す情報が格納されてもよい。シーケンス内で分割方法が変化しない場合は、シーケンス毎のパラメータセット(位置SPS又は属性SPS)に分割方法を示す情報が格納されてもよい。さらに、位置情報と属性情報とで同じ分割方法が用いられる場合は、PCCストリームのパラメータセット(ストリームPS)に分割方法を示す情報が格納されてもよい。
[0231]
 また、上記の情報は、上記のいずれかのパラメータセットに格納されてもよいし、複数のパラメータセットに格納されてもよい。また、タイル分割又はスライス分割用のパラメータセットを定義し、当該パラメータセットに上記の情報を格納してもよい。また、これらの情報は、符号化データのヘッダに格納されてもよい。
[0232]
 また、符号化データのヘッダは、依存関係を示す識別情報を含む。つまり、当該ヘッダは、データ間に依存関係がある場合は、依存元から依存先を参照するための識別情報を含む。例えば、依存先のデータのヘッダには、当該データを特定するための識別情報が含まれる。依存元のデータのヘッダには、依存先を示す識別情報が含まれる。なお、データを特定するための識別情報、スライス分割又はタイル分割に係る付加情報、及び依存関係を示す識別情報を、他の情報から識別可能又は導出可能である場合は、これらの情報を省略してもよい。
[0233]
 次に、本実施の形態に係る点群データの符号化処理及び復号処理の流れについて説明する。図31は、本実施の形態に係る点群データの符号化処理のフローチャートである。
[0234]
 まず、三次元データ符号化装置は、使用する分割方法を決定する(S4911)。この分割方法は、スライス分割を行うか否か、タイル分割を行うか否かを含む。また、分割方法は、スライス分割又はタイル分割を行う場合の分割数、及び、分割の種別等を含んでもよい。分割の種別とは、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。なお、分割方法は、予め定められていてもよい。
[0235]
 スライス分割が行われる場合(S4912でYes)、三次元データ符号化装置は、位置情報と属性情報とを一括で分割することで複数のスライス位置情報及び複数のスライス属性情報を生成する(S4913)。また、三次元データ符号化装置は、スライス分割に係るスライス付加情報を生成する。なお、三次元データ符号化装置は、位置情報と属性情報とを独立に分割してもよい。
[0236]
 タイル分割が行われる場合(S4914でYes)、三次元データ符号化装置は、複数のスライス位置情報及び複数のスライス属性情報(又は位置情報及び属性情報)を独立に分割することで複数の分割位置情報及び複数の分割属性情報を生成する(S4915)。また、三次元データ符号化装置は、タイル分割に係る位置タイル付加情報及び属性タイル付加情報を生成する。なお、三次元データ符号化装置は、スライス位置情報とスライス属性情報とを一括で分割してもよい。
[0237]
 次に、三次元データ符号化装置は、複数の分割位置情報及び複数の分割属性情報の各々を符号化することで、複数の符号化位置情報及び複数の符号化属性情報を生成する(S4916)。また、三次元データ符号化装置は、依存関係情報を生成する。
[0238]
 次に、三次元データ符号化装置は、複数の符号化位置情報、複数の符号化属性情報及び付加情報をNALユニット化(多重化)することで符号化データ(符号化ストリーム)を生成する(S4917)。また、三次元データ符号化装置は、生成した符号化データを送出する。
[0239]
 図32は、本実施の形態に係る点群データの復号処理のフローチャートである。まず、三次元データ復号装置は、符号化データ(符号化ストリーム)に含まれる、分割方法に係る付加情報(スライス付加情報、位置タイル付加情報及び属性タイル付加情報)を解析することで、分割方法を判定する(S4921)。この分割方法は、スライス分割を行うか否か、タイル分割を行うか否かを含む。また、分割方法は、スライス分割又はタイル分割を行う場合の分割数、及び、分割の種別等を含んでもよい。
[0240]
 次に、三次元データ復号装置は、符号化データに含まれる複数の符号化位置情報及び複数の符号化属性情報を、符号化データに含まれる依存関係情報を用いて復号することで分割位置情報及び分割属性情報を生成する(S4922)。
[0241]
 付加情報によりタイル分割が行われていることが示される場合(S4923でYes)、三次元データ復号装置は、位置タイル付加情報及び属性タイル付加情報に基づき、複数の分割位置情報と、複数の分割属性情報とを、それぞれの方法で結合することで、複数のスライス位置情報及び複数のスライス属性情報を生成する(S4924)。なお、三次元データ復号装置は、複数の分割位置情報と、複数の分割属性情報とを同一の方法で結合してもよい。
[0242]
 付加情報によりスライス分割が行われていることが示される場合(S4925でYes)、三次元データ復号装置は、スライス付加情報に基づき、複数のスライス位置情報及び複数のスライス属性情報(複数の分割位置情報及び複数の分割属性情報)を同一の方法で結合することで位置情報及び属性情報を生成する(S4926)。なお、三次元データ復号装置は、複数のスライス位置情報と複数のスライス属性情報とを、それぞれ異なる方法で結合してもよい。
[0243]
 以上のように、本実施の形態に係る三次元データ符号化装置は、図33に示す処理を行う。まず、三次元データ符号化装置は、複数の三次元点が含まれる対象空間が分割された複数のサブ空間(例えばスライス)に含まれ、各々が1以上の三次元点を含む複数の分割データ(例えばタイル)に分割する。ここで、分割データは、サブ空間に含まれ、1以上の三次元点を含む1以上のデータ集合体である。また、分割データは空間でもあり、三次元点を含まない空間を含んでいてもよい。また、1つのサブ空間に複数の分割データが含まれてもよいし、1つのサブ空間に1つの分割データが含まれてもよい。なお、対象空間に複数のサブ空間が設定されてもよいし、対象空間に1つのサブ空間が設定されてもよい。
[0244]
 次に、三次元データ符号化装置は、複数の分割データの各々を符号化することで、複数の分割データの各々に対応する複数の符号化データを生成する(S4931)。三次元データ符号化装置は、複数の符号化データと、複数の符号化データの各々に対する複数の制御情報(例えば図30に示すヘッダ)とを含むビットストリームを生成する(S4932)。複数の制御情報の各々には、当該制御情報に対応する符号化データに対応するサブ空間を示す第1識別子(例えばslice_idx)と、当該制御情報に対応する符号化データに対応する分割データを示す第2識別子(例えばtile_idx)とが格納される。
[0245]
 これによれば、三次元データ符号化装置で生成されたビットストリームを復号する三次元データ復号装置は、第1識別子及び第2識別子を用いて、複数の分割データのデータを結合して対象空間を容易に復元できる。よって、三次元データ復号装置における処理量を低減できる。
[0246]
 例えば、三次元データ符号化装置は、前記符号化では、複数の分割データの各々に含まれる三次元点の位置情報と属性情報とを符号化する。複数の符号化データの各々は、位置情報の符号化データと、属性情報の符号化データとを含む。複数の制御情報の各々は、位置情報の符号化データの制御情報と、属性情報の符号化データの制御情報とを含む。第1識別子及び第2識別子は、位置情報の符号化データの制御情報に格納される。
[0247]
 例えば、ビットストリームにおいて、複数の制御情報の各々は、当該制御情報に対応する符号化データの前に配置されている。
[0248]
 また、三次元データ符号化装置は、複数の三次元点が含まれる対象空間が1以上のサブ空間に設定され、前記サブ空間に1以上の三次元点を含む1以上の分割データが含まれ、前記分割データの各々を符号化することで、前記複数の分割データの各々に対応する複数の符号化データを生成し、前記複数の符号化データと、前記複数の符号化データの各々に対する複数の制御情報とを含むビットストリームを生成し、前記複数の制御情報の各々には、当該制御情報に対応する符号化データに対応するサブ空間を示す第1識別子と、当該制御情報に対応する符号化データに対応する分割データを示す第2識別子とが格納されてもよい。
[0249]
 例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0250]
 また、本実施の形態に係る三次元データ復号装置は、図34に示す処理を行う。まず、三次元データ復号装置は、複数の三次元点が含まれる対象空間が分割された複数のサブ空間(例えばスライス)に含まれ、各々が1以上の三次元点を含む複数の分割データ(例えばタイル)の各々が符号化されることで生成された複数の符号化データと、複数の符号化データの各々に対する複数の制御情報(例えば図30に示すヘッダ)とを含むビットストリームから、前記複数の制御情報に格納されている、当該制御情報に対応する符号化データに対応するサブ空間を示す第1識別子(例えばslice_idx)と、当該制御情報に対応する符号化データに対応する分割データを示す第2識別子(例えばtile_idx)とを取得する(S4941)。次に、三次元データ復号装置は、複数の符号化データを復号することで複数の分割データを復元する(S4942)。次に、三次元データ復号装置は、第1識別子及び第2識別子を用いて、複数の分割データを結合することで対象空間を復元する(S4943)。例えば、三次元データ符号化装置は、第2識別子を用いて複数の分割データを結合することで複数のサブ空間を復元し、第1識別子を用いて複数のサブ空間を結合することで対象空間(複数の三次元点)を復元する。なお、三次元データ復号装置は、第1識別子及び第2識別子の少なくとも一方を用いて、所望のサブ空間又は分割データの符号化データをビットストリームから取得し、取得した符号化データを選択的に復号、又は優先的に復号してもよい。
[0251]
 これによれば、三次元データ復号装置は、第1識別子及び第2識別子を用いて、複数の分割データのデータを結合して対象空間を容易に復元できる。よって、三次元データ復号装置における処理量を低減できる。
[0252]
 例えば、複数の符号化データの各々は、対応する分割データに含まれる三次元点の位置情報と属性情報とが符号化されることで生成され、位置情報の符号化データと、属性情報の符号化データとを含む。複数の制御情報の各々は、位置情報の符号化データの制御情報と、属性情報の符号化データの制御情報とを含む。第1識別子及び第2識別子は、位置情報の符号化データの制御情報に格納されている。
[0253]
 例えば、ビットストリームにおいて、制御情報は、対応する符号化データの前に配置されている。
[0254]
 例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0255]
 (実施の形態5)
 隣接依存を用いた位置情報符号化では、点群の密度が高いほど符号化効率が向上する可能性がある。本実施の形態では、三次元データ符号化装置は、連続するフレームの点群データを結合することで、連続するフレームの点群データをまとめて符号化する。このとき、三次元データ符号化装置は、結合後の点群データに含まれるリーフノードの各々が属するフレームを識別するための情報を加えた符号化データを生成する。
[0256]
 ここで、連続するフレームの点群データは類似する可能性が高い。よって、連続するフレームで、オキュパンシー符号の上位レベルが同一になる可能性が高い。つまり、連続するフレームをまとめて符号化することで、オキュパンシー符号の上位レベルを共用できる。
[0257]
 また、点群がどのフレームに属するかの区別は、フレームのインデックスを符号化することにより、リーフノードで行われる。
[0258]
 図35は、N個のPCC(Point Cloud Compression)フレームの点群データからツリー構造及びオキュパンシー符号(Occupancy Code)を生成するイメージを示す図である。同図において、矢印中の点は、それぞれのPCCフレームに属する点を示している。初めに、それぞれのPCCフレームに属する点には、フレームを特定するためのフレームインデックスが付与される。
[0259]
 次に、N個のフレームに属する点をツリー構造に変換し、オキュパンシー符号が生成される。具体的には、点ごとに、点がツリー構造におけるどのリーフノードに属するかが判定される。同図では、木構造(Tree Structure)はノードの集合を示している。上位のノードから順番に、点がどのノードに属するかが判定される。ノードごとの判定結果がオキュパンシー符号として符号化される。オキュパンシー符号はN個のフレームで共通である。
[0260]
 ノードには、異なるフレームインデックスが付与された、異なるフレームの点が混在する場合がある。なお、8分木(Octree)の分解能が小さい場合は、同一のフレームインデックスが付与された同一フレームの点が混在することもある。
[0261]
 最下層のノード(リーフノード)には、複数のフレームに属する点が混在(重複)することがある。
[0262]
 ツリー構造及びオキュパンシー符号において、上位のレベルのツリー構造及びオキュパンシー符号は、全てのフレームにおいて共通成分である可能性があり、下位のレベルのツリー構造及びオキュパンシー符号はフレーム毎の個別成分、又は共通成分と個別成分とが混在する可能性がある。
[0263]
 例えば、リーフノードなどの最下層のノードには、フレームインデックスを持つ0以上の点が生成され、点の数を示す情報、及び各点に対するフレームインデックスの情報が生成される。これらの情報は、フレームにおいて個別の情報であるともいえる。
[0264]
 図36は、フレーム結合の例を示す図である。図36の(a)に示すように、複数フレームをまとめてツリー構造を生成することにより、同一のノードに含まれるフレームの点の密度が増える。また、ツリー構造を共有することによりオキュパンシー符号のデータ量を削減できる。これらにより、符号化率を向上できる可能性がある。
[0265]
 また、図36の(b)に示すように、ツリー構造におけるオキュパンシー符号の個別成分がより密になることにより、算術符号化の効果が高まるので、符号化率を向上できる可能性がある。
[0266]
 以降、時間的に異なる複数のPCCフレームの結合を例に説明するが、複数フレームでない場合、つまりフレームを結合しない場合(N=1)にも適用可能である。また、結合する複数の点群データは、複数フレーム、つまり、同一対象物の時刻の異なる点群データに限らない。つまり、以下の手法は、空間的、又は時空間的に異なる複数の点群データの結合にも適用可能である。また、以下の手法は、コンテンツの異なる点群データ又は点群ファイルの結合にも適用可能である。
[0267]
 図37は、時間的に異なる複数のPCCフレームの結合の例を示す図である。図37は、自動車が移動しながら、LiDARなどのセンサで点群データを取得する例を示す。点線は、フレーム毎のセンサの取得範囲、すなわち点群データの領域を示している。センサの取得範囲が大きい場合は、点群データの範囲も大きくなる。
[0268]
 点群データを結合して符号化する手法は、以下のような点群データに対して有効である。例えば、図37に示す例では、自動車は移動しており、フレームは自動車の周辺の360°のスキャンにより識別される。つまり、次のフレームであるフレーム2は、車両がX方向への移動した後の別の360°のスキャンに対応する。
[0269]
 この場合、フレーム1とフレーム2とには、重複する領域が存在するため同一の点群データが含まれる可能性がある。よって、フレーム1とフレーム2とを結合して符号化することで符号化効率を向上できる可能性がある。なお、より多くのフレームを結合することも考えられる。ただし、結合するフレーム数を増やすと、リーフノードに付加されるフレームインデックスの符号化に必要なビット数が増加する。
[0270]
 また、異なる位置のセンサによって点群データが取得されてもよい。それにより、それぞれの位置から取得されたそれぞれの点群データがそれぞれフレームとして用いられてもよい。つまり、複数のフレームは、単一のセンサで取得された点群データであってもよいし、複数のセンサで取得された点群データであってもよい。また、複数のフレーム間において、一部又は全ての対象物が同一であってもよいし、異なってもよい。
[0271]
 次に、本実施の形態に係る三次元データ符号化処理の流れを説明する。図38は、三次元データ符号化処理のフローチャートである。三次元データ符号化装置は、結合を行うフレームの数である結合フレーム数Nに基づき、N個全てのフレームの点群データを読み込む。
[0272]
 まず、三次元データ符号化装置は、結合フレーム数Nを決定する(S5401)。例えば、この結合フレーム数Nはユーザにより指定される。
[0273]
 次に、三次元データ符号化装置は、点群データを取得する(S5402)。次に、三次元データ符号化装置は、取得した点群データのフレームインデックスを記録する(S5403)。
[0274]
 N個のフレームを処理済みでない場合(S5404でNo)、三次元データ符号化装置は、次の点群データを指定し(S5405)、指定された点群データに対してステップS5402以降の処理を行う。
[0275]
 一方、N個のフレームを処理済みである場合(S5404でYes)、三次元データ符号化装置は、N個のフレームを結合し、結合後のフレームを符号化する(S5406)。
[0276]
 図39は、符号化処理(S5406)のフローチャートである。まず、三次元データ符号化装置は、N個のフレームに共通の共通情報を生成する(S5411)。例えば、共通情報は、オキュパンシー符号、及び結合フレーム数Nを示す情報を含む。
[0277]
 次に、三次元データ符号化装置は、フレーム毎に個別の情報である個別情報を生成する(S5412)。例えば、個別情報は、リーフノードに含まれる点の数、及びリーフノードに含まれる点のフレームインデックスを含む。
[0278]
 次に、三次元データ符号化装置は、共通情報と個別情報とを結合し、結合後の情報を符号化することで符号化データを生成する(S5413)。次に、三次元データ符号化装置は、フレーム結合に係る付加情報(メタデータ)を生成し、生成した付加情報を符号化する(S5414)。
[0279]
 次に、本実施の形態に係る三次元データ復号処理の流れを説明する。図40は、三次元データ復号処理のフローチャートである。
[0280]
 まず、三次元データ復号装置は、ビットストリームから結合フレーム数Nを取得する(S5421)。次に、三次元データ符号化装置は、ビットストリームから符号化データを取得する(S5422)。次に、三次元データ復号装置は、符号化データを復号することで点群データとフレームインデックスと取得する(S5423)。最後に、三次元データ復号装置は、復号された点群データをフレームインデックスを用いて分割する(S5424)。
[0281]
 図41は、復号及び分割処理(S5423及びS5424)のフローチャートである。まず、三次元データ復号装置は、符号化データ(ビットストリーム)から共通情報及び個別情報を復号(取得)する(S5431)。
[0282]
 次に、三次元データ復号装置は、単一のフレームを復号するか複数のフレームを復号するかを決定する(S5432)。例えば、単一のフレームを復号するか複数のフレームを復号するかは外部から指定されてもよい。ここで、複数のフレームとは、結合されたフレームの全てのフレームであってもよいし、一部のフレームであってもよい。例えば、三次元データ復号装置は、アプリケーションが必要とする特定のフレームを復号すると決定し、必要としないフレームを復号しないと決定してもよい。または、リアルタイムな復号が要求される場合には、三次元データ復号装置は、結合された複数フレームのうち単一のフレームを復号すると決定してもよい。
[0283]
 単一のフレームを復号する場合(S5432でYes)、三次元データ復号装置は、復号した個別情報から指定された単一のフレームインデックスに対応する個別情報を抽出し、抽出した個別情報を復号することで、指定されたフレームインデックスに対応するフレームの点群データを復元する(S5433)。
[0284]
 一方、複数フレームを復号する場合(S5432でNo)、三次元データ復号装置は、指定された複数のフレーム(又は全てのフレーム)のフレームインデックスに対応する個別情報を抽出し、抽出した個別情報を復号することで、指定された複数フレームの点群データを復元する(S5434)。次に、三次元データ復号装置は、フレームインデックスに基づき、復号した点群データ(個別情報)を分割する(S5435)。つまり、三次元データ復号装置は、復号した点群データを複数フレームに分割する。
[0285]
 なお、三次元データ復号装置は、結合された全てのフレームのデータを一括で復号し、復号したデータを各フレームに分割してもよいし、結合された全てのフレームのうち、任意の一部のフレームを一括で復号し、復号したデータを各フレームに分割してもよい。また、三次元データ復号装置は、複数フレームからなる予め定められた単位フレームを単独で復号してもよい。
[0286]
 以下、本実施の形態に係る三次元データ符号化装置の構成を説明する。図42は、本実施の形態に係る三次元データ符号化装置に含まれる符号化部5410の構成を示すブロック図である。符号化部5410は、点群データ(ポイントクラウド)を符号化することで符号化データ(符号化ストリーム)を生成する。この符号化部5410は、分割部5411と、複数の位置情報符号化部5412と、複数の属性情報符号化部5413と、付加情報符号化部5414と、多重化部5415とを含む。
[0287]
 分割部5411は、複数フレームの点群データを分割することで複数フレームの複数の分割データを生成する。具体的には、分割部5411は、各フレームの点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報(色又は反射率等)、及び付加情報を含む。また、分割部5411には、フレーム番号が入力される。分割部5411は、各フレームの位置情報を複数の分割位置情報に分割し、各フレームの属性情報を複数の分割属性情報に分割する。また、分割部5411は、分割に関する付加情報を生成する。
[0288]
 例えば、分割部5411は、まず、点群をタイルに分割する。次に、分割部5411は、得られたタイルを、さらにスライスに分割する。
[0289]
 複数の位置情報符号化部5412は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、位置情報符号化部5412は、8分木等のN分木構造を用いて分割位置情報を符号化する。具体的には、8分木では、対象空間が8個のノード(サブ空間)に分割され、各ノードに点群が含まれるか否かを示す8ビットの情報(オキュパンシー符号)が生成される。また、点群が含まれるノードは、さらに、8個のノードに分割され、当該8個のノードの各々に点群が含まれるか否かを示す8ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。例えば、複数の位置情報符号化部5412は、複数の分割位置情報を並列処理する。
[0290]
 属性情報符号化部4632は、位置情報符号化部4631で生成された構成情報を用いて符号化することで符号化データである符号化属性情報を生成する。例えば、属性情報符号化部4632は、位置情報符号化部4631で生成された8分木構造に基づき、処理対象の対象点(対象ノード)の符号化において参照する参照点(参照ノード)を決定する。例えば、属性情報符号化部4632は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
[0291]
 また、位置情報又は属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
[0292]
 複数の属性情報符号化部5413は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部5413は、複数の分割属性情報を並列処理する。
[0293]
 付加情報符号化部5414は、点群データに含まれる付加情報と、分割部5411で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。
[0294]
 多重化部5415は、複数フレームの、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ(符号化ストリーム)を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。
[0295]
 図43は、分割部5411のブロック図である。分割部5411は、タイル分割部5421と、スライス分割部5422とを含む。
[0296]
 タイル分割部5421は、複数フレームの位置情報(Position(Geometry))の各々をタイルに分割することで複数のタイル位置情報を生成する。また、タイル分割部5421は、複数フレームの属性情報(Attribute)の各々をタイルに分割することで複数のタイル属性情報を生成する。また、タイル分割部5421は、タイル分割に係る情報、及びタイル分割において生成された情報を含むタイル付加情報(Tile MetaData)を出力する。
[0297]
 スライス分割部5422は、複数のタイル位置情報をスライスに分割することで複数の分割位置情報(複数のスライス位置情報)を生成する。また、スライス分割部5422は、複数のタイル属性情報をスライスに分割することで複数の分割属性情報(複数のスライス属性情報)を生成する。また、スライス分割部5422は、スライス分割に係る情報、及びスライス分割において生成された情報を含むスライス付加情報(Slice MetaData)を出力する。
[0298]
 また、分割部5411は、分割処理において、原点座標及び属性情報等を示すために、フレーム番号(フレームインデックス)を用いる。
[0299]
 図44は、位置情報符号化部5412のブロック図である。位置情報符号化部5412は、フレームインデックス生成部5431と、エントロピー符号化部5432とを含む。
[0300]
 フレームインデックス生成部5431は、フレーム番号に基づきフレームインデックスの値を決定し、決定したフレームインデックスを位置情報に付加する。エントロピー符号化部5432は、フレームインデックスが付加された分割位置情報をエントロピー符号化することで符号化位置情報を生成する。
[0301]
 図45は、属性情報符号化部5413のブロック図である。属性情報符号化部5413は、フレームインデックス生成部5441と、エントロピー符号化部5442とを含む。
[0302]
 フレームインデックス生成部5441は、フレーム番号に基づきフレームインデックスの値を決定し、決定したフレームインデックスを属性情報に付加する。エントロピー符号化部5442は、フレームインデックスが付加された分割属性情報をエントロピー符号化することで符号化属性情報を生成する。
[0303]
 次に、本実施の形態に係る点群データの符号化処理及び復号処理の流れについて説明する。図46は、本実施の形態に係る点群データの符号化処理のフローチャートである。
[0304]
 まず、三次元データ符号化装置は、使用する分割方法を決定する(S5441)。この分割方法は、スライス分割を行うか否か、タイル分割を行うか否かを含む。また、分割方法は、スライス分割又はタイル分割を行う場合の分割数、及び、分割の種別等を含んでもよい。
[0305]
 タイル分割が行われる場合(S5442でYes)、三次元データ符号化装置は、位置情報と属性情報とを分割することで複数のタイル位置情報及び複数のタイル属性情報を生成する(S5443)。また、三次元データ符号化装置は、タイル分割に係るタイル付加情報を生成する。
[0306]
 スライス分割が行われる場合(S5444でYes)、三次元データ符号化装置は、複数のタイル位置情報及び複数のタイル属性情報(又は位置情報及び属性情報)を分割することで複数の分割位置情報及び複数の分割属性情報を生成する(S5445)。また、三次元データ符号化装置は、スライス分割に係るスライス付加情報を生成する。
[0307]
 次に、三次元データ符号化装置は、複数の分割位置情報及び複数の分割属性情報の各々をフレームインデックスと符号化することで、複数の符号化位置情報及び複数の符号化属性情報を生成する(S5446)。また、三次元データ符号化装置は、依存関係情報を生成する。
[0308]
 次に、三次元データ符号化装置は、複数の符号化位置情報、複数の符号化属性情報及び付加情報をNALユニット化(多重化)することで符号化データ(符号化ストリーム)を生成する(S5447)。また、三次元データ符号化装置は、生成した符号化データを送出する。
[0309]
 図47は、符号化処理(S5446)のフローチャートである。まず、三次元データ符号化装置は、分割位置情報を符号化する(S5451)。次に、三次元データ符号化装置は、分割位置情報用のフレームインデックスを符号化する(S5452)。
[0310]
 分割属性情報が存在する場合(S5453でYes)、三次元データ符号化装置は、分割属性情報を符号化し(S5454)、分割属性情報用のフレームインデックスを符号化する(S5455)。一方、分割属性情報が存在しない場合(S5453でNo)、三次元データ符号化装置は、分割属性情報の符号化、及び分割属性情報用のフレームインデックスの符号化を行わない。なお、フレームインデックスは分割位置情報と分割属性情報のいずれか一方または両方に格納されてもよい。
[0311]
 なお、三次元データ符号化装置は、属性情報を、フレームインデックスを用いて符号化してもよいし、フレームインデックスを用いずに符号化してもよい。つまり、三次元データ符号化装置は、フレームインデックスを用いて、それぞれの点が属するフレームを識別し、フレーム毎に符号化してもよいし、フレームを識別せずに、全てのフレームに属する点を符号化してもよい。
[0312]
 以下、本実施の形態に係る三次元データ復号装置の構成を説明する。図48は、復号部5450の構成を示すブロック図である。復号部5450は、点群データが符号化されることで生成された符号化データ(符号化ストリーム)を復号することで点群データを復元する。この復号部5450は、逆多重化部5451と、複数の位置情報復号部5452と、複数の属性情報復号部5453と、付加情報復号部5454と、結合部5455とを含む。
[0313]
 逆多重化部5451は、符号化データ(符号化ストリーム)を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。
[0314]
 複数の位置情報復号部5452は、複数の符号化位置情報を復号することで複数の分割位置情報を生成する。例えば、複数の位置情報復号部5452は、複数の符号化位置情報を並列処理する。
[0315]
 複数の属性情報復号部5453は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部5453は、複数の符号化属性情報を並列処理する。
[0316]
 複数の付加情報復号部5454は、符号化付加情報を復号することで付加情報を生成する。
[0317]
 結合部5455は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部5455は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。また、結合部5455は、フレームインデックスを用いて位置情報及び属性情報を複数フレームの位置情報及び複数フレームの属性情報に分割する。
[0318]
 図49は、位置情報復号部5452のブロック図である。位置情報復号部5452は、エントロピー復号部5461と、フレームインデックス取得部5462とを含む。エントロピー復号部5461は、符号化位置情報をエントロピー復号することで分割位置情報を生成する。フレームインデックス取得部5462は、分割位置情報からフレームインデックを取得する。
[0319]
 図50は、属性情報復号部5453のブロック図である。属性情報復号部5453は、エントロピー復号部5471と、フレームインデックス取得部5472とを含む。エントロピー復号部5471は、符号化属性情報をエントロピー復号することで分割属性情報を生成する。フレームインデックス取得部5472は、分割属性情報からフレームインデックを取得する。
[0320]
 図51は、結合部5455の構成を示す図である。結合部5455は、複数の分割位置情報を結合することで位置情報を生成する。結合部5455は、複数の分割属性情報を結合することで属性情報を生成する。また、結合部5455は、フレームインデックスを用いて位置情報及び属性情報を複数フレームの位置情報及び複数フレームの属性情報に分割する。
[0321]
 図52は、本実施の形態に係る点群データの復号処理のフローチャートである。まず、三次元データ復号装置は、符号化データ(符号化ストリーム)に含まれる、分割方法に係る付加情報(スライス付加情報、及びタイル付加情報)を解析することで、分割方法を判定する(S5461)。この分割方法は、スライス分割を行うか否か、タイル分割を行うか否かを含む。また、分割方法は、スライス分割又はタイル分割を行う場合の分割数、及び、分割の種別等を含んでもよい。
[0322]
 次に、三次元データ復号装置は、符号化データに含まれる複数の符号化位置情報及び複数の符号化属性情報を、符号化データに含まれる依存関係情報を用いて復号することで分割位置情報及び分割属性情報を生成する(S5462)。
[0323]
 付加情報によりスライス分割が行われていることが示される場合(S5463でYes)、三次元データ復号装置は、スライス付加情報に基づき、複数の分割位置情報を結合することで複数のタイル位置情報を生成し、複数の分割属性情報を結合することで複数のタイル属性情報を生成する(S5464)。ここで、複数の分割位置情報、複数の分割属性情報、複数のタイル位置情報、及び複数のタイル属性情報は、フレームインデックスを含む。
[0324]
 付加情報によりタイル分割が行われていることが示される場合(S5465でYes)、三次元データ復号装置は、タイル付加情報に基づき、複数のタイル位置情報(複数の分割位置情報)を結合することで位置情報を生成し、複数のタイル属性情報(複数の分割属性情報)を結合することで属性情報を生成する(S5466)。ここで、複数のタイル位置情報、複数のタイル属性情報、位置情報及び属性情報は、フレームインデックスを含む。
[0325]
 図53は、復号処理(S5464又はS5466)のフローチャートである。まず、三次元データ復号装置は、分割位置情報(スライス位置情報)を復号する(S5471)。次に、三次元データ復号装置は、分割位置情報用のフレームインデックスを復号する(S5472)。
[0326]
 分割属性情報が存在する場合(S5473でYes)、三次元データ復号装置は、分割属性情報を復号し(S5474)、分割属性情報用のフレームインデックスを復号する(S5475)。一方、分割属性情報が存在しない場合(S5473でNo)、三次元データ復号装置は、分割属性情報の復号、及び分割属性情報用のフレームインデックスの復号を行わない。
[0327]
 なお、三次元データ復号装置は、属性情報を、フレームインデックスを用いて復号してもよいし、フレームインデックスを用いずに復号してもよい。
[0328]
 以下、フレーム結合における符号化単位について説明する。図54は、フレームの結合パターンの例を示す図である。同図の例は、例えば、PCCフレームが時系列であり、リアルタイムにデータの生成及び符号化が行われる場合の例である。
[0329]
 図54の(a)は、固定的に4フレームを結合する場合を示している。三次元データ符号化装置は、4フレーム分のデータの生成を待ってから符号化データを生成する。
[0330]
 図54の(b)は、適応的にフレーム数が変化する場合を示している。例えば、三次元データ符号化装置は、レート制御において符号化データの符号量を調整するために結合フレーム数を変化させる。
[0331]
 なお、三次元データ符号化装置は、フレーム結合による効果がない可能性がある場合は、フレームを結合しなくてもよい。また、三次元データ符号化装置は、フレーム結合する場合とフレーム結合しない場合とを切り替えてもよい。
[0332]
 図54の(c)は、結合する複数のフレームの一部が次に結合する複数のフレームの一部と重複する場合の例である。この例は、符号化できたものから順次送出するなど、リアルタイム性、又は低遅延が要求される場合に有用である。
[0333]
 図55は、PCCフレームの構成例を示す図である。三次元データ符号化装置は、結合するフレームを、少なくとも単独で復号できるデータ単位を含むように構成してもよい。例えば、図55の(a)に示すように、PCCフレームが全てイントラ符号化されており、PCCフレームを単独で復号可能な場合には、上記のいずれのパターンも適用可能である。
[0334]
 また、図55の(b)に示すように、インター予測が適用されている場合などにおいてGOF(グループオブフレーム)などのランダムアクセス単位が設定される場合は、三次元データ符号化装置は、そのGOF単位を最小単位として、データを結合してもよい。
[0335]
 なお、三次元データ符号化装置は、共通情報と個別情報とを一括で符号化してもよいし、それぞれを別に符号化してもよい。また、三次元データ符号化装置は、共通情報と個別情報とに共通のデータ構造を用いてもよいし別のデータ構造を用いてもよい。
[0336]
 また、三次元データ符号化装置は、フレーム毎にオキュパンシー符号を生成した後に、複数フレームのオキュパンシー符号を比較し、例えば、所定の基準で複数フレームのオキュパンシー符号間で共通部分が多いか否かを判定し、共通部分が多い場合に共通情報を生成してもよい。あるいは、三次元データ符号化装置は、共通部分が多いか否に基づき、フレーム結合するかどうか、どのフレームを結合するか、又は結合フレーム数を決定してもよい。
[0337]
 次に、符号化位置情報の構成を説明する。図56は、符号化位置情報の構成を示す図である。符号化位置情報は、ヘッダとペイロードとを含む。
[0338]
 図57は、符号化位置情報のヘッダ(Geometry_header)のシンタックス例を示す図である。符号化位置情報のヘッダは、GPSインデックス(gps_idx)と、オフセット情報(offset)と、その他の情報(other_geometry_information)と、フレーム結合フラグ(combine_frame_flag)と、結合フレーム数(number_of_combine_frame)とを含む。
[0339]
 GPSインデックスは、符号化位置情報に対応するパラメータセット(GPS)の識別子(ID)を示す。GPSは、1フレーム又は複数のフレームの符号化位置情報のパラメータセットである。なお、1フレーム毎にパラメータセットが存在する場合は、複数のパラメータセットの識別子がヘッダに示されてもよい。
[0340]
 オフセット情報は、結合データを取得するためのオフセット位置を示す。その他の情報は、位置情報に関するその他の情報(例えば、量子化パラメータの差分値(QPdelta)など)を示す。フレーム結合フラグは、符号化データがフレーム結合されているか否かを示すフラグである。結合フレーム数は、結合されているフレームの数を示す。
[0341]
 なお、上記の情報の一部又は全てがSPS又はGPSに記載されてもよい。なお、SPSとは、シーケンス(複数フレーム)単位のパラメータセットであり、符号化位置情報と符号化属性情報とに共通に用いられるパラメータセットである。
[0342]
 図58は、符号化位置情報のペイロード(Geometry_data)のシンタックス例を示す図である。符号化位置情報のペイロードは、共通情報と、リーフノード情報とを含む。
[0343]
 共通情報は、1以上のフレーム結合したデータであり、オキュパンシー符号(occupancy_Code)等を含む。
[0344]
 リーフノード情報(combine_information)は、各リーフノードの情報である。フレーム数のループとして、フレーム毎にリーフノード情報が示されてもよい。
[0345]
 リーフノードに含まれる点のフレームインデックスを示す方法としては、方法1と方法2とのいずれかを用いることができる。図59は、方法1の場合のリーフノード情報の例を示す図である。図59に示すリーフノード情報は、ノードに含まれる点の数を示す三次元点数(NumberOfPoints)と、点ごとのフレームインデックス(FrameIndex)とを含む。
[0346]
 図60は、方法2の場合のリーフノード情報の例を示す図である。図60に示す例では、リーフノード情報は、ビットマップにより複数の点のフレームインデックを示すビットマップ情報(bitmapIsFramePointsFlag)を含む。図61は、ビットマップ情報の例を示す図である。この例では、ビットマップにより、リーフノードがフレームインデックス1と3と5の三次元点を含むことが示される。
[0347]
 なお、量子化の分解能が低い場合は、同一フレームに重複点が存在する場合がある。この場合、三次元点数(NumberOfPoints)を共有化し、各フレームの三次元点の数と複数フレームの合計の三次元点の数とが示されてもよい。
[0348]
 また、不可逆圧縮が用いられる場合、三次元データ符号化装置は、重複点を削除し、情報量を削減してもよい。三次元データ符号化装置は、フレーム結合前に重複点を削除してもよいし、フレーム結合後に重複点を削除してもよい。
[0349]
 次に、符号化属性情報の構成を説明する。図62は、符号化属性情報の構成を示す図である。符号化属性情報は、ヘッダとペイロードとを含む。
[0350]
 図63は、符号化属性情報のヘッダ(Attribute_header)のシンタックス例を示す図である。符号化属性情報のヘッダは、APSインデックス(aps_idx)と、オフセット情報(offset)と、その他の情報(other_attribute_information)と、フレーム結合フラグ(combine_frame_flag)と、結合フレーム数(number_of_combine_frame)とを含む。
[0351]
 APSインデックスは、符号化属性情報に対応するパラメータセット(APS)の識別子(ID)を示す。APSは、1フレーム又は複数のフレームの符号化属性情報のパラメータセットである。なお、1フレーム毎にパラメータセットが存在する場合は、複数のパラメータセットの識別子がヘッダに示されてもよい。
[0352]
 オフセット情報は、結合データを取得するためのオフセット位置を示す。その他の情報は、属性情報に関するその他の情報(例えば、量子化パラメータの差分値(QPdelta)など)を示す。フレーム結合フラグは、符号化データがフレーム結合されているか否かを示すフラグである。結合フレーム数は、結合されているフレームの数を示す。
[0353]
 なお、上記の情報の一部又は全てがSPS又はAPSに記載されてもよい。
[0354]
 図64は、符号化属性情報のペイロード(Attribute_data)のシンタックス例を示す図である。符号化属性情報のペイロードは、リーフノード情報(combine_information)を含む。例えば、このリーフノード情報の構成は、符号化位置情報のペイロードに含まれるリーフノード情報と同様である。つまり、リーフノード情報(フレームインデックス)は、属性情報に含まれてもよい。
[0355]
 また、リーフノード情報(フレームインデックス)は、符号化位置情報と符号化属性情報との一方に格納され、他方に格納されてなくてもよい。この場合、符号化位置情報と符号化属性情報との一方に格納されているリーフノード情報(フレームインデックス)が他方の情報の復号時に参照される。また、参照先を示す情報が符号化位置情報又は符号化属性情報に含まれてもよい。
[0356]
 次に、符号化データの送出順及び復号順の例を説明する。図65は、符号化データの構成を示す図である。符号化データはヘッダとペイロードとを含む。
[0357]
 図66~図68は、データの送出順と、データの参照関係を示す図である。同図において、G(1)等は、符号化位置情報を示し、GPS(1)等は、符号化位置情報のパラメータセットを示し、SPSは、シーケンス(複数フレーム)のパラメータセットを示す。また、()内の数字はフレームインデックスの値を示す。なお、三次元データ符号化装置は、データを復号順で送出してもよい。
[0358]
 図66はフレームを結合しない場合の送出順の例を示す図である。図67はフレームを結合する場合であって、PCCフレーム毎にメタデータ(パラメータセット)が付加される場合の例を示す図である。図68はフレームを結合する場合であって、結合する単位でメタデータ(パラメータセット)が付加される場合の例を示す図である。
[0359]
 フレーム結合されたデータのヘッダには、当該フレームのメタデータを得るために、参照先のメタデータの識別子が格納される。図68のように、複数フレーム毎のメタデータをまとめてもよい。フレーム結合された複数のフレームに共通のパラメータは一つにまとめてもよい。フレームに共通でないパラメータは各フレームに対する値を示す。
[0360]
 フレーム毎の情報(フレームで共通でないパラメータ)とは、例えば、フレームデータの生成時刻、符号化時刻、又は復号時刻などを示すタイムスタンプである。また、フレーム毎の情報は、フレームデータを取得したセンサの情報(センサのスピード、加速度、位置情報、センサの向き、その他のセンサ情報など)を含んでもよい。
[0361]
 図69は、図67に示す例において、一部のフレームを復号する例を示す図である。図69に示すように、フレーム結合データ内で、フレーム間に依存関係がなければ、三次元データ復号装置は、各データを独立に復号できる。
[0362]
 点群データが属性情報を有する場合、三次元データ符号化装置は、属性情報をフレーム結合してもよい。属性情報は、位置情報を参照して符号化及び復号される。参照される位置情報は、フレーム結合する前の位置情報であってもよいし、フレーム結合した後の位置情報であってもよい。位置情報の結合フレーム数と属性情報の結合フレーム数とは共通(同じ)であってもよいし、独立していて(異なって)もよい。
[0363]
 図70~図73は、データの送出順と、データの参照関係を示す図である。図70及び図71は、位置情報と属性情報とを共に4フレームで結合する例を示す。図70では、PCCフレーム毎にメタデータ(パラメータセット)が付加される。図71では、結合する単位でメタデータ(パラメータセット)が付加される。同図において、A(1)等は、符号化属性情報を示し、APS(1)等は、符号化属性情報のパラメータセットを示す。また、()内の数字はフレームインデックスの値を示す。
[0364]
 図72は、位置情報を4フレームで結合し、属性情報を結合しない例を示す。図72に示すように位置情報をフレーム結合し、属性情報をフレーム結合しなくてもよい。
[0365]
 図73は、フレーム結合とタイル分割とを組み合わせた例を示す。図73に示すようにタイル分割を行う場合には、各タイル位置情報のヘッダは、GPSインデックス(gps_idx)、及び結合フレーム数(number_of_combine_frame)等の情報を含む。また、各タイル位置情報のヘッダは、タイルを識別するためのタイルインデックス(tile_idx)を含む。
[0366]
 以上のように、本実施の形態に係る三次元データ符号化装置は、図74に示す処理を行う。まず、三次元データ符号化装置は、第1点群データと第2点群データとを結合することで第3点群データを生成する(S5481)。次に、三次元データ符号化装置は、第3点群データを符号化することで符号化データを生成する(S5482)。また、符号化データは、第3点群データに含まれる複数の三次元点の各々が第1点群データと第2点群データとのいずれに属するかを示す識別情報(例えばフレームインデックス)を含む。
[0367]
 これによれば、三次元データ符号化装置は、複数の点群データをまとめて符号化することにより符号化効率を向上できる。
[0368]
 例えば、第1点群データと第2点群データとは、異なる時刻の点群データ(例えばPCCフレーム)である。例えば、第1点群データと第2点群データとは、同一の対象物の異なる時刻の点群データ(例えばPCCフレーム)である。
[0369]
 符号化データは、第3点群データに含まれる複数の三次元点の各々の位置情報と属性情報とを含み、識別情報は、属性情報に含まれる。
[0370]
 例えば、符号化データは、第3点群データに含まれる複数の三次元点の各々の位置をN(Nは2以上の整数)分木を用いて表した位置情報(例えばオキュパンシー符号)を含む。
[0371]
 例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0372]
 また、本実施の形態に係る三次元データ復号装置は、図75に示す処理を行う。まず、三次元データ復号装置は、符号化データを復号することで、第1点群データと第2点群データとが結合されることで生成された第3点群データと、第3点群データに含まれる複数の三次元点の各々が第1点群データと第2点群データとのいずれに属するかを示す識別情報とを取得する(S5491)。次に、三次元データ復号装置は、識別情報を用いて、第3点群データから第1点群データと第2点群データとを分離する(S5492)。
[0373]
 これによれば、三次元データ復号装置は、複数の点群データをまとめて符号化することにより符号化効率を向上した符号化データを復号できる。
[0374]
 例えば、第1点群データと第2点群データとは、異なる時刻の点群データ(例えばPCCフレーム)である。例えば、第1点群データと第2点群データとは、同一の対象物の異なる時刻の点群データ(例えばPCCフレーム)である。
[0375]
 符号化データは、第3点群データに含まれる複数の三次元点の各々の位置情報と属性情報とを含み、識別情報は、属性情報に含まれる。
[0376]
 例えば、符号化データは、第3点群データに含まれる複数の三次元点の各々の位置をN(Nは2以上の整数)分木を用いて表した位置情報(例えばオキュパンシー符号)を含む。
[0377]
 例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0378]
 (実施の形態6)
 上記では、リーフノードにある点のフレームインデックス情報を示す方法を説明した。フレームインデックス情報を示す方法として、上記では、ノードに含まれる点の数と、点ごとのフレームインデックスの値とをそれぞれ示す方法と、ビットマップで示す方法などを説明した。
[0379]
 以下では、さらに符号化率の向上を期待できる三次元データ符号化方法について説明する。以下で説明する三次元データ符号化方法を用いることにより、算術符号化後の符号化データ(符号化データのビット数)を削減できる可能性があり、フレーム結合による符号化効率向上の効果を高めることが可能となる。
[0380]
 図76は、本実施の形態に係る符号化部のブロック図である。具体的には、図76は、フレームインデックスの値(以下、単にフレームインデックスともいう)を符号化する符号化部を示すブロック図である。本実施の形態に係る三次元データ符号化装置が備える符号化部は、位置情報符号化部5510と、属性情報符号化部5520と、を有する。位置情報符号化部5510は、フレームインデックス生成部5511と、エントロピー符号化部5512と、を備える。
[0381]
 フレームインデックス生成部5511は、三次元点の位置情報のフレームインデックス(複数のフレーム(三次元データ)のいずれに属するかを示す値である識別子)を決定して変換する。
[0382]
 エントロピー符号化部5512は、フレームインデックス生成部5511で変換したフレームインデックスをエントロピー符号化する。エントロピー符号化部5512は、符号化したフレームインデックスを含む符号化データを含むビットストリームを生成して出力する。より具体的には、エントロピー符号化部5512は、符号化したフレームインデックス及び符号化した位置情報を含む符号化データを含む位置情報ビットストリームを出力する。
[0383]
 属性情報符号化部5520は、フレームインデックス生成部5521と、エントロピー符号化部5522と、を備える。
[0384]
 フレームインデックス生成部5521は、属性情報のフレームインデックスを決定して変換する。
[0385]
 エントロピー符号化部5522は、フレームインデックス生成部5521で変換したフレームインデックスをエントロピー符号化する。エントロピー符号化部5522は、符号化したフレームインデックスを含む符号化データを含むビットストリームを出力する。より具体的には、エントロピー符号化部5522は、符号化したフレームインデックス及び符号化した属性情報を含む符号化データを含む属性情報ビットストリームを出力する。
[0386]
 図77は、実施の形態6に係るフレームインデックス生成部5511のブロック図である。
[0387]
 フレームインデックス生成部5511は、フレーム結合部5550と、フレームインデックス符号化部5560と、結合データ生成部5570と、を備える。
[0388]
 フレーム結合部5550は、複数のフレームを取得し、取得した複数のフレームを結合することで結合三次元データを生成する。具体的には、フレーム結合部5550は、複数のフレームのそれぞれにフレームインデックスを紐づけたフレームデータ、言い換えると、フレームインデックスを含む結合三次元データを生成する。フレーム結合部5550は、フレームの結合数を示す情報(以下、結合数ともいう)と、リーフノードに存在する重複するポイントの数を示す情報(以下、重複点数ともいう)と、フレームインデックスの値を含むフレームデータ(以下、結合三次元データともいう)と、を出力する。
[0389]
 なお、リーフノードに存在する重複するポイントとは、リーフノードに存在する三次元点を示し、同じ単位空間に含まれる三次元点を示す。
[0390]
 フレームインデックス符号化部5560は、フレーム結合部5550が出力した、結合数と、重複点数と、フレームインデックスを含むフレームデータと、を取得する。フレームインデックス符号化部5560は、フレームインデックスを予め定められた方法を用いて0又は正の整数で表される数値であるランク(ランキング又は変換符号ともいう)に変換する。例えば、フレームインデックス符号化部5560は、複数の三次元データが結合された結合三次元データにおける、リーフノード(単位空間)に含まれる三次元点が当該複数の三次元データのいずれに属するかを示すビットマップを生成する。ビットマップは、0と1とで表されるデジタルデータである。ビットマップと、変換符号及び単位空間に含まれる三次元点の数とは、1対1対応である。フレームインデックス符号化部5560は、例えば、後述するルックアップテーブルを用いて、生成したビットマップをランクに変換、言い換えると、生成したビットマップからランクを生成する。フレームインデックス符号化部5560は、ランクのビット数(ランクビットともいう)と、ランクとを結合データ生成部5570に出力する。
[0391]
 結合データ生成部5570は、取得したランクのビット数に応じたサイズのランクとフレームデータとを結合した結合データを生成する。
[0392]
 なお、上記したフレームインデックスに係る処理は、位置情報符号化部5510が実行してもよいし、属性情報符号化部5520が実行してもよく、いずれか一方が実行すればよい。つまり、フレーム結合部5550、フレームインデックス符号化部5560、及び、結合データ生成部5570は、フレームインデックス生成部5521が備えてもよい。
[0393]
 図78は、実施の形態6に係る復号部のブロック図である。具体的には、図78は、本実施の形態に係る三次元データ復号装置が備える、符号化されたフレームインデックスを復号して取得する復号部を示すブロック図である。復号部は、位置情報復号部5530と、属性情報復号部5540と、を備える。
[0394]
 位置情報復号部5530は、エントロピー復号部5531と、フレームインデックス取得部5532と、を備える。
[0395]
 エントロピー復号部5531は、エントロピー符号化部5512がエントロピー符号化した符号化データ(結合数と、重複点数と、結合データとを含む符号化データ)を含むビットストリーム(より具体的には、位置情報ビットストリーム)を取得して、当該符号化データを復号する。
[0396]
 フレームインデックス取得部5532は、エントロピー復号部5531が復号した符号化データからフレームインデックスを取得する。
[0397]
 属性情報復号部5540は、エントロピー復号部5541と、フレームインデックス取得部5542と、を備える。
[0398]
 エントロピー復号部5541は、エントロピー符号化部5522がエントロピー符号化した符号化データ(結合数と、重複点数と、結合データとを含む符号化データ)を含むビットストリーム(より具体的には、属性情報ビットストリーム)を取得して、当該符号化データを復号する。
[0399]
 フレームインデックス取得部5542は、エントロピー復号部5541が復号した符号化データに含まれるフレームインデックスを取得する。
[0400]
 図79は、実施の形態6に係るフレームインデックス取得部5532のブロック図である。
[0401]
 フレームインデックス取得部5532は、予め定められた方法を用いてフレームインデックスを取得する。具体的には、フレームインデックス取得部5532は、フレーム結合部5550及びフレームインデックス符号化部5560から取得した、結合数と、重複点数と、ランクを含む結合データとから、予め定められた方法を用いてフレームインデックスを取得する。フレームインデックス取得部5532は、フレームインデックスの値を含むデータであるフレームデータを出力する。
[0402]
 なお、上記したフレームインデックスに係る処理は、位置情報復号部5530が実行してもよいし、属性情報復号部5540が実行してもよく、いずれか一方が実行すればよい。つまり、フレームインデックス取得部5532が実行する処理は、フレームインデックス取得部5542が実行してもよい。
[0403]
 続いて、ビットマップからランクを取得するためのルックアップテーブル(LUT)について説明する。
[0404]
 図80は、実施の形態6に係るフレームインデックス符号化部5560のブロック図である。
[0405]
 フレームインデックス符号化部5560は、個別情報(各フレームの個別情報)を生成し、符号化する。
[0406]
 フレームインデックス符号化部5560は、ビットマップ生成部5561と、ルックアップテーブル参照部5562と、ビット数取得部5563と、を備える。
[0407]
 まず、ビットマップ生成部5561は、結合数と、重複点数と、ポイント(三次元点)毎のフレームインデックスとに基づき、ビットマップを生成する。結合数は、例えば、上記したフレーム結合における符号化単位の方法を用いて決定する。また、ビットマップ生成部5561は、ツリー構造の分割において、リーフノード毎に存在する重複点数をカウントするとともに、重複する点に紐づくフレームインデックスに基づいて、例えば、図81に示す方法でビットマップに変換する。
[0408]
 図81は、実施の形態6に係るリーフノード及びビットマップの一例を示す図である。
[0409]
 例えば、フレームインデックスの値が1と3と5との三次元点を含むことをビットマップで示すとする。
[0410]
 例えば、ビットマップ生成部5561は、図81の(a)に示すリーフノードを示す情報(言い換えると、フレームインデックスの値が1と3と5との三次元点を含むことを示す情報)を取得したとする。この場合、ビットマップ生成部5561は、図81の(b)に示すビットマップを生成する。
[0411]
 次に、ルックアップテーブル参照部5562は、ビットマップを所定のルックアップテーブルを用いてランクに変換する。言い換えると、ルックアップテーブル参照部5562は、ルックアップテーブルを用いてビットマップからランクを生成する。ルックアップテーブルは、ビットマップの値とランクとの対応関係を示すテーブルである。ルックアップテーブル参照部5562は、例えば、ルックアップテーブルを記憶しているメモリを有する。
[0412]
 図82は、実施の形態6に係るランクの一例を示す図である。
[0413]
 ランクとは、ビットマップを、図82に示すビットマップに含まれる1の数ではNで示す毎に分類し、分類したグループ内でのインデックス又は順序を示す数値である。
[0414]
 図83は、実施の形態6に係るルックアップテーブル参照部5562が用いるルックアップテーブルの一例を示す図である。具体的には、図83は、ビットマップをランクに変換する際のルックアップテーブルを示す図である。
[0415]
 例えば、No.0~No.7の中で、ビットマップに含まれる1の数が1つであるのは、No.1、No.2、及び、No.4である。また、ランクは、順に0、1、2となる。
[0416]
 なお、図83は、ビットマップが8ビットの場合におけるルックアップテーブルを例示しており、結合数が8以下に対応するテーブルである。結合数が8より小さい場合は、図83に示すルックアップテーブルの一部を用いてもよく、フレームの結合数が8より大きい場合には、同様の方法でルックアップテーブルを拡張してもよい。例えば、ルックアップテーブルには、ビットマップとランクとの対応関係を示す情報が含まれていればよく、ビットマップと重複点数との対応関係を示す情報が含まれていなくてもよい。
[0417]
 ビット数取得部5563は、結合数及び重複点数から、ランクのビット数を取得する。なお、ランクの最大数から決定されるランクの所要ビット数(ランクを2進数で表現するために必要とされるビット数)は、結合数及び重複点数から一意に決まる数である。三次元データ符号化装置は、ビット数取得部5563でランクのビット数を示す情報(ランク情報)を生成し、図示しないビット数取得部5563の後段にて算出符号化する。
[0418]
 なお、ビット数取得部5563は、ランクの値が0の場合には、ランク情報を送らないとしてもよい。また、ビット数取得部5563では、ランクが0ではない場合、ランク-1の値を符号化するとしてもよい。或いは、ビット数取得部5563は、ランクが0ではない場合、ランク-1の値をランク情報として出力してもよい。
[0419]
 なお、ルックアップテーブルは、予め三次元データ符号化装置が保持していてもよいし、例えば、ルックアップテーブル参照部5562が所定の計算式を用いて都度算出してもよい。
[0420]
 また、最大の結合数を予め定め、最大の結合数に対応するルックアップテーブルを三次元データ符号化装置と三次元データ復号装置との双方で保持し、結合数が最大より小さい場合でも同一のルックアップテーブルを用いてもよい。
[0421]
 また、三次元データ復号装置は、三次元データ符号化装置が保持するルックアップテーブルに対応するルックアップテーブルを予め保持していてもよい。或いは、三次元データ復号装置は、ビットマップとランクとの対応関係が互いに異なるルックアップテーブルを保持していてもよい。この場合、例えば、三次元データ符号化装置は、ルックアップテーブルの種類に関する付加情報(メタデータ)を送出してもよい。また、この場合、三次元データ復号装置は、付加情報に基づいて復号に用いるルックアップテーブルの種類を判定してもよい。
[0422]
 続いて、フレームインデックスの符号化処理について説明する。
[0423]
 図84は、実施の形態6に係る符号化処理のフローチャートである。
[0424]
 まず、三次元データ符号化装置は、複数のフレームで共通の情報である共通情報(フレーム共通情報)を生成する(S5501)。共通情報は、複数のフレームに共通の情報であり、例えば、オキュパンシー符号、及び、結合数等を含む情報である。
[0425]
 次に、三次元データ符号化装置は、複数のフレーム毎に個別の情報である個別情報(フレーム個別情報)を生成する(S5502)。個別情報は、複数のフレームごとに個別に対応付けられた情報であり、例えば、重複点数、及び、リーフノードにおけるフレームインデックス等を含む情報である。
[0426]
 次に、三次元データ符号化装置は、共通情報と個別情報とを結合し、符号化データを生成する(S5503)。
[0427]
 次に、三次元データ符号化装置は、フレーム結合に係る付加情報を生成し、符号化する(S5504)。
[0428]
 図85は、実施の形態6に係る符号化データの生成処理のフローチャートである。具体的には、図84に示すステップS5502及びステップS5503の詳細を示すフローチャートである。
[0429]
 まず、三次元データ符号化装置は、重複点数及びフレームインデックスを示すビットマップを生成する(S5511)。
[0430]
 次に、三次元データ符号化装置は、予め定められた方法を用いてランクを取得する(S5512)。本実施の形態では、三次元データ符号化装置は、ルックアップテーブルを用いて、ビットマップをランクに変換することで取得する。
[0431]
 次に、三次元データ符号化装置は、符号化する必要があるランクのビット数を取得する(S5513)。
[0432]
 次に、三次元データ符号化装置は、オキュパンシー符号、結合数、重複点数、及び、ランクを符号化する(S5514)。つまり、三次元データ符号化装置は、符号化したオキュパンシー符号、結合数、重複点数、及び、ランクを含む符号化データを生成する。
[0433]
 図86は、実施の形態6に係る結合情報(結合数を示す情報)のシンタックス例を示す図である。
[0434]
 ランクのビット数は、重複点数と結合数とにより決定される。例えば、結合数が8、つまり、8つのフレームを結合した結合データ(結合三次元データ)の場合に、重複点数が7のとき、ランクのビット数の最大値は、8となる。
[0435]
 三次元データ復号装置では、ランクのビット数を取得するために重複点数が必要である。そのため、三次元データ符号化装置は、重複点数、ランクの順に記述する(データをビットストリームに含める)としてもよい。
[0436]
 続いて、三次元データ復号装置がランクからビットマップを取得するルックアップテーブルについて説明する。
[0437]
 図87は、実施の形態6に係るフレームインデックス取得部5532のブロック図である。
[0438]
 フレームインデックス取得部5532は、個別情報を復号する。
[0439]
 フレームインデックス取得部5532は、ビット数取得部5581と、ランク取得部5582と、ルックアップテーブル参照部5583と、フレーム分割部5584と、を備える。
[0440]
 ビット数取得部5581は、符号化データに含まれる符号化された付加情報から結合数を復号し、さらに、符号化データから、リーフノード毎の重複点数を抽出する。次に、ビット数取得部5581は、結合数及び重複点数から、ランクのビット数を取得する。
[0441]
 なお、ランクの最大数及びランクの所要ビット数は、結合数及び重複点数から一意に決まる数である。また、ビット数取得部5581の処理は、符号化における処理(より具体的には、ビット数取得部5563の処理)を同じである。
[0442]
 ランク取得部5582は、ビット数取得部5581が復号した各種データから、上記で取得したビット数分のランクを取得する。
[0443]
 ルックアップテーブル参照部5583は、リーフノードの重複点数及びランクから所定のルックアップテーブルを用いてビットマップを取得する。
[0444]
 図88は、実施の形態6に係るルックアップテーブル参照部5583が用いるルックアップテーブルの一例を示す図である。
[0445]
 図88に示すルックアップテーブルは、例えば、三次元データ符号化装置が用いたルックアップテーブルに対応するテーブルである。より具体的には、図88に示すルックアップテーブルは、ルックアップテーブル参照部5562が用いたルックアップテーブルと同じルックアップテーブルである。ルックアップテーブル参照部5583は、例えば、図88に示すルックアップテーブルを用いてビットマップから結合三次元データにおける重複する三次元点のフレームインデックスを取得する。
[0446]
 三次元データ復号装置は、このように取得された所望のフレームインデックスのデータを用いて結合三次元データから複数の三次元データを再構成する。
[0447]
 なお、ルックアップテーブルにおけるインデックスの数は、三次元データ符号化装置のルックアップテーブルと三次元データ復号装置のルックアップテーブルとで異なる可能性がある。例えば、三次元データ符号化装置は、1ビットから8ビットまで対応できるように、8つの互いに異なるルックアップテーブルを記憶していてもよい。この場合、三次元データ復号装置は、1ビットから4ビットまで対応できるように、8つの互いに異なるルックアップテーブルを記憶していてもよい。これにより、三次元データ復号装置のルックアップテーブルの数を少なくできる可能性がある。
[0448]
 フレーム分割部5584は、フレームインデックスに基づいて結合データを複数のフレームデータに分割したフレームデータを生成して出力する。
[0449]
 続いて、符号化されたフレームインデックスの復号処理について説明する。
[0450]
 図89は、実施の形態6に係るフレームインデックスの復号処理のフローチャートである。
[0451]
 まず、三次元データ復号装置は、共通情報及び個別情報を復号して取得する(S5521)。
[0452]
 次に、三次元データ復号装置は、単一のフレームを復号するか否かを判定する(S5522)。例えば、三次元データ復号装置は、単一のフレームを復号するか、任意の複数のフレームを復号するかを判定する。
[0453]
 三次元データ復号装置は、単一のフレームを復号すると判定した場合(S5522でYes)、指定されたフレームインデックス(つまり、上記単一のフレームインデックス)に対応付けられた個別情報を抽出し、復号する(S5523)。
[0454]
 一方、三次元データ復号装置は、単一のフレームを復号しない、つまり、複数のフレームを復号すると判定した場合(S5522でNo)、複数のフレームインデックスに対応するそれぞれの個別情報を抽出し、復号する(S5524)。
[0455]
 次に、三次元データ復号装置は、フレームインデックスに基づきデータを分割する(S5525)。つまり、三次元データ復号装置は、複数の三次元データからなる結合三次元データを復号する場合(S5522でNo)、ステップS5525では、結合三次元データをフレームインデックスに基づいて複数のフレームに分割する。
[0456]
 図90は、実施の形態6に係る共通情報及び個別情報の復号処理のフローチャートである。具体的には、図90は、図89に示すステップS5521の詳細を示すフローチャートである。
[0457]
 まず、三次元データ復号装置は、符号化データを復号することで、取得した符号化された結合数及び取得した符号化された重複点数を復号する(S5531)。
[0458]
 次に、三次元データ復号装置は、予め定められた方法を用いてランクのビット数を取得する(S5532)。
[0459]
 次に、三次元データ復号装置は、ランクを取得する(S5533)。
[0460]
 次に、三次元データ復号装置は、予め定められた方法を用いてビットマップを取得する(S5534)。本実施の形態では、三次元データ復号装置は、ルックアップテーブルを用いてランクをビットマップに変換することで、ビットマップを取得する。
[0461]
 次に、三次元データ復号装置は、ビットマップを用いてフレームインデックスを取得する(S5535)。
[0462]
 続いて、重複点数の決定方法について説明する。
[0463]
 リーフノードにおいて、三次元点が重複するケースは、元々1フレームのリーフノードに2以上の三次元点がある場合と、フレーム結合により結合された結合三次元データのリーフノードにフレームインデックスの異なる2以上の三次元点がある場合がある。
[0464]
 フレーム結合を適用する場合の上記の重複点を示す方法及び符号化の制約について説明する。
[0465]
 図91は、実施の形態6に係るリーフノードのシンタックスの第1例を示す図である。具体的には、図91は、1フレーム内の重複点数と、フレーム結合による複数のフレームの重複点数とを同じフィールドを用いて示す場合のシンタックス例である。
[0466]
 三次元データ符号化装置は、リーフノード毎の重複点数を示すフィールドについて、例えば、1とし、「1フレーム内に重複点がない」かつ「2以上のフレーム結合をする場合」、又は、「1フレーム内に重複点がある場合」かつ「フレーム結合をしない場合」に限り、重複点数を算出してもよい。また、例えば、三次元データ符号化装置は、2フレーム以上フレーム結合する場合において、1フレーム内に重複点がある場合は、1フレーム内の重複点は削除し、1つにしてもよい。或いは、例えば、三次元データ符号化装置は、1フレーム内に重複点がある場合は、当該1フレームを用いたフレーム結合をしなくてもよい。
[0467]
 図92は、実施の形態6に係るリーフノードのシンタックスの第2例を示す図である。具体的には、図92は、1フレーム内の重複点と、フレーム結合による複数のフレームの重複点数とを別のフィールドを用いて示す場合のシンタックス例である。
[0468]
 図92に示すように、三次元データ符号化装置は、「フレーム結合をしない」かつ「1フレーム内に重複点がある」場合には、1フレーム内の重複点を示し、「フレーム結合をする」場合には、フレーム結合による重複点を示し、さらに、「1フレーム内に重複点がある」場合には、フレーム毎の重複点数を示してもよい。
[0469]
 図93は、実施の形態6に係る位置情報のシンタックスの第1例を示す図である。
[0470]
 図93に示すように、リーフノードの情報は、フレーム数のループとして、フレーム毎にリーフノードの情報を示すとしてもよい。
[0471]
 続いて、ノード情報について説明する。
[0472]
 Octree分割などのツリー分割において、最下位層のリーフノードまで分割せず、リーフノードの情報の代わりに、分割した深さのノードの情報を示す方法がある。ノード情報としては、例えば、ノードに属する三次元点毎の座標、つまり、ボクセルの位置を直接示す情報がある。この場合、ノード情報は、図94に示すdirectflagによって制御される。
[0473]
 続いて、上記directflagを用いた方法とフレーム結合とを適用する場合のシグナリング方法及び符号化の制約について説明する。
[0474]
 図94は、実施の形態6に係る位置情報のシンタックスの第2例を示す図である。
[0475]
 図94に示すように、三次元データ符号化装置は、フレームの結合数が1より大きい場合、つまり、複数のフレームをフレーム結合する場合には、directflagを0とし、上記方法を適用しなくてもよい。
[0476]
 一方、例えば、三次元データ符号化装置は、フレームの結合数が1の場合は、directflagを1としてもよい。
[0477]
 これにより、三次元データ符号化装置は、フレーム結合の際に、フレームの結合数が1より大きい場合、つまり、複数のフレームをフレーム結合する場合には、directflagを0としてdirectflagを利用した方法を用いないことにより、フレーム結合の効果をさらに向上できる可能性がある。
[0478]
 また、directflag及び結合数は、例えば、GPS(Geometry Parameter Set)に格納される。
[0479]
 以上のように、本実施の形態に係る三次元データ符号化装置は、図95に示す処理を行う。
[0480]
 図95は、実施の形態6に係る符号化処理のフローチャートである。
[0481]
 まず、三次元データ符号化装置は、複数の三次元データ(フレーム)が結合された結合三次元データにおける、単位空間に含まれる三次元点が複数の三次元データのいずれに属するかを示すビットマップを生成する(S5541)。三次元データ符号化装置は、例えば、結合三次元データにおける、リーフノードに含まれる三次元点が複数の三次元データのいずれに属するかを示すビットマップを生成する。
[0482]
 ビットマップは、例えば、結合された複数の三次元データの数の桁数であり、0又は1で表された数列を示す情報(マップ情報)である。例えば、第1三次元データから第8三次元データまでの8つの三次元データが結合された結合三次元データの場合、ビットマップは、8桁である。ビットマップの各桁は、第1三次元データから第8三次元データまでのいずれかに個別に対応付けられている。
[0483]
 例えば、所定の単位空間に第1三次元データに属する三次元点と第2三次元データに属する三次元点とが位置し、第3三次元データから第8三次元データまでのいずれかの三次元データに属する三次元点が当該所定の単位空間に含まれていない場合、三次元データ符号化装置は、「00000011」というビットマップを生成する。
[0484]
 或いは、例えば、所定の単位空間に第1三次元データに属する三次元点と第5三次元データに属する三次元点と第7三次元データに属する三次元点とが位置し、第2三次元データ、第3三次元データ、第4三次元データ、第6三次元データ、及び、第8三次元データまでのいずれかの三次元データに属する三次元点が当該所定の単位空間に含まれていない場合、三次元データ符号化装置は、「01050001」というビットマップを生成する。
[0485]
 なお、三次元データ符号化装置は、ステップS5551を実行する前に、複数の三次元データを結合した結合三次元データを生成してもよい。三次元データ符号化装置が結合する三次元データの数は、特に限定されない。
[0486]
 次に、三次元データ符号化装置は、ビットマップを用いて変換符号を生成する(S5542)。変換符号は、上記したランクを示す値である。三次元データ符号化装置は、例えば、ルックアップテーブルを用いて、ビットマップからランクを生成する。
[0487]
 ルックアップテーブルは、ビットマップの値と変換符号との対応関係を示すテーブルである。ビットマップの値の各々と、変換符号及び単位空間に含まれる三次元点の数の組み合わせの各々とは、対応している。例えば、図83に示すように、三次元データ符号化装置は、ビットマップが「00000001」である場合、ランク(つまり、変換符号)を0として生成する。また、ルックアップテーブルにおいて、ランクが0であり、且つ、単位空間に含まれる三次元点の数(図83に示す重複点数)が1である組み合わせに対応するビットマップは、「00000001」である。このように、ルックアップテーブルにおいて、ランクと単位空間に含まれる三次元点の数と組み合わせに対応するビットマップは、1つ存在する。例えば、ルックアップテーブルでは、ビットマップの値の各々と、変換符号及び単位空間に含まれる三次元点の数の組み合わせの各々とは、1体1で対応している。
[0488]
 次に、三次元データ符号化装置は、単位空間に含まれる三次元点の数を示す重複点情報と、変換符号を示す変換符号情報とを含む符号化データを生成する(S5543)。なお、本実施の形態では、ビットマップの生成及び変換符号の生成を符号化ともいう。
[0489]
 また、上記した通り、ビットマップの値の各々と、変換符号及び単位空間に含まれる三次元点の数の組み合わせの各々とは、対応している。
[0490]
 これによれば、例えば、ルックアップテーブルを用いるなどしてビットマップをランクに変換するために、符号化データにビットマップの値をそのまま含める場合と比較して、符号化データのデータ量を削減できる。
[0491]
 また、例えば、符号化データは、三次元点の位置情報と属性情報とを含み、変換符号情報と重複点情報とは、位置情報に含まれる。三次元データ符号化装置は、位置情報を含む位置情報ビットストリームと、属性情報を含む属性情報ビットストリームとをビットストリームとして生成する。変換符号情報と、重複点情報とは、位置情報ビットストリームに含まれる。
[0492]
 また、例えば、符号化データは、さらに、結合三次元データにおいて結合されている複数の三次元データの数を示すデータ数情報を含む。
[0493]
 また、例えば、変換符号は、0又は正の整数である。三次元データ符号化装置は、例えば、変換符号が0でない場合には、変換符号から1を引いた数である変換符号情報を含む符号化データを生成する。一方、三次元データ符号化装置は、例えば、変換符号が0の場合には、変換符号情報を含まない符号化データを生成する。
[0494]
 これによれば、変換符号が0の場合には、符号化データに変換符号を含めないため、符号化データのデータ量をさらに削減できる。
[0495]
 また、例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0496]
 また、本実施の形態に係る三次元データ復号装置は、図96に示す処理を行う。
[0497]
 図96は、実施の形態6に係る復号処理のフローチャートである。
[0498]
 まず、三次元データ復号装置は、符号化データを復号することで、複数の三次元データが結合されることで生成された結合三次元データにおける、単位空間に含まれる三次元点の数を示す重複点情報と、変換符号を示す変換符号情報とを取得する(S5551)。例えば、三次元データ復号装置は、符号化データを含むビットストリームを取得し、取得したビットストリームに含まれる符号化データを復号する。
[0499]
 次に、三次元データ復号装置は、重複点情報と、変換符号情報とを用いて、単位空間に含まれる三次元点が複数の三次元データのいずれに属するかを示すビットマップを生成する(S5552)。
[0500]
 次に、三次元データ復号装置は、ビットマップを用いて、単位空間に含まれる三次元点が複数の三次元データのいずれに属するかを判定する(S5553)。つまり、三次元データ復号装置は、ビットマップから上記したフレームインデックスを取得する。
[0501]
 例えば、次に、三次元データ復号装置は、取得したフレームインデックスを用いて、結合三次元データを複数の三次元データに分割する。
[0502]
 また、上記した通り、ビットマップの値の各々と、変換符号及び単位空間に含まれる三次元点の数の組み合わせの各々とは、対応している。
[0503]
 これによれば、例えば、ルックアップテーブルなどを用いてランクからビットマップを生成して、生成したビットマップからフレームインデックスを取得できる。つまり、単位空間含まれる三次元点の数と変換符号とから、複数の三次元データと結合三次元データにおける三次元点との対応関係を示すビットマップを適切に取得できる。また、ビットマップよりデータ量が少ないランクを用いて、結合三次元データに含まれる複数の三次元データを分割できる。これにより、符号化データのデータ量を削減しつつ、且つ、適切に結合三次元データを結合前の複数の三次元データに分割できる。
[0504]
 また、例えば、符号化データは、三次元点の位置情報と属性情報とを含み、変換符号情報と重複点情報とは、位置情報に含まれる。
[0505]
 また、例えば、符号化データは、さらに、結合三次元データにおいて結合されている複数の三次元データの数を示すデータ数情報を含む。
[0506]
 また、例えば、変換符号は、0又は正の整数である。三次元データ復号装置は、例えば、符号化データに変換符号情報が含まれている場合には、変換符号情報に1を足した数を変換符号として取得する。一方、三次元データ復号装置は、例えば、符号化データに変換符号情報が含まれていない場合には、0を変換符号として取得する。
[0507]
 また、例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0508]
 (実施の形態7)
 本実施の形態では、結合フレームにおいて重複点をサポートする方法について説明する。結合フレームを用いることで連続する複数のフレームをまとめて符号化できる。これにより、点群データの密度を高めることができる。また、オキュパンシー符号における8分木の上位レベルの占有状態を共有できるので、符号化効率を向上できる。また、ビットマップ符号、又は、ランク符号パターンを用いて、各ノードが属するフレームが示される。
[0509]
 結合フレームを用いる場合、結合前の一つのフレームに重複点が含まれる場合に問題が発生する。つまり、重複点が属するフレームを識別する方法が必要である。例えば、三次元データの符号化及び復号では、重複点の数はパラメータnum_point示される。例えば、num_pointの値が3である場合、そのフレーム内に同じ位置情報を持つ3つの点が存在することが示される。上記の問題を解決する手法について以下詳細に説明する。
[0510]
 図97は、フレーム結合時の重複点の例を示す図である。同図は、フレーム0とフレーム1とをフレーム結合した例を示す。
[0511]
 結合前のフレーム内のリーフノードに2個以上の三次元点が存在する場合、それらをフレーム内重複点(internal duplicated point)と呼ぶ。フレーム結合によってリーフノード内に生成される重複点をフレーム間重複点(frame duplicated point)と呼ぶ。また、同一リーフノード内にフレーム内重複点とフレーム間重複点とが混在する場合がある。
[0512]
 複数のフレームが結合されると、空のリーフノードは符号化されない。また、フレーム0又はフレーム1からの少なくとも一つの点を含むリーフノードを全て符号化する必要がある。重複点を含むリーフノードに対して、他のフレームからのノードと同様の方法で重複点の最大数を符号化する必要がある。
[0513]
 次に、ビットマップ符号化パターンを用いて重複点を示す場合のシンタックス例を説明する。図98は、ビットストリームに含まれるヘッダのシンタックス例を示す図である。図98に示すヘッダは、単一点情報(single_point_per_leaf)と、結合フレーム数(NumberOfCombineFrame)とを含む。
[0514]
 単一点情報(single_point_per_leaf)は、8分木の各リーフノードが1個の点を含むか否か(複数の点を含まないか否か)を示す情報である。例えば、値1は各リーフノードが1個の点を持つことを示し、値0は各リーフノードが1個以上の点を持つことを示す。
[0515]
 三次元データ符号化装置は、single_point_per_leafをヘッダに付加せずに、規格、又は規格のプロファイル或いはレベル等により、8分木の各リーフノードが1個の点を含むか否かが規定されてもよい。これにより、三次元データ復号装置は、規格情報を参照して、8分木の各リーフノードが1個の点を含むか否かを判定してビットストリームを正しく復元できる。
[0516]
 結合フレーム数(NumberOfCombineFrame)は、フレーム結合するフレームの枚数を示す。
[0517]
 図99は、8分木に含まれる各ノードの情報であるノード情報(node(depth、index))のシンタックス例を示す図である。ノード情報は、オキュパンシー符号(occupancy_code)と、三次元点数(num_point)と、ビットマップ情報(combine_bit)とを含む。
[0518]
 オキュパンシー符号(occupancy_code)は、ノードが持つ子ノードが占有状態(三次元点を含む)であるか否かを示す。8分木の場合、occupancy_codeは8ビットで表され、各ビットは8個の子ノードがそれぞれ占有状態か否かを示す。
[0519]
 また、ノードが木構造の最下層より1つ上の階層に属するかによってノードの子ノードがリーフノードか否かが判定される。これにより、子ノードがリーフノードか否かを示すフラグを符号化する必要がなくなり、ヘッダの符号量を削減できる。
[0520]
 点を含むリーフノードの数を示すnum_leafは、occupancy_codeから算出されてもよい。例えば、8分木でoccupancy_code=3の場合、num_leaf=2と算出される。
[0521]
 三次元点数(num_point)は、リーフノードに含まれる三次元点の数を示す。single_point_per_leaf==0の場合に、num_pointが符号化される。なお、三次元データ符号化装置は、フレーム結合を行う場合は、リーフノード内の各フレームのフレーム内重複点の最大値をnum_pointの値として符号化してもよい。例えば、あるリーフノードにおいて、フレーム1のフレーム内重複点の数が2であり、フレーム2のフレーム内重複点の数が1である場合、num_pointは値2に設定される。
[0522]
 ビットマップ情報(combine_bit)は、あるリーフノードのi番目のフレーム内重複点がj番目のフレームに存在するかを示す情報である。例えば、値1は、フレーム内重複点が存在することを示し、値0はフレーム内重複点が存在しないことを示す。
[0523]
 例えば、combine_bit[0][0][0]=1、combine_bit[0][0][1]=1の場合は、リーフノード0の0番目のフレーム内重複点がフレーム0とフレーム1に存在し、それらはフレーム間重複点であることが示される。ビットマップ情報の他の例については後述する。
[0524]
 三次元データ符号化装置は、num_pointをエントロピー符号化してもよい。また、三次元データ符号化装置は、その際、複数の符号化テーブルを切替えて符号化を行ってもよい。例えば、三次元データ符号化装置は、先頭ビットを符号化テーブルAを用いて算術符号化し、残りのビットを符号化テーブルBを用いて算術符号化してもよい。
[0525]
 三次元データ符号化装置は、combine_bitをエントロピー符号化してもよい。例えば、三次元データ符号化装置は、値を二値化したうえで算術符号化してもよい。
[0526]
 ここで、パラメータnum_pointは、フレーム結合を行わない通常のPCC符号化において重複点を符号化する場合に用いられる。これに対して、フレーム結合においては、パラメータnum_pointを、フレーム間重複点ではなく、フレーム内重複点の最大数を示す情報として用いる。
[0527]
 図100は、重複点の例を示す図である。この例では、フレーム0は、フレーム内重複点0、1を有する。フレーム1は、フレーム内重複点0を有する。よって、フレーム内重複点の最大数は、フレーム0の2個であり、num_pointは2である。これにより、num_point_minus2は0に設定される。ここで、num_point_minus2はnum_pointから2を減算した値を示す。
[0528]
 また、ビットマップ情報によりリーフノードが有する重複点が示される。ビットマップの各ビットの値1は占有(occupied)を示し、値0は、空(empty)を示す。ビットマップ情報の各ビットは、combine_bit[フレーム内重複点番号][フレーム番号]で表される。よって、図100に示す例は、combine_bit[0][0]=1、combine_bit[0][1]=1、combine_bit[1][0]=1、combine_bit[1][1]=0で表される。
[0529]
 なお、combine_bit[フレーム番号][フレーム内重複点番号]のように配列のインデックスの順番を入れ替えても構わない。
[0530]
 以下、ビットマップ情報を用いた具体例を説明する。図101及び図102は、あるリーフノードの重複点の例を示す図である。同図の例では、リーフノードの位置情報は(3、8、6)である。また、図101及び図102に示すフレームの列は、重複点が属する結合前のフレームの番号を示す。
[0531]
 図101に示す例では、フレーム0には3個の重複点が含まれ、フレーム1には1個の重複点が含まれる。よって、フレーム内重複点の最大値は、フレーム0の3個である。つまり、num_pointは3である。
[0532]
 また、combine_bit[0][0]=1、combine_bit[0][1]=1、combine_bit[1][0]=1、combine_bit[1][1]=0、combine_bit[2][0]=1、combine_bit[2][1]=0である。
[0533]
 ここで、フレーム内重複点番号の最大値は、num_pointと等しい。また、フレーム番号の最大値は、結合フレーム数に等しい。よって、フレーム内重複点番号とフレーム番号との組み合わせにより、各重複点が識別される。また、num_point×結合フレーム数のビット数を有するビットマップ(combine_bit[フレーム内重複点番号][フレーム番号])が生成される。
[0534]
 図102に示す例では、フレーム0には3個の重複点が含まれ、フレーム1には2個の重複点が含まれ、フレーム2には4個の重複点が含まれ、フレーム3には1個の重複点が含まれる。よって、フレーム内重複点の最大値は、フレーム2の4個である。つまり、num_pointは4である。
[0535]
 また、combine_bit[0][0]=1、combine_bit[0][1]=1、combine_bit[0][2]=1、combine_bit[0][3]=1、combine_bit[1][0]=1、combine_bit[1][1]=1、combine_bit[1][2]=1、combine_bit[1][3]=0、combine_bit[2][0]=1、combine_bit[2][1]=0、combine_bit[2][2]=1、combine_bit[2][3]=0、combine_bit[3][0]=0、combine_bit[3][1]=0、combine_bit[3][2]=1、combine_bit[3][3]=0である。
[0536]
 次に、三次元データ符号化処理の流れを説明する。図103は、三次元データ符号化処理のフローチャートである。図103に示す処理は、ノード毎に繰り返し行われる。
[0537]
 まず、三次元データ符号化装置は、子ノードがリーフノードであるか否かを判定する(S6301)。子ノードがリーフノードである場合(S6301でYes)、三次元データ符号化装置は、リーフノード内の、フレーム毎のフレーム内重複点の数を算出する(S6302)。次に、三次元データ符号化装置は、フレーム毎に算出したフレーム内重複点の最大値を示すnum_point[leaf]をヘッダに付加する(S6303)。つまり、リーフノード毎にnum_pointがヘッダに付加される。
[0538]
 次に、三次元データ符号化装置は、リーフノード内の重複点をソートする(S6304)。なお、この処理の詳細は後述する。
[0539]
 次に、三次元データ符号化装置は、iを0に設定する(S6305)。ここでiは、フレーム内重複点番号である。次に、三次元データ符号化装置は、i<num_point[leaf]が満たされるか否かを判定する(S6306)。i<num_point[leaf]が満たされる場合(S6306でYes)、三次元データ符号化装置は、jを0に設定する(S6307)。ここでjは、フレーム番号である。
[0540]
 次に、三次元データ符号化装置は、j<NumberOfCombineFrameが満たされるか否かを判定する(S6308)。ここで、NumberOfCombineFrameはフレーム結合されたフレームの数(結合フレーム数)を示す。
[0541]
 j<NumberOfCombineFrameが満たされる場合(S6308でYes)、三次元データ符号化装置は、i番目の重複点がフレームjに存在するか否かを判定する(S6309)。i番目の重複点がフレームjに存在する場合(S6309でYes)、三次元データ符号化装置は、combine_bit[i][j]を1に設定する(S6310)。一方、i番目の重複点がフレームjに存在しない場合(S6309でNo)、三次元データ符号化装置は、combine_bit[i][j]を0に設定する(S6311)。
[0542]
 ステップS6310又はS6311の後、三次元データ符号化装置は、jを1インクリメントし(S6312)、ステップS6308以降の処理を再度行う。
[0543]
 一方、ステップS6308において、j<NumberOfCombineFrameが満たされない場合(S6308でNo)、三次元データ符号化装置は、iを1インクリメントし(S6313)、ステップS6306以降の処理を再度行う。
[0544]
 また、ステップS6306において、i<num_point[leaf]が満たされない場合(S6306でNo)、三次元データ符号化装置は、全てのリーフノードの処理が完了したか否かを判定する(S6314)。全てのリーフノードの処理が完了していない場合(S6314でNo)、三次元データ符号化装置は、次のリーフノードに対してステップS6302以降の処理を行う。全てのリーフノードの処理が完了した場合(S6314でYes)、三次元データ符号化装置は、処理を終了する。
[0545]
 次に、上述したステップS6304で行われるソート処理について説明する。図104及び図105は、ソート処理の例を示す図である。
[0546]
 三次元データ符号化装置は、リーフノード内の重複点を符号化する場合、図104及び図105に示すようにリーフノード内の重複点をソートして符号化してもよい。
[0547]
 例えば、三次元データ符号化装置は、フレーム間重複点及びその属性情報をフレーム番号が小さい順になるようにソートしてもよい。例えば、三次元データ符号化装置は、フレーム間重複点がフレーム0とフレーム1とに存在する場合、フレーム0の重複点を最初に符号化し、次にフレーム1の重複点を符号化するようにソートを行う。
[0548]
 また、三次元データ符号化装置は、フレーム間重複点が複数存在する場合は、同じフレーム間重複点に属する三次元点が順に符号化されるようにソートしてもよい。
[0549]
 上記により三次元データ復号装置は、復号した順に応じてフレーム間重複点にフレーム番号を付加することができるので、復号処理の負荷を削減できる。また、三次元データ復号装置は、三次元点に属する属性情報を正しく復号できる。
[0550]
 図106は、三次元データ復号処理のフローチャートである。図106に示す処理は、ノード毎に繰り返し行われる。
[0551]
 まず、三次元データ復号装置は、子ノードがリーフノードであるか否かを判定する(S6321)。子ノードがリーフノードである場合(S6321でYes)、三次元データ復号装置は、ビットストリームに含まれるヘッダからnum_point[leaf]を復号する(S6322)。
[0552]
 次に、三次元データ復号装置は、iを0に設定する(S6323)。ここでiは、フレーム内重複点番号である。次に、三次元データ復号装置は、i<num_point[leaf]が満たされるか否かを判定する(S6324)。
[0553]
 i<num_point[leaf]が満たされる場合(S6324でYes)、三次元データ復号装置は、jを0に設定する(S6325)。ここでjは、フレーム番号である。次に、三次元データ復号装置は、j<NumberOfCombineFrameが満たされるか否かを判定する(S6326)。ここで、NumberOfCombineFrameはフレーム結合されたフレームの数を示し、例えば、ビットストリームに含まれる。
[0554]
 j<NumberOfCombineFrameが満たされる場合(S6326でYes)、三次元データ復号装置は、ビットストリームからcombine_bit[i][j]を復号する(S6327)。次に、三次元データ復号装置は、復号したcombine_bit[i][j]が1であるか0であるかを判定する(S6328)。
[0555]
 combine_bit[i][j]が1である場合(S6328でYes)、三次元データ復号装置は、j番目のフレームに属し、かつ、復号中のリーフノードの位置に対応する位置情報(x,y,z)を持つi番目のフレーム内重複点を三次元点の復号結果として生成する(S6329)。
[0556]
 ステップS6329の後、又は、combine_bit[i][j]が0である場合(S6328でNo)、三次元データ復号装置は、jを1インクリメントし(S6330)、ステップS6326以降の処理を再度行う。
[0557]
 また、ステップS6326において、j<NumberOfCombineFrameが満たされない場合(S6326でNo)、三次元データ復号装置は、iを1インクリメントし(S6331)、ステップS6324以降の処理を再度行う。
[0558]
 また、ステップS6324において、i<num_point[leaf]が満たされない場合(S6324でNo)、三次元データ復号装置は、全てのリーフノードの処理が完了したか否かを判定する(S6332)。全てのリーフノードの処理が完了していない場合(S6332でNo)、三次元データ復号装置は、次のリーフノードに対してステップS6322以降の処理を行う。全てのリーフノードの処理が完了した場合(S6332でYes)、三次元データ復号装置は、処理を終了する。
[0559]
 次に、ランク符号パターンを用いる例を説明する。図107は、ランク符号パターンを用いる場合のノード情報(node(depth、index))のシンタックス例を示す図である。なお、ヘッダの構成は、例えば、図98と同様である。
[0560]
 ノード情報は、オキュパンシー符号(occupancy_code)と、三次元点数(num_point)と、重複点数(num_combine_point)と、フレーム0情報(combine_equalzero)と、結合インデックス(combine_idx)とを含む。
[0561]
 なお、occupancy_code、num_point、及びnum_leaf等については図99と同様である。
[0562]
 重複点数(num_combine_point)は、i番目のフレーム内重複点に関するフレーム間重複点の数を表す。例えば、0番目のフレーム内重複点をフレーム0とフレーム1とが含む場合、num_combine_point[i]=2に設定される。この値は、図83に示す重複点数に対応する。
[0563]
 combine_equalzeroは、リーフノードに含まれるi番目のフレーム内重複点が0番目のフレームに存在するか否かを示す。例えば、値1はi番目のフレーム内重複点が0番目のフレームに存在すること示し、値0はi番目のフレーム内重複点が0番目のフレームに存在しない(1番目のフレームに存在する)ことを示す。
[0564]
 NumberOfCombineFrame=2かつnum_combine_point[i]=2の場合は、フレーム0とフレーム1にフレーム間重複点が存在することが分かるため、三次元データ符号化装置は、combine_equalzeroをビットストリームに含めなくてもよい。これによりビット量を抑制できる。またその際、三次元データ復号装置は、先に復号された重複点はフレーム0に属し、後に復号された重複点はフレーム1に属すると判定してもよい。また、三次元データ符号化装置は、フレーム間重複点がある場合、フレーム0に属する三次元点がフレーム1に属する三次元点より先に符号化されるように符号化順をソートしてもよい。これにより三次元点とその属性値を適切に符号化及び復号できる。
[0565]
 結合インデックス(combine_idx)は、i番目のフレーム内重複点のランクを示す情報であり、図83に示すランクに対応する。つまり、重複点数(num_combine_point)と、結合インデックス(combine_idx)との組み合わせに対してビットマップ情報が一意に対応付けられる。
[0566]
 三次元データ符号化装置は、num_point、及びnum_combine_point当をエントロピー符号化してもよい。また、その際、三次元データ符号化装置は、複数の符号化テーブルを切替えながら符号化を行ってもよい。例えば、三次元データ符号化装置は、先頭ビットを符号化テーブルAを用いて算術符号化し、残りのビットを符号化テーブルBを用いて算術符号化してもよい。
[0567]
 num_combine_pointは常に1以上であるため、三次元データ符号化装置は、num_combine_pointの代わりにnum_combine_point_minus1(=num_combine_point-1)を符号化してもよい。
[0568]
 また、三次元データ符号化装置は、combine_equalzero及びcombine_idxをエントロピー符号化してもよい。例えば、三次元データ符号化装置は、値を二値化したうえで算術符号化してもよい。
[0569]
 次に、図100に示す例において、ランク符号パターンを用いた場合について説明する。図100に示す例では、フレーム0は、フレーム内重複点0、1を有する。フレーム1は、フレーム内重複点0を有する。よって、フレーム内重複点の最大数は、フレーム0の2個であり、num_pointは2である。これにより、num_point_minus2は0に設定される。ここで、num_point_minus2はnum_pointから2を減算した値を示す。
[0570]
 重複点0のnum_combine_pointは2であり、重複点1のnum_combine_pointは1である。
[0571]
 また、combine_equalzeroは、重複点毎に個別に設けられる。重複点0は、フレーム0とフレーム1との両方に含まれる。よって、重複点0のcombine_equalzeroは符号化されない。重複点1は、フレーム0に含まれ、フレーム1には含まれない。よって、重複点0のcombine_equalzeroは1に設定され、ビットストリームに符号化される。
[0572]
 以下、図101及び図102に示す例において、ランク符号パターンを用いた場合について説明する。図101及び図102に示す例では、リーフノードの位置情報は(3、8、6)である。また、図101及び図102に示すフレームの列は、重複点が属する元のフレームの番号を示す。
[0573]
 図101に示す例では、フレーム0には3個の重複点が含まれ、フレーム1には1個の重複点が含まれる。よって、フレーム内重複点の最大値は、フレーム0の3個である。つまり、num_pointは3である。
[0574]
 また、num_combine_point[0]=2であり、combine_equalzero[0]は符号化されない。num_combine_point[1]=1であり、combine_equalzero[1]=1である。num_combine_point[2]=1であり、combine_equalzero[2]=1である。
[0575]
 また、図108は、図101に示す例における、フレーム0、フレーム1の占有状態(ビットマップ情報)と、num_combine_point及びcombine_equalzeroとの関係を示す図である。図108に示すようにnum_combine_point及びcombine_equalzeroの組み合わせにより、フレーム0、フレーム1の占有状態(ビットマップ情報)が一意に識別される。
[0576]
 図102に示す例では、フレーム0には3個の重複点が含まれ、フレーム1には2個の重複点が含まれ、フレーム2には4個の重複点が含まれ、フレーム3には1個の重複点が含まれる。よって、フレーム内重複点の最大値は、フレーム2の4個である。つまり、num_portは4である。
[0577]
 また、num_combine_point[0]=4であり、combine_idx[0]=0である。なお、combine_idx[0]は、符号化されなくてもよい。num_combine_point[1]=3であり、combine_idx[1]=3である。num_combine_point[2]=2であり、combine_idx[2]=4である。num_combine_point[3]=1であり、combine_idx[3]=1である。
[0578]
 また、図109は、図102に示す例における、フレーム0~フレーム3の占有状態(ビットマップ情報)と、num_combine_point及びcombine_idxとの関係を示す図である。図109に示すようにnum_combine_point及びcombine_idxの組み合わせにより、フレーム0~フレーム3の占有状態(ビットマップ情報)が一意に識別される。
[0579]
 次に、ランク符号パターンを用いた三次元データ符号化処理の流れを説明する。図110は、ランク符号パターンを用いた三次元データ符号化処理のフローチャートである。図110に示す処理は、ノード毎に繰り返し行われる。なお、ステップS6301~ステップS6306及びステップS6314の処理は、図103と同様であり、説明を省略する。
[0580]
 ステップS6306において、i<num_point[leaf]が満たされる場合(S6306でYes)、三次元データ符号化装置は、num_combine_point[leaf][i]を符号化する(S6307A)。次に、三次元データ符号化装置は、NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされるか否かを判定する(S6308A)。
[0581]
 NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされる場合(S6308AでYes)、三次元データ符号化装置は、combine_equalzero[leaf][i]を符号化する(S6309A)。
[0582]
 一方、NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされない場合(S6308AでNo)、三次元データ符号化装置は、NumberOfCombineFrame>2が満たされるか否かを判定する(S6310A)。
[0583]
 NumberOfCombineFrame>2が満たされる場合(S6310AでYes)、三次元データ符号化装置は、combine_idx[leaf][i]を符号化する(S6311A)。
[0584]
 ステップS6309A或いはステップS6311Aの後、又は、ステップS6310AにおいてNumberOfCombineFrame>2が満たされない場合(S6310AでNo)、三次元データ符号化装置は、iを1インクリメントし(S6312A)、ステップS6306以降の処理を再度行う。
[0585]
 図111は、ランク符号パターンを用いた三次元データ復号処理のフローチャートである。図111に示す処理は、ノード毎に繰り返し行われる。なお、ステップS6321~ステップS6324及びステップS6332の処理は、図106と同様であり、説明を省略する。
[0586]
 ステップS6324において、i<num_point[leaf]が満たされる場合(S6324でYes)、三次元データ復号装置は、ビットストリームからnum_combine_point[leaf][i]を復号する(S6325A)。
[0587]
 次に、三次元データ復号装置は、NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされるか否かを判定する(S6326A)。ここで、NumberOfCombineFrameはフレーム結合されたフレームの数を示し、例えば、ビットストリームに含まれる。
[0588]
 NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされる場合(S6326AでYes)、三次元データ復号装置は、ビットストリームからcombine_equalzero[leaf][i]を復号する(S6327A)。
[0589]
 なお、NumberOfCombineFrame=2かつnum_combine_point[i]=2の場合は、フレーム0とフレーム1とにフレーム間重複点が存在することが分かるため、三次元データ復号装置は、combine_equalzeroを復号しなくてもよい。その際、三次元データ復号装置は、先に復号された重複点がフレーム0に属し、後に復号された重複点がフレーム1に属すると判断する。
[0590]
 一方、NumberOfCombineFrame==2、かつ、num_combine_point[leaf][i]==1が満たされない場合(S6326AでNo)、三次元データ復号装置は、NumberOfCombineFrame>2が満たされるか否かを判定する(S6328A)。NumberOfCombineFrame>2が満たされる場合(S6328AでYes)、三次元データ復号装置は、ビットストリームからcombine_idx[leaf][i]を復号する(S6329A)。
[0591]
 ステップS6327A或いはS6329Aの後、又はステップS6328AにおいてNumberOfCombineFrame>2が満たされない場合(S6328AでNo)、三次元データ復号装置は、num_combine_pointと、combine_equalzero又はcombine_idxとの値からフレーム間重複点がどのフレームに含まれるかを算出する。また、三次元データ復号装置は、復号中のリーフノードの位置に対応する位置情報(x、y、z)を各重複点に付加することで三次元点を復号する(S6330A)。この際、三次元データ復号装置は、最初の三次元点に最も値が小さいフレーム番号を付加し、以降、フレーム番号を昇順に付加してもよい。
[0592]
 次に、三次元データ復号装置は、iを1インクリメントし(S6331A)、ステップS6324以降の処理を再度行う。
[0593]
 以下、結合符号化に用いられる各種フラグのシンタックス例を説明する。図112は、シーケンス単位(複数フレーム単位)のパラメータセットであるSPSのシンタックス例を示す図である。図112に示すSPSは、フレーム結合適用フラグ(combine_coding_enable_flag)を含む。
[0594]
 フレーム結合適用フラグ(combine_coding_enable_flag)は、シーケンスレベルでフレーム結合を適用するか否かを切替えるためのフラグである。例えば、値1はフレーム結合を適用することを示し、値0はフレーム結合を適用しないことを示す。
[0595]
 三次元データ符号化装置は、シーケンス内にてフレーム結合を適用する可能性がある場合は、フレーム結合適用フラグを値1に設定し、適用しない場合はフレーム結合適用フラグを値0に設定してもよい。三次元データ符号化装置は、フレーム結合適用フラグをSPS以外のヘッダ等に付加してもよい。
[0596]
 図113は、フレーム単位のパラメータセットであり、位置情報のパラメータセットであるGPSのシンタックス例を示す図である。図113に示すGPSは、結合フレーム数-1(NumberOfCombineFrame_minus1)を含む。
[0597]
 結合フレーム数-1(NumberOfCombineFrame_minus1)は、フレーム結合されたフレーム枚数-1を示す情報である。NumberOfCombineFrame_minus1は、combine_coding_enable_flagが1のときビットストリームに付加されてもよい。また、NumberOfCombineFrame_minus1は、GPS以外のヘッダ等に付加されてもよい。
[0598]
 三次元データ符号化装置は、NumberOfCombineFrameから値1を引いた値をNumberOfCombineFrame_minus1としてビットストリームに付加してもよい。また、三次元データ符号化装置は、フレーム結合を適用しないフレームに関するGPSには、値0のNumberOfCombineFrame_minus1を付加してもよい。
[0599]
 これにより、三次元データ復号装置は、復号したNumberOfCombineFrame_minus1に値1を加算してNumberOfCombineFrameを算出できる。また、三次元データ復号装置は、NumberOfCombineFrameが1の場合は、復号したGPSに関連するフレームにはフレーム結合が適用されていないと判断できる。この際、三次元データ復号装置は、フレーム結合に関する情報(例えば、三次元点群毎のフレーム情報(例えば点群が属するフレームを示すフレームインデックス))が該当するフレームのビットストリームには含まれないと判断し、それらの情報を復号しなくてもよい。なお、NumberOfCombineFrameの値は、例えば、1から最大結合数までの値をとる。また、最大結合数は2のべき乗の値に制限されてもよい。
[0600]
 図114は、GPSの別のシンタックス例を示す図である。図114に示すGPSは、フレーム結合適用フラグ(combine_coding_enable_flag)と、結合フレーム数-2(NumberOfCombineFrame_minus2)とを含む。
[0601]
 フレーム結合適用フラグ(combine_coding_enable_flag)は、フレームレベルでフレーム結合を適用するか否かを切替えるためのフラグである。例えば、値1はフレーム結合を適用することを示し、値0はフレーム結合を適用しないことを示す。三次元データ符号化装置は、符号化対象の三次元点群をフレーム結合して符号化した場合は、フレーム結合適用フラグを値1に設定し、適用しなかった場合はフレーム結合適用フラグを値0に設定してもよい。また、三次元データ復号装置は、復号したcombine_coding_enable_flagが1の場合は、復号したGPSに関連するフレームにはフレーム結合が適用されていないと判断してもよい。この際、三次元データ復号装置は、フレーム結合に関する情報(例えば、三次元点群毎のフレーム情報(例えば点群が属するフレームを示すフレームインデックス))が該当するフレームのビットストリームには含まれないと判断し、それらの情報を復号しなくてもよい。
[0602]
 結合フレーム数-2(NumberOfCombineFrame_minus2)は、フレーム結合されたフレーム枚数-2を示す。三次元データ符号化装置は、combine_coding_enable_flagが1のときに、NumberOfCombineFrame_minus2をビットストリームに付加してもよい。三次元データ符号化装置は、NumberOfCombineFrameから値2を引いた値をNumberOfCombineFrame_minus2としてビットストリームに付加してもよい。また、三次元データ復号装置は、復号したNumberOfCombineFrame_minus2に値2を加算することでNumberOfCombineFrameを算出してもよい。
[0603]
 なお、NumberOfCombineFrameの値は2から最大結合数までの値をとる。また、最大結合数は2のべき乗の値に制限されてもよい。
[0604]
 三次元データ符号化装置は、combine_coding_enable_flag、NumberOfCombineFrame_minus1、又はNumberOfCombineFrame_minus2をエントロピー符号化してもよい。例えば、三次元データ符号化装置は、値を二値化したうえで算術符号化する。また、三次元データ符号化装置は、これらの情報を固定長で符号化してもよい。
[0605]
 また、三次元データ符号化装置は、三次元点に付加するフレーム情報(例えば点群が属するフレームを示すフレームインデックス)を属性情報として符号化する場合は、属性情報の取り得る最大値をNumberOfCombineの最大結合数に設定してもよい。
[0606]
 以下、フレーム結合を適用するか否かの切り替えについて説明する。一部のフレームに対してフレーム結合を適用不可に設定することにより、符号化効率を向上できる可能性がある。フレーム結合を適用するか否かを判定する方法として、結合するフレーム間の距離を用いる方法と、外部情報を用いる方法と、フレーム結合を用いる場合と用いない場合とを比較する方法とがある。
[0607]
 ここで、外部情報には、例えば、速度計又は加速度計のデータが含まれる。また、フレーム結合を用いる場合と用いない場合とを比較する方法では、テスト圧縮により、結合符号化が有益であるか否かが確認される。
[0608]
 例えば、三次元データ符号化装置は、速度計又は加速度センサから車体が止まっているか否かを判定し、止まっている場合はフレーム結合を適用し、そうでない場合はフレーム結合を適用しない。また、三次元データ符号化装置は、車両の速度が予め定められた速度以下ならフレーム結合を適用し、そうでなければフレーム結合を適用しなくてもよい。これにより、フレーム結合が効果的なシーンに対してフレーム結合が適用されるようになり、符号化効率を向上できる。
[0609]
 図115は、フレーム結合を行う場合の符号化効率に対するフレーム結合を行わない場合の符号化効率の比と、フレーム結合の適用の可否との関係の例を示す図である。同図の縦軸は、フレーム結合を行わない場合の符号化効率からフレーム結合を行う場合の符号化効率を除算した値を示す。つまり、値が1を超える場合には、フレーム結合を行わない場合のほうが、フレーム結合を行う場合よりも符号化効率が向上する。よって、縦軸の比が1を超える領域ではフレーム結合が非適用に設定され、それ以外の領域ではフレーム結合が適用に設定される。
[0610]
 図116は、上述した符号化効率の比と、フレーム結合するフレーム間の距離との関係を示す図である。同図に示すように、上述した符号化効率の比と、フレーム間の距離とは相関がある。よって、三次元データ符号化装置は、フレーム間の距離を用いてフレーム結合の適用の可否を切り替えることができる。
[0611]
 例えば、三次元データ符号化装置は、下記(式I1)を用いてフレーム間の距離distを算出する。
[0612]
[数1]


[0613]
 また、三次元データ符号化装置は、複数フレームの符号化時に、符号化対象フレームの残数がGOPより少なくなった場合は、フレーム結合をしないと判断してもよい。また、三次元データ符号化装置は、GOPに含まれるフレームの数を符号化対象フレームの残数に合わせて変更してもよい。これにより全てのフレームを適切に符号化できる。
[0614]
 図117は、これらのフレーム結合の適用の可否の切り替えを模式的に示す図である。図117に示すように、フレーム結合の適用が適応的に切り替えられる。
[0615]
 図118は、三次元データ符号化処理のフローチャートである。まず、三次元データ符号化装置は、入力フレームのデータを取得する(S6341)。次に、三次元データ符号化装置は、フレーム結合を利用可能であるか否かを判定する(S6342)。例えば、この判定は外部からの指示等に基づき行われてもよいし、上述した判定のいずれかが用いられてもよい。
[0616]
 フレーム結合を利用可能である場合(S6342でYes)、三次元データ符号化装置は、フレーム結合を利用するか否かを判定する(S6343)。例えば、この判定には、上述した判定のいずれかが用いられる。
[0617]
 フレーム結合を利用すると判定された場合(S6343でYes)、三次元データ符号化装置は、フレーム結合を行い(S6344)、結合フレームを符号化する(S6345)。
[0618]
 一方、フレーム結合が利用不可である場合(S6342でNo)、又は、フレーム結合を利用しないと判定された場合(S6343でNo)、三次元データ符号化装置は、フレーム結合を行わず、入力フレームを符号化する(S6345)。
[0619]
 図119は、図118に示す三次元データ符号化処理の具体例を示す図である。図119に示す処理は、図118に示すステップS6343の代わりにステップS6343A及びS6343Bを含む。
[0620]
 フレーム結合を利用可能である場合(S6342でYes)、三次元データ符号化装置は、結合するフレーム間の距離diffを算出する(S6343A)。次に、三次元データ符号化装置は、距離diffが予め定められた閾値thより大きいかを判定する(S6343B)。距離diffが閾値th以下の場合(S6343BでNo)、三次元データ符号化装置は、フレーム結合を行い(S6344)、結合フレームを符号化する(S6345)。一方、距離diffが閾値thより大きい場合(S6343BでYes)、三次元データ符号化装置は、フレーム結合を行わず、入力フレームを符号化する(S6345)。
[0621]
 図120は、本実施の形態に係る三次元データ符号化装置のブロック図である。図120に示す三次元データ符号化装置6300は、I/Oモジュール6301と、結合決定部6302と、結合符号化部6303と、符号化部6304と、I/Oモジュール6305を備える。
[0622]
 I/Oモジュール6301は、点群データを取得する。結合決定部6302は、フレーム結合を適用するか否かを決定する。例えば、結合決定部6302は、上述した、結合するフレーム間の距離を用いる方法と、外部情報を用いる方法と、フレーム結合を用いる場合と用いない場合とを比較する方法とのいずれかを用いて、フレーム結合を適用するか否かを決定する。
[0623]
 結合符号化部6303は、フレーム結合を適用すると決定された場合に、フレーム結合を行い、結合フレームを符号化する。符号化部6304は、フレーム結合を適用しないと決定された場合に、フレーム結合を行わず、入力フレームを符号化する。I/Oモジュール6305は、結合符号化部6303又は符号化部6304で生成されたビットストリームを出力する。
[0624]
 図121は、結合決定部6302の具体例を示す図である。図121に示す三次元データ符号化装置6300Aは、図120に示す結合決定部6302の代わりに距離算出部6302Aを備える。距離算出部6302Aは、結合するフレーム間の距離diffを算出する。距離算出部6302Aは、距離diffが予め定められた閾値thより大きい場合、フレーム結合を適用しないと決定し、距離diffが閾値th以下の場合、フレーム結合を適用すると決定する。
[0625]
 以下、メタデータ(付加情報)の送出例を説明する。三次元データ符号化装置は、フレーム結合を行った場合、GPS又はAPSなどには、結合フレームの復号に使用するメタデータを格納してもよい。例えば、このメタデータは、結合フレーム数、又は結合されるフレームを特定するための情報など、結合フレーム内で共通の情報であってもよい。なお、APSとは、例えば、フレーム単位の属性情報のパラメータセットである。
[0626]
 一方、三次元データ符号化装置は、復号に必須でない情報、又は、復号後にアプリケーションで活用可能な情報を、例えば、フレーム毎にSEI(Supplemental Enhancement Information)などのメタデータに格納し、フレーム毎に示してもよい。例えば、このメタデータは、フレームデータの生成時刻、符号化時刻、復号時刻、又は再生時刻などを示すタイムスタンプを含む。また、このメタデータは、フレームデータを取得した際のセンサ情報を含んでもよい。センサ情報は、例えば、センサのスピード、加速度、位置情報、又は向き等を含む。なお、センサ情報は、その他のセンサで得られる情報を含んでもよい。
[0627]
 言い換えれば、三次元データ符号化装置は、結合フレームの復号に使用するメタデータを一つにまとめ、結合フレームを分割した後に使用するデータをフレーム毎に示す。これにより、三次元データ復号装置におけるフレーム毎の情報の統合又は分割処理が不要となる可能性がある。
[0628]
 なお、三次元データ符号化装置は、SEIに対応するフレームの情報が記載されるGPS、APS又はSPSのインデックスを記載してもよい。これにより、三次元データ復号装置は、対応する情報を参照できる。
[0629]
 また、例えば、SEIは、GPS又はAPSの後に送信されると規定され、三次元データ復号装置は、SEIの前に送信されるGPS又はAPSが当該SEIに対応すると判定してもよい。
[0630]
 図122は、符号化データ(ビットストリーム)の構成例を示す図である。図122に示すように、結合フレームを復号する際に使用するメタデータは、全フレームの情報がまとめて格納される。また、結合フレームを分割した後に使用されるメタデータは、フレーム毎に格納される。
[0631]
 また、三次元データ符号化装置は、復号に必須ではないが、復号に用いることが可能なメタデータを、全フレームの情報をまとめてSEIに格納し、復号後にアプリケーションで用いるデータを、フレーム毎に格納してもよい。復号に用いるデータをまとめることで符号化のオーバヘッドを削減し、かつアプリケーションで用いるデータを、そのまま後段に入力することが可能となる。
[0632]
 図123は、符号化データ(ビットストリーム)の構成例を示す図である。図123に示すように、結合フレームを復号する際に使用するメタデータは、全フレームの情報がまとめて格納される。復号に必須ではないが、復号に用いることのできるメタデータは、全フレームの情報がまとめて格納される。
[0633]
 なお、上記では、メタデータに、結合フレームの全フレームの情報が格納される例と、フレーム毎の情報が格納されか例とを説明したが、メタデータに一部のフレームの情報が格納されてもよい。例えば、一部のフレームはセンサ情報を含まない場合は、メタデータは、センサ情報を含む残りのフレームの情報を示してもよい。
[0634]
 次に、メタデータの復号処理について説明する。図124は、メタデータの復号処理のフローチャートである。まず、三次元データ復号装置は、メタデータを受信する(S6351)。次に、三次元データ復号装置は、メタデータが2以上のフレームの情報を含むか否かを判定する(S6352)。つまり、三次元データ復号装置は、メタデータに、結合フレームの全フレームの情報を格納されているか、フレーム毎の情報が格納されているかを判定する。なお、メタデータに、結合フレームの全フレームの情報を格納されているか、フレーム毎の情報が格納されているかは、メタデータの種類、又はSEIのタイプなどによって予め規定されてもよい。または、メタデータ内に、結合フレームの全フレームの情報が格納されているか、フレーム毎の情報が格納されているかを示す情報が格納されてもよい。三次元データ復号装置は、これらに基づき、メタデータに含まれるフレームの数を判定し、処理を実施できる。
[0635]
 メタデータが2以上のフレームの情報を含む場合(S6352でYes)、三次元データ復号装置は、当該2以上のフレームの情報を解析し、得られた情報を復号処理に使用する(S6353)。次に、三次元データ復号装置は、2以上のフレームの情報を、フレーム毎の情報に変換し、フレーム毎の情報を後段のシステムレイヤに入力する(S6354)。
[0636]
 一方、メタデータが2以上のフレームの情報を含まない場合(S6352でNo)、三次元データ復号装置は、当該情報を復号に用いず、当該情報をシステムレイヤに入力する(S6355)。
[0637]
 以上のように、本実施の形態に係る三次元データ符号化装置は、図125に示す処理を行う。三次元データ符号化装置は、複数の点群データ(例えば複数のフレーム)を結合することで結合点群データを生成する(S6361)。次に、三次元データ符号化装置は、結合点群データを符号化することでビットストリームを生成する(S6362)。ビットストリームは、(i)複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報(例えばnum_point)と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックス(例えば「i」)の各々と対応し、対応する点インデックスを有する三次元点が複数の点群データのいずれに属するかを示す複数の第2情報(例えば、(1)combine_bit[i][j]、(2)num_combine_point[i]及びcombine_equalzero[i]、又は、(3)num_combine_pint[i]及びcombine_idx[i])と、を含む。
[0638]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。例えば、対象ノードに含まれる重複点の総数と、各重複点が属する点群データを示す情報と、各重複点の識別子とを付加する場合に比べて、データ量を削減できる。
[0639]
 例えば、複数の第2情報の各々は、対応する点インデックスを有する三次元点の数を示す第3情報(例えば、num_combine_point[i])と、第3情報との組み合わせにより、対応する点インデックスを有する三次元点が複数の点群データのいずれに属するかを特定可能な第4情報(例えば、combine_equalzero[i]、又は、combine_idx[i])とを含む。言い換えると、第3情報と第4情報との組み合わせはビットマップ情報で示される各パターンを一意に対応付けられる。また、ビットマップ情報は、複数の点群データの数と同じビット数を有する。複数のビットは複数の点群データと一対一で対応し、各ビットにより対応する点群データに属する三次元点(重複点)が対象ノードに存在するか否かが示される。
[0640]
 例えば、第3情報で示される三次元点の数が複数の点群データの数と等しい場合、対応する第2情報は、第4情報を含まない。これによれば、ビットストリームの符号量を低減できる。
[0641]
 例えば、複数の第2情報の各々は、複数の点群データの数と同じビット数を有するビットマップ情報(例えば、combine_bit[i][j])である。
[0642]
 例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0643]
 また、本実施の形態に係る三次元データ復号装置は、図126に示す処理を行う。三次元データ復号装置は、複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報(例えばnum_point)と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックス(例えば「i」)の各々と対応し、対応する点インデックスを有する三次元点が複数の点群データのいずれに属するかを示す複数の第2情報(例えば、(1)combine_bit[i][j]、(2)num_combine_point[i]及びcombine_equalzero[i]、又は、(3)num_combine_pint[i]及びcombine_idx[i])と、を取得する(S6371)。三次元データ復号装置は、第1情報及び複数の第2情報を用いて、(i)ビットストリームから結合点群データを復号し、(ii)結合点群データから複数の点群データを生成する(S6372)。例えば、三次元データ復号装置は、第1情報及び複数の第2情報を用いて、対象ノードに含まれる三次元点(重複点)の数と、各三次元点が属する点群データを判定する。三次元データ復号装置は、対象ノードに含まれる三次元点(重複点)の数に基づき結合点群データを復号し、各三次元点が属する点群データに基づき、結合点群データから複数の点群データを分離する。
[0644]
 これによれば、複数の点群データをまとめて符号化することにより符号化効率を向上できる。さらに、第1情報及び第2情報により、点群データ内の重複点及び点群データ間の重複点が存在する場合において、効率的に重複点を識別できる。
[0645]
 例えば、複数の第2情報の各々は、対応する点インデックスを有する三次元点の数を示す第3情報(例えば、num_combine_point[i])と、第3情報との組み合わせにより、対応する点インデックスを有する三次元点が複数の点群データのいずれに属するかを特定可能な第4情報(例えば、combine_equalzero[i]、又は、combine_idx[i])とを含む。
[0646]
 例えば、第3情報で示される三次元点の数が複数の点群データの数と等しい場合、対応する第2情報は、第4情報を含まない。これによれば、ビットストリームの符号量を低減できる。
[0647]
 例えば、複数の第2情報の各々は、複数の点群データの数と同じビット数を有するビットマップ情報(例えば、combine_bit[i][j])である。
[0648]
 例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
[0649]
 以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
[0650]
 また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
[0651]
 また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
[0652]
 また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
[0653]
 また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
[0654]
 また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
[0655]
 また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
[0656]
 以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

産業上の利用可能性

[0657]
 本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。

符号の説明

[0658]
 4601 三次元データ符号化システム
 4602 三次元データ復号システム
 4603 センサ端末
 4604 外部接続部
 4611 点群データ生成システム
 4612 提示部
 4613 符号化部
 4614 多重化部
 4615 入出力部
 4616 制御部
 4617 センサ情報取得部
 4618 点群データ生成部
 4621 センサ情報取得部
 4622 入出力部
 4623 逆多重化部
 4624 復号部
 4625 提示部
 4626 ユーザインタフェース
 4627 制御部
 4630 第1の符号化部
 4631 位置情報符号化部
 4632 属性情報符号化部
 4633 付加情報符号化部
 4634 多重化部
 4640 第1の復号部
 4641 逆多重化部
 4642 位置情報復号部
 4643 属性情報復号部
 4644 付加情報復号部
 4650 第2の符号化部
 4651 付加情報生成部
 4652 位置画像生成部
 4653 属性画像生成部
 4654 映像符号化部
 4655 付加情報符号化部
 4656 多重化部
 4660 第2の復号部
 4661 逆多重化部
 4662 映像復号部
 4663 付加情報復号部
 4664 位置情報生成部
 4665 属性情報生成部
 4801 符号化部
 4802 多重化部
 4910 第1の符号化部
 4911 分割部
 4912 位置情報符号化部
 4913 属性情報符号化部
 4914 付加情報符号化部
 4915 多重化部
 4920 第1の復号部
 4921 逆多重化部
 4922 位置情報復号部
 4923 属性情報復号部
 4924 付加情報復号部
 4925 結合部
 4931 スライス分割部
 4932 位置情報タイル分割部
 4933 属性情報タイル分割部
 4941 位置情報タイル結合部
 4942 属性情報タイル結合部
 4943 スライス結合部
 5410 符号化部
 5411 分割部
 5412 位置情報符号化部
 5413 属性情報符号化部
 5414 付加情報符号化部
 5415 多重化部
 5421 タイル分割部
 5422 スライス分割部
 5431、5441 フレームインデックス生成部
 5432、5442 エントロピー符号化部
 5450 復号部
 5451 逆多重化部
 5452 位置情報復号部
 5453 属性情報復号部
 5454 付加情報復号部
 5455 結合部
 5461、5471 エントロピー復号部
 5462、5472 フレームインデックス取得部
 5510 位置情報符号化部
 5511、5521 フレームインデックス生成部
 5512、5522 エントロピー符号化部
 5520 属性情報符号化部
 5530 位置情報復号部
 5531、5541 エントロピー復号部
 5532、5542 フレームインデックス取得部
 5540 属性情報復号部
 5550 フレーム結合部
 5560 フレームインデックス符号化部
 5561 ビットマップ生成部
 5562、5583 ルックアップテーブル参照部
 5563、5581 ビット数取得部
 5570 結合データ生成部
 5582 ランク取得部
 5584 フレーム分割部
 6300、6300A 三次元データ符号化装置
 6301、6305 I/Oモジュール
 6302 結合決定部
 6302A 距離算出部
 6303 結合符号化部
 6304 符号化部

請求の範囲

[請求項1]
 複数の点群データを結合することで結合点群データを生成し、
 前記結合点群データを符号化することでビットストリームを生成し、
 前記ビットストリームは、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を含む、
 三次元データ符号化方法。
[請求項2]
 前記複数の第2情報の各々は、
  対応する点インデックスを有する三次元点の数を示す第3情報と、
  前記第3情報との組み合わせにより、前記対応する点インデックスを有する前記三次元点が前記複数の点群データのいずれに属するかを特定可能な第4情報とを含む
 請求項1記載の三次元データ符号化方法。
[請求項3]
 前記第3情報で示される前記三次元点の数が前記複数の点群データの数と等しい場合、対応する前記第2情報は、前記第4情報を含まない
 請求項2記載の三次元データ符号化方法。
[請求項4]
 前記複数の第2情報の各々は、前記複数の点群データの数と同じビット数を有するビットマップ情報である
 請求項1記載の三次元データ符号化方法。
[請求項5]
 複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を取得し、
 前記第1情報及び前記複数の第2情報を用いて、(i)前記ビットストリームから前記結合点群データを復号し、(ii)前記結合点群データから前記複数の点群データを生成する
 三次元データ復号方法。
[請求項6]
 前記複数の第2情報の各々は、
  対応する点インデックスを有する三次元点の数を示す第3情報と、
  前記第3情報との組み合わせにより、前記対応する点インデックスを有する前記三次元点が前記複数の点群データのいずれに属するかを特定可能な第4情報とを含む
 請求項5記載の三次元データ復号方法。
[請求項7]
 前記第3情報で示される前記三次元点の数が前記複数の点群データの数と等しい場合、対応する前記第2情報は、前記第4情報を含まない
 請求項6記載の三次元データ復号方法。
[請求項8]
 前記複数の第2情報の各々は、前記複数の点群データの数と同じビット数を有するビットマップ情報である
 請求項5記載の三次元データ復号方法。
[請求項9]
 プロセッサと、
 メモリとを備え、
 前記プロセッサは、前記メモリを用いて、
 複数の点群データを結合することで結合点群データを生成し、
 前記結合点群データを符号化することでビットストリームを生成し、
 前記ビットストリームは、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を含む、
 三次元データ符号化装置。
[請求項10]
 プロセッサと、
 メモリとを備え、
 前記プロセッサは、前記メモリを用いて、
 複数の点群データが結合された結合点群データが符号化されることで生成されたビットストリームから、(i)前記複数の点群データの各々に含まれる、位置情報が同じ三次元点である重複点の最大数を示す第1情報と、(ii)前記最大数と同数の値が割り当てられたインデックスであって、同一の点群データに属する複数の重複点を識別するための点インデックスの各々と対応し、対応する点インデックスを有する三次元点が前記複数の点群データのいずれに属するかを示す複数の第2情報と、を取得し、
 前記第1情報及び前記複数の第2情報を用いて、(i)前記ビットストリームから前記結合点群データを復号し、(ii)前記結合点群データから前記複数の点群データを生成する
 三次元データ復号装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]

[ 図 43]

[ 図 44]

[ 図 45]

[ 図 46]

[ 図 47]

[ 図 48]

[ 図 49]

[ 図 50]

[ 図 51]

[ 図 52]

[ 図 53]

[ 図 54]

[ 図 55]

[ 図 56]

[ 図 57]

[ 図 58]

[ 図 59]

[ 図 60]

[ 図 61]

[ 図 62]

[ 図 63]

[ 図 64]

[ 図 65]

[ 図 66]

[ 図 67]

[ 図 68]

[ 図 69]

[ 図 70]

[ 図 71]

[ 図 72]

[ 図 73]

[ 図 74]

[ 図 75]

[ 図 76]

[ 図 77]

[ 図 78]

[ 図 79]

[ 図 80]

[ 図 81]

[ 図 82]

[ 図 83]

[ 図 84]

[ 図 85]

[ 図 86]

[ 図 87]

[ 図 88]

[ 図 89]

[ 図 90]

[ 図 91]

[ 図 92]

[ 図 93]

[ 図 94]

[ 図 95]

[ 図 96]

[ 図 97]

[ 図 98]

[ 図 99]

[ 図 100]

[ 図 101]

[ 図 102]

[ 図 103]

[ 図 104]

[ 図 105]

[ 図 106]

[ 図 107]

[ 図 108]

[ 図 109]

[ 図 110]

[ 図 111]

[ 図 112]

[ 図 113]

[ 図 114]

[ 図 115]

[ 図 116]

[ 図 117]

[ 図 118]

[ 図 119]

[ 図 120]

[ 図 121]

[ 図 122]

[ 図 123]

[ 図 124]

[ 図 125]

[ 図 126]