処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020129660 - 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム

Document

明 細 書

発明の名称 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008  

課題を解決するための手段

0009   0010   0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077  

符号の説明

0078  

請求の範囲

1   2   3   4   5   6   7   8  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム

技術分野

[0001]
 本開示は、3次元モデル編集装置および3次元モデル編集方法、並びにプログラムに関し、特に、3次元モデルの編集を容易に行うことができるようにした3次元モデル編集装置および3次元モデル編集方法、並びにプログラムに関する。

背景技術

[0002]
 従来、3次元モデルを編集する技術として、様々な技術が提案されている。
[0003]
 例えば、特許文献1には、人物の3次元モデルに対する編集が行われたときに、編集後の3次元モデルの形状に最も適したテクスチャをデータベースから選択することで、3次元モデルの変形に応じてテクスチャを変化させることを可能とした顔画像を編集する方法が開示されている。
[0004]
 また、特許文献2には、2次元画像に基づいて3次元モデルを生成するために、2次元画像と3次元モデルとを重畳して表示しながら、3次元モデルに対する編集を可能としたモデリングシステムが開示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特表2017-531242号公報
特許文献2 : 特開平09-097354号公報

発明の概要

発明が解決しようとする課題

[0006]
 ところで、上述した特許文献1で開示されている技術では、人物の動画像を事前に取得して、人物の表情が変化したときの3次元モデルおよびテクスチャのデータベースを予め構築する必要がある。さらに、テクスチャを変化させたときに3次元モデルが連動するように変化させる編集を行うことは困難であった。
[0007]
 また、上述した特許文献2で開示されている技術では、2次元画像の輪郭情報に合うように3次元モデルの形状パラメータを自動で変化させることで、2次元画像に合わせた3次元モデルの生成を可能としている。しかしながら、3次元モデルが複雑なパラメータから構成される場合や、物体の輪郭が滑らかでエッジが曲線となるような物体の場合には、対応点の計算が困難になり、正しい変形を行うように編集することは困難であった。
[0008]
 本開示は、このような状況に鑑みてなされたものであり、3次元モデルの編集を容易に行うことができるようにするものである。

課題を解決するための手段

[0009]
 本開示の一側面の3次元モデル編集装置は、3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する。
[0010]
 本開示の一側面の3次元モデル編集方法またはプログラムは、3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する。
[0011]
 本開示の一側面においては、3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する特徴点どうしを一致させ、編集が施された2次元画像に合わせて3次元モデルが変形される。

図面の簡単な説明

[0012]
[図1] 本技術を適用した3次元モデル編集システムの一実施の形態の構成例を示すブロック図である。
[図2] 2次元画像および3次元モデルの対応点について説明する図である。
[図3] 2次元画像上の対応点が3次元モデル上の対応点と一致している状態を示す図である。
[図4] 2次元画像上の対応点が3次元モデル上の対応点と不一致となった状態を示す図である。
[図5] 3次元モデル上の対応点を2次元画像上の対応点に一致するように変形させる変形処理について説明する図である。
[図6] 3次元モデル編集処理を説明するフローチャートである。
[図7] 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

発明を実施するための形態

[0013]
 以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
[0014]
 <3次元モデル編集システムの構成例>
 図1は、本技術を適用した3次元モデル編集システムの一実施の形態の構成例を示すブロック図である。
[0015]
 図1に示すように、3次元モデル編集システム11は、3次元モデル取得部21、ユーザ操作入力部22、出力部23、および3次元モデル編集部24を備えて構成される。
[0016]
 3次元モデル取得部21は、例えば、被写体を囲うように配置される複数台の撮像装置により構成され、それらの撮像装置により取得される複数枚の画像から、被写体の3次元モデルを取得して3次元モデル編集部24に入力する。
[0017]
 ユーザ操作入力部22は、例えば、キーボードやマウス、タッチパネルなどの操作デバイスにより構成され、ユーザによる操作が行われると、その操作に応じたユーザ操作情報を3次元モデル編集部24に入力する。例えば、3次元モデル編集システム11では、後述するように、3次元モデルから2次元画像を描画する際の視点を指定する視点情報や、2次元画像を編集する操作に応じた編集情報などが、ユーザ操作情報として3次元モデル編集部24に入力される。
[0018]
 出力部23は、3次元モデル編集部24において編集処理が施された3次元モデルを、3次元モデル編集システム11の外部へ出力する。例えば、出力部23は、3次元モデルをレンダリングして得られる画像を表示する表示装置や、3次元モデルを構成するデータをデータ通信によりユーザ端末へ送信する送信装置により構成することができる。
[0019]
 3次元モデル編集部24は、例えば、3次元モデル取得部21により取得された3次元モデルに対して、ユーザ操作入力部22から入力されるユーザ操作情報に基づいて編集処理を施し、出力部23を介して出力する。即ち、3次元モデル編集部24は、図1に示すように、2次元画像描画部31、画像編集部32、対応点取得部33および34、3次元モデル変形部35、並びにテクスチャ再投影部36を備えて構成される。
[0020]
 2次元画像描画部31は、3次元モデル取得部21から供給される3次元モデルをレンダリングし、任意の仮想カメラから見た2次元画像を描画して、その結果得られる2次元画像を画像編集部32に供給する。このとき、2次元画像描画部31は、仮想カメラの解像度や、視野角、視点位置などのようにレンダリングに必要な設定事項を自由に選択してレンダリングを行うことができる。例えば、2次元画像描画部31は、変形された3次元モデルに貼り付けるテクスチャを得るのに適していると予め設定されている設定事項を用いたり、ユーザ操作入力部22から供給される視点情報に従った設定事項を用いたりすることができる。
[0021]
 ここで、2次元画像描画部31がレンダリングに使用する仮想カメラの内部パラメータIntおよび外部パラメータExtを用いて、3次元モデルの頂点(X,Y,Z)の2次元画像上での投影位置(u,v)は、次の式(1)で表される。
[0022]
[数1]


[0023]
 画像編集部32は、図示しない表示装置に表示される2次元画像を見ながらユーザがユーザ操作入力部22に対する操作を行ってユーザ操作情報として入力される編集情報に基づいて、2次元画像描画部31から供給される2次元画像に対する編集処理を行う。例えば、3次元モデル編集システム11では、ユーザが、自身が被写体として得られた2次元画像の顔に対して、目を大きくする編集や、肌を滑らかにする編集、顔の輪郭を変える編集などを行うことが想定される。そして、画像編集部32は、ユーザの操作に応じて編集された2次元画像を対応点取得部33に供給する。
[0024]
 対応点取得部33は、画像編集部32から供給される2次元画像から、その2次元画像に写されている被写体の特徴を表す特徴点を抽出する。同様に、対応点取得部34は、3次元モデル取得部21から供給される3次元モデルから、その3次元モデルの特徴を表す特徴点を抽出する。ここで、対応点取得部33が抽出する特徴点と、対応点取得部34が抽出する特徴点とは対応しており、対応点取得部33が抽出する特徴点を2次元画像上の対応点と称し、対応点取得部34が抽出する特徴点を3次元モデル上の対応点と称する。
[0025]
 例えば、図2のAには、対応点取得部33により取得された2次元画像上の対応点の一例が示されており、図2のBには、対応点取得部34により取得された3次元モデル上の対応点の一例が示されている。図示するように、目や眉、鼻、口などのように顔を構成するパーツごとに、それぞれのパーツの特徴を表す特徴点(同じ意味を持つ形状を表す点)が、2次元画像上と3次元モデル上とで対応するように、対応点として取得されている。即ち、右目の目じりを表す特徴点や、口の右端を表す特徴点などが、2次元画像上および3次元モデルそれぞれから取得される。
[0026]
 ここで、3次元モデルから対応点を取得する取得方法としては、ユーザが手動で指定することなどが検討される。例えば、3DMM(3D Morphable Model)に基づいて作成されている3次元モデルであれば、3次元モデルの変形を行っても常に同じインデックスの頂点は同じ意味を示す点(例えば、1000番目の頂点は常に鼻の先端の頂点)を指している。このため、一度、何番目の頂点が顔形状のどの部分を指すかを指定することにより、その3DMMに基づいて作成された全ての3次元モデルから対応点を取得することが可能となる。
[0027]
 また、2次元画像から対応点を取得する取得方法としては、既存の顔特徴点の検出方法を利用したり、手動で指定したりすることが検討される。そして、どのような手法であっても、3次元モデルと2次元画像との間で特徴点どうしの対応関係を取得することができれば、アルゴリズムの適用を行うことが可能である。
[0028]
 ところで、画像編集部32が2次元画像に対して編集を行う前であれば、図3に示すように、2次元画像上の対応点P_2Dは、3次元モデル上の対応点P_3Dと一致している。即ち、図3のAに示すように、2次元画像から目じりの対応点P_2Dが取得されている場合、その2次元画像をテクスチャとして3次元モデルに貼り付けると、その対応点P_2Dは、図3のBに示す3次元モデルの目じりの対応点P_3Dに一致するように配置されることになる。
[0029]
 これに対し、画像編集部32が2次元画像に対して編集を行った後では、図4に示すように、2次元画像上の対応点P_2Dは、3次元モデル上の対応点P_3Dと一致せずに、それらは不一致となってしまう。即ち、図4のAに示す2次元画像では、目が大きくなるような編集が行われている。このような編集は、スマートフォンアプリや、アミューズメント施設に置かれている写真シール機などで一般的に行われるものである。
[0030]
 そして、編集された2次元画像をテクスチャとして3次元モデルに貼り付けると、その2次元画像上の目じりの対応点P_2Dは、図4のBにおいて破線で示すように、3次元モデルの目じりの対応点P_3Dとは一致しない個所に配置されることになる。即ち、メッシュとテクスチャの対応関係が崩れてしまい、違和感のある表示になってしまう。例えば、目領域のテクスチャのみが大きくなることで、メッシュの目形状によって生じる影の位置が不自然であったり、目領域のメッシュの凹凸が目領域のテクスチャと対応していないため、斜めから見た際に目が歪んで見えたりすることになる。
[0031]
 そこで、3次元モデル変形部35は、編集された2次元画像上の対応点P_2Dに、3次元モデル上の対応点P_3Dが一致するように、メッシュとテクスチャの対応関係が正しくなるように3次元モデルを変形する変形処理を行う。
[0032]
 即ち、図5のBに示すように、編集された2次元画像(図5のA)をテクスチャとして3次元モデルに貼り付けたときに、編集された2次元画像上の対応点P_2Dと一致するように、3次元モデル上の対応点P_3Dを移動させるような変形処理が3次元モデルに対して施される。これにより、2次元画像をテクスチャとして3次元モデルに貼り付けると、変形された3次元モデル上の対応点P_3Dに一致するように、編集された2次元画像上の対応点P_2Dが配置されることになる。
[0033]
 例えば、3次元モデル変形部35は、2次元画像Aおよび3次元モデルBの間で、互いに対応する点Ai=(x,y)および点Bi=(X,Y,Z)が存在するとき、点Bi=(X,Y,Z)に点Ai=(x,y)が持つテクスチャが投影されるような変形を行う。その際、3次元モデル変形部35は、自然な形状変化となるように、点Biの近傍にある頂点も変形する。このとき、元の形状に近い点へと変形を行うため、変形後の点は変形前の点を通りカメラ平面と並行な平面上に投影する。つまり、点Biとその近傍点を、点Biを通りカメラ平面と平行な平面上に投影される点Aiと一致するように変形する。
[0034]
 即ち、図5のBに示すように、3次元モデルの目じり形状の部分(対応点P_3D)を、カメラに対し垂直かつ目じり形状の部分を通る平面(濃い領域と薄い領域との境界により表される平面)に、2次元画像を投影する際の目じり部分(対応点P_2D)と一致するように変形する。このように3次元モデルを変形することにより、図5のAに示す2次元画像の目じり部分(対応点P_2D)が、3次元モデルの目じり形状の部分(対応点P_3D)に投影される状態となる。
[0035]
 具体的には、2次元画像描画部31のレンダリングに用いられた仮想カメラの内部パラメータIntおよび外部パラメータExtは、次の式(2)に示すように表される。
[0036]
[数2]


[0037]
 そして、点Aiの投影先となる点Dstは、内部パラメータIntおよび外部パラメータExtを用いて、次の式(3)に従って求められる。
[0038]
[数3]


[0039]
 このとき、点Biを点Dstへと移動し、点Biから一定距離以内に存在する近傍の点B_neighborは、点Biとの位置関係を保ったまま点Dst周辺へと移動される。例えば、点Biの近傍にある点B_neighborの変形先となる点DST_neighborは、点Biの近傍にある点B_neighbor=[X_N,Y_N,Z_N]を用いて、次の式(4)に従って求められる。
[0040]
[数4]


[0041]
 このときに発生するメッシュの粗密の変化や、位置の重複などについては、スムージングやメッシュ再分割などを用いて対応することができる。
[0042]
 テクスチャ再投影部36は、3次元モデル変形部35から供給される変形された3次元モデルに対して、画像編集部32において編集された2次元画像を、カメラパラメータに従って投影する。これにより、画像編集部32は、ユーザによって編集された2次元画像であるテクスチャが対応する3次元モデルのメッシュに正しく投影された、変形された3次元モデルを取得することができる。
[0043]
 そして、テクスチャ再投影部36により2次元画像が投影された3次元モデルは、2次元画像描画部31に供給されるとともに、出力部23に出力され、例えば、図示しない表示装置に表示される。ユーザは、その変形された3次元モデルを見ながら、さらなる変形を行いたい場合には、任意の視点から3次元モデルを見た2次元画像を、変形された3次元モデルを新たな入力として2次元画像描画部31に描画させ、3次元モデルの編集を継続して行うことができる。その後、同様の編集が繰り返して行われ、所定回数の編集が行われた場合、または、ユーザが満足する3次元モデルが得られた場合、3次元モデルの最終的な出力が行われる。
[0044]
 以上のように3次元モデル編集システム11は構成されており、ユーザによる2次元画像に対する編集を反映した3次元モデルを出力することができる。従って、ユーザは、3次元モデルを変形するような複雑な操作を行う必要がなく、2次元画像に対して編集する容易な操作を行うだけで、3次元モデルを編集することができる。
[0045]
 <3次元モデル編集処理>
 図6に示すフローチャートを参照して、3次元モデル編集部24が行う3次元モデル編集処理にいて説明する。
[0046]
 例えば、3次元モデル取得部21から3次元モデル編集部24へ3次元モデルが供給されると処理が開始され、ステップS11において、対応点取得部34は、その3次元モデルの特徴を表す特徴点を、対応点として取得する。
[0047]
 ステップS12において、2次元画像描画部31は、3次元モデルのレンダリングに必要な設定事項、例えば、仮想カメラの視点位置などを選択するレンダリング設定を行う。
[0048]
 ステップS13において、2次元画像描画部31は、ステップS13で設定された視点位置などに従って、3次元モデル取得部21から供給される3次元モデルを、その視点から見た2次元画像を描画する。
[0049]
 ステップS14において、画像編集部32は、ユーザ操作入力部22から供給されるユーザの操作に従った編集情報に基づいて、ステップS13で2次元画像描画部31により描画された2次元画像に対する編集処理を行う。
[0050]
 ステップS15において、対応点取得部33は、ステップS14で画像編集部32により編集された2次元画像に写されている被写体の特徴を表す特徴点を、対応点として取得する。
[0051]
 ステップS16において、3次元モデル変形部35は、ステップS11で対応点取得部34により取得された3次元モデル上の対応点、および、ステップS15で対応点取得部33により取得された編集された2次元画像上での対応点を用いて、3次元モデルを変形する変形処理を行う。
[0052]
 ステップS17において、テクスチャ再投影部36は、ステップS14で画像編集部32により編集された2次元画像をテクスチャとし、ステップS16で3次元モデル変形部35により変形された3次元モデルに対して投影する。そして、テクスチャ再投影部36は、2次元画像が投影された3次元モデルを、出力部23に出力して、図示しない表示装置に表示させる。
[0053]
 ステップS18において、ユーザは、ステップS17で出力された3次元モデルに対して満足したか否かを判断し、その判断結果を示す操作入力をユーザ操作入力部22に対して行い、3次元モデル編集部24では、その3次元モデルを最終出力とするか否かが判定される。
[0054]
 ステップS18において、最終出力とすると判定されなかった場合、即ち、ユーザが現時点での3次元モデルに満足していない場合、処理はステップS12に戻る。そして、ステップS16で3次元モデル変形部35により変形された3次元モデルが2次元画像描画部31に供給され、以下、同様の処理が繰り返して行われる。
[0055]
 一方、ステップS18において、最終出力とすると判定された場合、即ち、ステップS17で出力された3次元モデルにユーザが満足している場合、3次元モデル編集処理は終了される。
[0056]
 以上のように、3次元モデル編集システム11では、2次元画像に対するユーザの編集に従って、2次元画像上の対応点の変化に合わせて3次元モデル上の対応点および対応点の周辺の点が変形される。これにより、3次元モデル編集システム11では、3次元モデルのテクスチャのみを変化させた場合に発生することが想定される、メッシュ形状とテクスチャとの意味のずれ(対応点どうしの不一致)を抑制することができる。
[0057]
 また、3次元モデル編集システム11では、3次元モデルの変形を2次元画像に対する編集に基づいて行うことができるので、ユーザは、一般的な2次元画像に対する容易な編集操作によって、3次元モデルの変形を行うことができる。このように、3次元モデル編集システム11は、2次元画像に対する編集操作を3次元モデルの変形操作に流用することができる。
[0058]
 <コンピュータの構成例>
 次に、上述した一連の処理(3次元モデル編集方法)は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
[0059]
 図7は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
[0060]
 プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
[0061]
 あるいはまた、プログラムは、ドライブ109によって駆動されるリムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
[0062]
 なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
[0063]
 コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
[0064]
 CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
[0065]
 これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
[0066]
 なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
[0067]
 ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
[0068]
 また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
[0069]
 さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0070]
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
[0071]
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0072]
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
[0073]
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
[0074]
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
[0075]
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
[0076]
 <構成の組み合わせ例>
 なお、本技術は以下のような構成も取ることができる。
(1)
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 3次元モデル編集装置。
(2)
 前記3次元モデルをレンダリングして前記2次元画像を描画し、
 前記2次元画像に対するユーザによる編集操作に従って、前記2次元画像を編集する
 上記(1)に記載の3次元モデル編集装置。
(3)
 前記3次元モデルから前記特徴点を取得し、
 編集された前記2次元画像から前記特徴点を取得する
 上記(1)または(2)に記載の3次元モデル編集装置。
(4)
 変形された前記3次元モデルに対して、編集された前記2次元画像を投影してテクスチャを張り付ける
 上記(1)から(3)までのいずれかに記載の3次元モデル編集装置。
(5)
 変形された前記3次元モデルを入力として前記2次元画像を描画し、前記2次元画像の編集および前記3次元モデルの変形を繰り返して行う
 上記(1)から(4)までのいずれかに記載の3次元モデル編集装置。
(6)
 前記3次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
 上記(1)から(5)までのいずれかに記載の3次元モデル編集装置。
(7)
 3次元モデル編集装置が、
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 3次元モデル編集方法。
(8)
 3次元モデル編集装置のコンピュータに、
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 処理を実行させるためのプログラム。
[0077]
 なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

符号の説明

[0078]
 11 3次元モデル編集システム, 21 3次元モデル取得部, 22 ユーザ操作入力部, 23 出力部, 24 3次元モデル編集部, 31 2次元画像描画部, 32 画像編集部, 33および34 対応点取得部, 35 3次元モデル変形部, 36 テクスチャ再投影部

請求の範囲

[請求項1]
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 3次元モデル編集装置。
[請求項2]
 前記3次元モデルをレンダリングして前記2次元画像を描画し、
 前記2次元画像に対するユーザによる編集操作に従って、前記2次元画像を編集する
 請求項1に記載の3次元モデル編集装置。
[請求項3]
 前記3次元モデルから前記特徴点を取得し、
 編集された前記2次元画像から前記特徴点を取得する
 請求項1に記載の3次元モデル編集装置。
[請求項4]
 変形された前記3次元モデルに対して、編集された前記2次元画像を投影してテクスチャを張り付ける
 請求項1に記載の3次元モデル編集装置。
[請求項5]
 変形された前記3次元モデルを入力として前記2次元画像を描画し、前記2次元画像の編集および前記3次元モデルの変形を繰り返して行う
 請求項1に記載の3次元モデル編集装置。
[請求項6]
 前記3次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
 請求項1に記載の3次元モデル編集装置。
[請求項7]
 3次元モデル編集装置が、
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 3次元モデル編集方法。
[請求項8]
 3次元モデル編集装置のコンピュータに、
 3次元モデルの特徴を表す特徴点と、その3次元モデルを所定の視点から見た2次元画像上で前記3次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記2次元画像に合わせて前記3次元モデルを変形する
 処理を実行させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]