このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018189961) 画像処理装置、端末装置、および画像処理プログラム
Document

明 細 書

発明の名称 画像処理装置、端末装置、および画像処理プログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104  

符号の説明

0105  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 画像処理装置、端末装置、および画像処理プログラム

技術分野

[0001]
 本発明の一態様は、画像処理装置、端末装置、および画像処理プログラムに関するものである。

背景技術

[0002]
 撮像画像の構図が最適になるように、撮像画像の一部を切り出して構図を補正し、構図を補正した画像を保存する技術が知られている。特許文献1は、三分割法や三角法などの複数の構図に関する論理にしたがい、被写体が好ましい位置に配置される構図領域を抽出し、抽出した画像を保存する技術を開示している。

先行技術文献

特許文献

[0003]
特許文献1 : 日本国公開特許公報「特開2008-92046号公報(2008年4月17日公開)」

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、上述のような技術は、構図を補正する補正量が微小であった場合、入力画像と極めて類似する画像を生成する。この場合、生成された画像を見たユーザは、構図を補正した効果を感じることができない。また、生成された画像の画素数が入力画像の画素数と同じである場合は、切り出した画像を拡大するので、解像感が減少し、画質が劣化する。また、生成された画像を保存する場合、画質が劣化した、入力画像に類似する画像を保存することになるので、記憶領域を無駄に消費する。
[0005]
 本発明の一態様は、有用ではない画像の出力を抑制することを目的とする。

課題を解決するための手段

[0006]
 上記の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正部が前記出力画像を出力するとき、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上である。

発明の効果

[0007]
 本発明の一態様によれば、有用ではない画像の出力を抑制することができる。

図面の簡単な説明

[0008]
[図1] 本発明の第一の実施形態に係る画像処理装置1の概略構成例を示すブロック図である。
[図2] 入力画像から出力画像を生成する場合の一例を説明する図である。
[図3] シンメトリ構図の一例を説明する図である。
[図4] 三分割構図の一例を説明する図である。
[図5] 日の丸構図の一例を説明する図である。
[図6] 対角線構図の一例を説明する図である。
[図7] 三角構図の一例を説明する図である。
[図8] 本発明の第一の実施形態に係る画像処理装置1における処理の流れを説明するためのフロー図である。
[図9] 本発明の第二の実施形態に係る画像処理装置10における処理の流れを説明するためのフロー図である。
[図10] 本発明の第三の実施形態に係る画像撮像装置20の概略構成例を示すブロック図である。
[図11] 本発明の第三の実施形態に係る画像撮像装置20における処理の流れを説明するためのフロー図である。
[図12] 表示部22が表示する画面の一例を説明する図である。
[図13] 本発明の第四の実施形態に係る画像処理装置200、および端末装置300の概略構成例を示すブロック図である。

発明を実施するための形態

[0009]
 本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の一態様の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の一態様の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各要素は、本発明の一態様の理解を深めるために敢えて誇張して記載されているので、実際の各要素の間隔および大きさとは異なることに留意すべきである。
[0010]
 以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能などは当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。また、以下に記載される「画像」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」は音声情報も含むものとする。
[0011]
 〔第一の実施形態〕
 本発明の第一の実施形態について、図面に基づき以下に説明する。
[0012]
 (画像処理装置1)
 図1は、本発明の第一の実施形態に係る画像処理装置1の構成を示す機能ブロック図である。図1に示すように、画像処理装置1は、構図補正部2を備えている。
[0013]
 本実施形態に係る画像処理装置1は、図1に示すように、入力画像を示す画像情報が入力され、構図補正部2が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する。
[0014]
 入力される画像情報は、撮像素子により撮像された画像情報や、記録部(不図示)に記録された画像情報などである。出力される出力画像情報は、画像表示装置(不図示)に出力され表示されたり、記録部に出力され記録されたり、他機器へ出力されたりする。
[0015]
 (構図補正部2)
 構図補正部2は、例えば、図2の(a)に示すような入力画像を取得する。この場合、構図補正部2は、注目する被写体100を含んだ、入力画像の一部の領域110を切り出すことにより、図2の(b)に示すような、入力画像に応じた構図を有する出力画像を出力することができる。以下、構図補正部2の動作の流れについて説明する。
[0016]
 まず、構図補正部2は、顔検出や特徴点抽出などを行い、入力画像に含まれる被写体の情報を抽出する。顔検出として、例えば、入力画像内の肌色の領域の抽出、顔情報を示すデータとのマッチングなどを行う。特徴点抽出として、例えば、画像内のエッジ、コーナー、直線などの検出、画像の特徴量の抽出などを行う。また、構図補正部2は、被写体の位置(例えば、被写体の中心位置)を検出する。
[0017]
 続いて、構図補正部2は、入力画像に基づいて、出力画像の候補となる複数の構図から、出力画像の構図を選択し、検出した顔の領域、および特徴点が、出力画像内に、選択した構図に従って再配置されるように、出力画像を生成し、出力する。出力画像の候補となる複数の構図としては、シンメトリ構図、三分割構図、日の丸構図(Centered Composition)、対角線構図、三角構図を挙げることができる。
[0018]
 シンメトリ構図の例を図3に示す。図3に示すように、シンメトリ構図は、注目する被写体3Aが、画像の中心線3Bについて左右対称(または上下対称)になるように配置する構図である。つまり、構図としてシンメトリ構図が採用されると、算出した特徴点を含む領域が、画像の中心線について左右対称、または上下対称となるように配置される。
[0019]
 三分割構図の例を図4に示す。図4に示すように、三分割構図は、画像を縦方向に三分割する分割線4B11,4B12、および横方向に三分割する分割線4B21,4B22、ならびに各々の分割線4B11,4B12,4B21,4B22が交わる分割点4C1,4C2,4C3,4C4の位置に、注目する被写体4A1,4A2が配置される構図である。つまり、構図として三分割構図が採用されると、算出した特徴点を含む領域が、分割線の各々、および分割点の各々の位置(このような位置を、「特徴点を含む領域の配置先の位置」とよぶ)に配置される。
[0020]
 日の丸構図の例を図5に示す。図5に示すように、日の丸構図は、注目する被写体5Aが、画像の中心5Bに配置される構図である。つまり、構図として日の丸構図が採用されると、算出した特徴点を含む領域が、画像の中心(特徴点を含む領域の配置先の位置)に配置される。
[0021]
 対角線構図の例を図6に示す。図6に示すように、対角線構図は、画像内に含まれる被写体やエッジ6A1,6A2,6A3が、画像内の対角線と平行な線6B上に配置される構図である。つまり、構図として対角線構図が採用されると、抽出した対角線が、画像内の対角線上にのる、または対角線に平行となるように配置される。
[0022]
 三角構図の例を図7に示す。図7に示すように、三角構図は、画像内に含まれる被写体7A1やエッジ7A2が、三角形7B上に配置される構図である。つまり、構図として三角構図が採用されると、抽出した特徴点や線が、画像内で三角形を描くように配置される。
[0023]
 構図補正部2は、出力画像の構図を、上述した、出力画像の候補となる複数の構図から選択する。
[0024]
 構図補正部2は、例えば、構図のスコアを算出することにより、出力画像の構図を選択する。構図補正部2は、構図がシンメトリ構図であった場合、画像の中心線についての左右対称、または上下対称の度合いをマッチングしてスコアを算出する。また、構図補正部2は、構図が三分割構図、または日の丸構図であった場合、特徴点を含む領域の配置先の位置と特徴点の位置との間の距離や特徴点の数を算出してスコアを算出する。また、構図補正部2は、構図が対角線構図であった場合、対角線とした直線の長さや、直線上のエッジの数を算出してスコアを算出する。そして、構図補正部2は、算出したスコアを比較し、複数の想定される構図から、最もスコアの値が大きい構図を選択する。
[0025]
 また、構図補正部2は、各構図に優先順位を付けておき、優先度の高い順番に、予め設定されている閾値と算出されたスコアを比較して、スコアが閾値より大きい場合に、対応する構図を選択してもよい。この場合、構図補正部2は、閾値よりもスコアが小さい構図は、出力画像の構図として選択することは不適であると判断し、選択しない。構図補正部2は、例えば、スコアが0である構図を選択せずに、他の構図を選択する。この場合、構図補正部2は、スコアが閾値よりも大きい構図が1つも無ければ、最もスコアが大きい構図を選択することができる。または、構図補正部2は、スコアが閾値よりも大きい構図が1つも無ければ、出力画像を示す出力画像情報を出力しない。また、構図補正部2は、スコアの閾値を構図毎に設定してもよい。
[0026]
 構図補正部2は、選択した構図および入力画像の被写体情報に基づいて補正量を算出し、算出した補正量に基づいて構図を補正した出力画像を出力する。
[0027]
 一態様において、構図補正部2は、入力画像に対し、並進量および範囲(サイズ)によって規定される切り出し、および、回転量によって規定される回転の少なくとも一方を行うことにより、出力画像を生成する。例えば、図2の(a)に示すような入力画像から、切り出し領域110を切り出すとき、並進量は、入力画像の基点(例えば、左上隅の点)から切り出し領域の基点(例えば、左上隅の点)へのベクトルを示す。また、範囲(サイズ)は、切り出し領域110の縦幅および横幅を示す。また、入力画像または入力画像を切り出した画像を回転させて出力画像を生成するとき、回転量は、入力画像から出力画像への回転角度を示す。
[0028]
 構図補正部2は、選択した構図および入力画像の被写体情報に基づいて、補正量(並進量、範囲(サイズ)および回転量)を算出する。例えば、シンメトリ構図が選択された場合は、構図補正部2は、入力画像の中心線の位置に応じて、並進量および範囲を算出し、入力画像の中心線の傾きに応じて、回転量を算出すればよい。また、三分割構図または日の丸構図が選択された場合は、構図補正部2は、入力画像の被写体の位置に応じて、並進量および範囲を算出すればよい。また、対角線構図が選択された場合には、構図補正部2は、入力画像の対角線の位置に応じて、並進量および範囲を算出し、入力画像の対角線の傾きに応じて、回転量を算出すればよい。
[0029]
 ところで、補正量が小さいと、入力画像と出力画像とが類似する。例えば、回転量が0度、並進量が縦方向に1画素、範囲が入力画像に対して縦方向に1画素小さい補正量である場合、出力画像は、入力画像の1行目の画素が切り取られた画像であるので、入力画像と出力画像とは極めて類似している。
[0030]
 そこで、本実施形態に係る画像処理装置1は、入力画像に類似した出力画像を出力しないように、補正量が小さい場合には、出力画像を出力しない。例えば、構図補正部2は、選択している構図の補正量を参照し、補正量の値が小さい場合は、構図を補正した出力画像を出力しない。補正量の大小の判断は、予め定められた閾値と比較する。例えば、回転量の閾値を1度に設定すると、補正量に含まれる回転量が1度未満である場合には、出力画像が出力されない。閾値は、回転量、並進量および範囲(サイズ)の変化量といった要素ごとに設定する。閾値は、全ての要素に対して設定してもよいし、一部の要素に対して設定してもよい。
[0031]
 図8は、本実施形態に係る画像処理装置1によって実行される画像処理方法の流れの例を表すフローチャートである。画像処理装置1に画像情報が入力されると、画像処理装置1は処理を開始する。
[0032]
 構図補正部2は、入力画像について、構図毎に補正量とスコアを算出する(S1)。
[0033]
 次に、構図補正部2は、全ての構図について補正量とスコアを算出したかを判定する(S2)。
[0034]
 算出処理が終了していない場合(S2でNO)、ステップS1に戻り、算出処理が終了した場合(S2でYES)、ステップS3に進む。
[0035]
 構図補正部2は、各構図のスコアを比較し(S3)、構図補正部2は、出力画像の構図を選択する(S4)。
[0036]
 次に、構図補正部2は、選択した構図の出力画像を生成するための補正量と、予め設定されている閾値を比較することにより、出力画像を出力するか否かを決定する(S5)。
[0037]
 補正量が閾値未満の場合(S5でNO)、構図補正部2は、生成した出力画像を出力せずに処理を終了する。このとき、構図補正部2は、入力画像をそのまま出力してもよい。なお、構図補正部2は、選択した構図の補正量に関わらず、出力画像を生成してもよい。すなわち、構図補正部2は、補正量が閾値未満の場合(S5でNO)にも、出力画像を生成してもよいが、生成した出力画像の出力をしない。
[0038]
 補正量が閾値以上の場合(S5でYES)、構図補正部2は、選択した構図の出力画像を生成し、出力画像のみ、または入力画像および出力画像の両方を出力(S6)し、処理を終了する。
[0039]
 構図補正部2が、出力画像のみを出力するか、入力画像および出力画像の両方を出力するかは、画像処理装置1の設定によって切り替えることができる。
[0040]
 ここで、補正量の閾値は、各構図で共通に設定することもできるし、各構図で個別に設定することもできる。また、補正量の閾値は、回転量、並進量、範囲などの各要素のうちの一つに設定することもできるし、各要素のうちの複数の要素に閾値を設定することができる。複数の要素に対して閾値を設定した場合には、2つの処理が考えられる。1つ目は、回転量、および並進量の各々に閾値が設定されている場合、いずれかの補正量が閾値未満であった場合に出力画像を生成しない処理である。2つ目は、両方の補正量が閾値未満であった場合に出力画像を生成しない処理である。1つ目の処理を用いた場合では、より構図の変化が大きい画像の場合に出力画像が出力されることになる。いずれにせよ、結果として、構図補正部2が出力する出力画像は、入力画像から出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であるものとなる。
[0041]
 また、補正量の閾値は、ユーザの指定等の画像処理装置1の外部からの指定により任意に設定できるようにしても良い。ユーザによって構図を補正した効果の感じ方は異なる。このため、任意に補正量の閾値を設定できると、ユーザに合わせた処理が可能となる。
[0042]
 また、一般的に、補正画像を表示する画面の大きさが大きくなるほど、補正の効果も大きくなる。したがって、テレビなどの大画面で表示する場合、補正の効果も大きくなる。このように、外部入力により補正量の閾値を設定すると、想定した表示サイズに適した処理ができる。
[0043]
 また、構図補正部2は、補正量の閾値の設定の組み合わせを、一つだけではなく、複数にすることにより、補正量の全ての要素を考慮した構図の変化に対応することができる。補正量に含まれる所定の要素の閾値を大きく設定した場合は、補正量に含まれる他の要素の閾値を小さくしてもよい。例えば、回転量の閾値が1度の場合は、並進量の閾値を100画素とし、回転量の閾値が2度の場合は、並進量の閾値を80画素とするなどの複数の条件を設定することができる。これにより、補正量の全要素を考慮した最終的な構図の変化量で、出力画像の出力の可否を制御することができる。
[0044]
 また、構図補正部2は、補正量のいずれかの要素の値が閾値未満であった場合、閾値未満の要素の値を0に設定し、残りの要素について値を変更せずに構図を補正することができる。これにより、補正の効果のある要素についてのみ補正を行うことができるとともに、画像の劣化を抑えることができる。例えば、回転量の閾値が1度、並進量の閾値が100画素に設定されている場合に、回転量が0.5度、並進量が200画素であったとすると、構図補正部2は、回転量が0度、並進量が200画素の補正を行っても構わない。
[0045]
 上述したように、構図補正部2は、構図を補正した出力画像を出力する場合、しない場合のいずれの場合であっても、別途、入力画像を出力してもよい。これにより、撮像した画像が、各構図のいずれとも合わない画像である場合、構図の判定に誤りがあった場合、補正された構図をユーザが気に入らない場合などにおいて、ユーザは補正前の入力画像も利用することができる。また、構図を補正した出力画像を出力する場合では、特に、補正前後の画像を比較して補正の結果を確かめることもできる。
[0046]
 このように、本実施形態では、入力画像と出力画像との違いが小さい場合、つまり、補正量が小さい場合には、構図補正部2は、出力画像を出力しない。これにより、ユーザが効果を感じられる画像が出力できると予想される場合にのみ、出力画像を出力することができる。したがって、ユーザが補正の効果を感じないことが抑制される。また、類似した画像の記憶により記憶領域が少なくなることを抑制できる。また、画質が劣化した画像が出力されることを抑制することができる。
[0047]
 〔第二の実施形態〕
 本発明の第二の実施形態について説明する。
[0048]
 (構図補正部2)
 本実施形態における構図補正部2は、選択した構図だけでなく、他の構図についても、補正量と閾値とを比較する。以下では、各々の構図について、補正量と閾値とを比較する動作についてのみ説明する。
[0049]
 構図補正部2は、選択した構図の補正量が閾値より小さい場合、選択した構図に補正した出力画像の出力を行わない。そして、選択した構図とは異なる他の構図について、補正量と閾値とを比較し、補正量が閾値以上であれば、入力画像の構図を他の構図に補正した出力画像を出力する。
[0050]
 例えば、構図補正部2が、シンメトリ構図を含む複数の構図から、出力画像の構図を選択する場合に、シンメトリ構図の出力画像を生成するための補正量が、閾値より小さい場合、シンメトリ構図とは異なる他の構図を選択する。なお、全ての構図について、出力画像を生成するための補正値が予め設定されている閾値より小さい場合は、出力画像を出力しない。
[0051]
 (全体的な処理の流れ)
 図9は、本実施形態に係る画像処理装置10によって実行される画像処理方法の流れを表すフローチャートである。
[0052]
 図9のフローチャートは、図8のフローチャートに対して、ステップS100が追加された点において異なる。このため、ステップS100に関連する処理についてのみ説明する。
[0053]
 本実施形態では、ステップS4において、構図補正部2は、構図を、未だ選択されていない構図から選択する。
[0054]
 構図補正部2は、ステップS5において補正量が閾値以下であると判定した構図が、最後の構図であったかを判定する(ステップS100)。
[0055]
 最後の構図である場合(ステップS100でYES)は、出力画像を出力せずに処理を終了する。最後の構図でない場合(ステップS100でNO)は、ステップS4に戻る。
[0056]
 以上の処理により、選択された構図の出力画像を生成するための補正量が、設定された閾値より小さい場合は、選択された構図と異なる他の構図を再選択し、再選択された他の構図の出力画像を生成するための補正量が、設定された閾値より大きい場合は、再選択された他の構図に補正した出力画像を出力する。すなわち、構図補正部2は、入力画像から出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であるように、当該出力画像の構図を選択する。これにより、ユーザが構図を補正した効果を感じやすい、入力画像と類似しない出力画像を出力することができる。また、再選択された他の構図の補正量が設定された閾値よりも小さい場合は、その構図による出力画像を出力しない。さらに、全ての構図の補正量が、構図毎に設定された閾値より小さい場合は、出力画像を出力しない。これにより、補正の効果が少ない構図の出力画像、すなわち、入力画像と類似した出力画像が出力されない。
[0057]
 さらに、構図補正部2は、再選択する上記他の構図として、構図のスコアが所定のスコア閾値以上となる構図のみを対象にすることができる。これにより、構図として不適切な構図に補正した出力画像は出力されない。
[0058]
 なお、複数の構図において、各構図の出力画像を生成するための補正量が閾値よりも大きく、補正の効果があると判断された場合は、出力画像を生成するための補正量の大きな構図の各々について、当該構図に補正した出力画像を出力しても構わない。
[0059]
 〔第三の実施形態〕
 本発明の第三の実施形態に係る画像撮像装置について説明する。
[0060]
 (画像撮像装置20)
 第三の実施形態に係る画像撮像装置20は、実施形態1または実施形態2に係る画像処理装置を備えている。図10に示すように、画像撮像装置20は、画像処理装置1、撮像部21、表示部22、記録部23、および操作部(入力部)24を備えている。画像撮像装置20は、撮像部21が取得した画像を用いて、画像処理装置1が構図を補正した出力画像を出力し、表示部22がその出力画像を表示する、操作部24が操作され、画像が選択された場合は、記録部23が画像を示す画像情報を記録する。
[0061]
 (撮像部21)
 撮像部21は、撮像レンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子とを備えている。撮像部21は、被写体を撮像して、当該被写体を含む画像(静止画または動画)を生成する。
[0062]
 (表示部22)
 表示部22は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示画面である。表示部22は、画像や文字などの情報や被写体の画像などを表示する。
[0063]
 (記録部23)
 記録部23は、画像を示す画像情報を記憶媒体に記録させる。また、記録部23は、記憶媒体に記録された画像情報を読み込んで、画像処理装置1に出力する。記録部23は、フラッシュメモリやハードディスクなどで構成される。
[0064]
 (操作部24)
 操作部24は、ユーザによる操作入力を受け付ける。操作部24は、ユーザが所望の操作入力を行えるものであればよく、特に限定されない。
[0065]
 画像処理装置1は、第一の実施形態で説明したものと同様の動作となる。
[0066]
 (全体的な処理の流れ)
 本実施形態に係る画像撮像装置20の動作を、図11に示すフローチャートを参照して説明する。
[0067]
 画像を取得する処理として、撮像部21は、画像を撮像する。または、記録部23は、画像情報を読み出す。そして、画像処理装置1は、撮像部21が撮像した画像を示す画像情報、または記録部23が読み出した画像情報を取得する(S200)。
[0068]
 画像処理装置1は、取得した画像情報が示す入力画像に対し、第一の実施形態または第二の実施形態に係る画像処理装置1の構図補正部2と同じ処理を行う。具体的には、画像処理装置1は、構図を補正する処理を行って、補正量が設定した閾値以上の場合に、入力画像と類似しない出力画像を出力する(S201)。なお、どの構図においても補正量が設定した閾値よりも小さい場合は、画像処理装置1は、出力画像を出力しない。
[0069]
 表示部22は、構図が補正された出力画像が出力された場合は、画像処理装置1から出力された出力画像を表示する(S202)。
[0070]
 図12に、表示部22の表示例を示す。図12に示すように、表示部22は、出力画像22Bとともに、構図を補正する前の入力画像22Aを表示する。また、表示部22は、出力画像22Bの下方に、出力画像を記録することを選択するか否かを示すオブジェクト22B1,22B2を表示する。同様に、表示部22は、入力画像22Aの下方に、入力画像を記録することを選択するか否かを示すオブジェクト22A1,22A2を表示する。
[0071]
 記録部23は、オブジェクト22A1,22B1に対する操作(入力画像または出力画像を記録部23に記録するか否かの入力)を操作部24が受け付けたか否かを判定する(S203)。出力画像、および入力画像の少なくとも一方が選択された場合(S203でYES)、S204に進む。出力画像、および入力画像の何れも選択されなかった場合(S203でNO)、処理を終了する。
[0072]
 記録部23は、出力画像が選択された場合、画像処理装置1から取得した出力画像を示す出力画像情報を記録媒体に記録させる。また、記録部23は、入力画像が選択された場合、入力画像を示す入力画像情報を記録媒体に記録させる(S204)。
[0073]
 以上の処理により、画像撮像装置20は、構図の補正量が小さい場合に、入力画像の構図を補正した出力画像を出力しない上、出力画像を記録部23に記録するか否かを選択することができる。これにより、ユーザが構図の補正の効果を感じられる画像が生成できると予想される場合に、出力画像を出力し、表示または記録することができる。また、類似した画像を記憶させることより記憶領域が少なくなることを抑制できる。
[0074]
 なお、S203をスキップして、記録部23が、全ての出力画像を記録するようにしてもよい。
[0075]
 さらに、記録部23は、どの画像を出力するかを予め設定しておき、その設定に従って出力画像を記録するようにしてもよい。
[0076]
 〔第四の実施形態〕
 本発明の第四の実施形態に係る画像処理装置、および端末装置について説明する。図13に示すように、画像処理装置200と端末装置300とは、ネットワーク400を介して通信する。
[0077]
 (画像処理装置200)
 第四の実施形態に係る画像処理装置200は、実施形態1または実施形態2の構図補正部2、および通信部210を備えている。
[0078]
 (端末装置300)
 端末装置300は、通信部310、撮像部321、表示部322、記録部323、および操作部324を備えている。
[0079]
 撮像部321、表示部322、記録部323、および操作部324は、それぞれ、第三の実施形態に係る画像撮像装置20の撮像部21、表示部22、記録部23、および操作部24に対応する。
[0080]
 通信部310は、ネットワーク400を介して画像処理装置200の通信部210と通信する。通信部310は、撮像部321が撮像した画像、または記録部323が記録する画像を、入力画像として画像処理装置200へ送信する。
[0081]
 画像処理装置200は、通信部210を介して、端末装置300が送信した入力画像を受信すると、図8または図9に示される処理を実行する。
[0082]
 また、端末装置300は、通信部310を介して、画像処理装置200が出力した出力画像を受信すると、図11のS201~S204に示される処理を実行する。
[0083]
 〔ソフトウェアによる実現例〕
 画像処理装置1の制御ブロック(構図補正部2)は、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field Programmable Gate Array)、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)を用いてソフトウェアによって実現してもよい。
[0084]
 後者の場合、画像処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波など)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、ここでいう「コンピュータ」とは、OSや周辺機器などのハードウェアを含むものとする。また、コンピュータは、WWWシステムを利用している場合であれば、ホームページ提供環境(または表示環境)も含むものとする。
[0085]
 〔まとめ〕
 本発明の態様1に係る画像処理装置1は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正部が前記出力画像を出力するとき、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上である。
[0086]
 上記の構成によれば、有用ではない画像の出力を抑制することができる。
[0087]
 本発明の態様2に係る画像処理装置1は、上記態様1において、前記構図補正部2は、前記構図補正部2が前記出力画像を出力しない場合、前記入力画像を出力してもよい。
[0088]
 上記の構成によれば、撮像した画像が、各構図のいずれとも合わない画像である場合、構図の判定に誤りがあった場合、補正された構図をユーザが気に入らない場合などにおいて、ユーザは補正前の入力画像も利用することができる。
[0089]
 本発明の態様3に係る画像処理装置1は、上記態様1または2において、前記構図補正部2は、前記構図補正部2が前記出力画像を出力する場合、さらに前記入力画像を出力してもよい。
[0090]
 上記の構成によれば、補正前後の画像を比較して補正の結果を確かめることができる。
[0091]
 本発明の態様4に係る画像処理装置1は、上記態様1から3の一態様において、前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択するものであってもよい。
[0092]
 上記の構成によれば、構図を好適に選択することができる。
[0093]
 本発明の態様5に係る画像処理装置1は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択し、前記構図補正部は、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であるように、当該出力画像の構図を選択するものであってもよい。
[0094]
 上記の構成によれば、有用ではない画像の出力を抑制することができる。
[0095]
 本発明の態様6に係る画像処理装置1は、上記態様1から5の一態様において、前記出力画像を記録するか否かの入力を受け付ける入力部(操作部24)と、前記入力部への入力に応じて前記構図補正部が出力した前記出力画像を記録する記録部23とをさらに備えていてもよい。
[0096]
 上記の構成によれば、出力画像を記録部に記録するか否かをユーザが選択することができる。これにより、有用ではない画像の記録をさらに抑制することができる。
[0097]
 本発明の態様7に係る画像処理装置200は、上記態様1から6の一態様において、前記入力画像を端末装置300から受信し、前記構図補正部が出力した前記出力画像を当該端末装置に送信する第1通信部(通信部210)をさらに備えている。
[0098]
 本発明の態様8に係る端末装置300は、態様7に係る画像処理装置200と通信する端末装置であって、前記画像処理装置に対し、前記入力画像を送信し、当該画像処理装置から前記出力画像を受信する第2通信部(通信部310)を備えている。
[0099]
 上記の構成によれば、端末装置と画像処理装置とが通信することにより、態様1と同等の効果を奏することができる。
[0100]
 本発明の態様9に係る画像処理装置の制御は、画像処理装置が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正工程を含み、前記構図補正工程では、前記画像処理装置は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正工程において前記画像処理装置が前記出力画像を出力するときは、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上である。
[0101]
 上記の構成によれば、態様1と同様の効果を奏する。
[0102]
 本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
[0103]
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
[0104]
 (関連出願の相互参照)
 本出願は、2017年4月14日に出願された日本国特許出願:特願2017-080426に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

符号の説明

[0105]
1,10,200 画像処理装置
2,11 構図補正部
20 画像撮像装置
21,321 撮像部
22,322 表示部
23,323 記録部
24,324 操作部(入力部)
210 通信部(第1通信部)
300 端末装置
310 通信部(第2通信部)

請求の範囲

[請求項1]
 入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、
 前記構図補正部は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、
 前記構図補正部が前記出力画像を出力するとき、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であることを特徴とする画像処理装置。
[請求項2]
 前記構図補正部は、前記構図補正部が前記出力画像を出力しない場合、前記入力画像を出力することを特徴とする請求項1に記載の画像処理装置。
[請求項3]
 前記構図補正部は、前記構図補正部が前記出力画像を出力する場合、さらに前記入力画像を出力することを特徴とする請求項1または2に記載の画像処理装置。
[請求項4]
 前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択することを特徴とする請求項1~3の何れか一項に記載の画像処理装置。
[請求項5]
 入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、
 前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択し、
 前記構図補正部は、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であるように、当該出力画像の構図を選択することを特徴とする画像処理装置。
[請求項6]
 前記出力画像を記録するか否かの入力を受け付ける入力部と、
 前記入力部への入力に応じて前記構図補正部が出力した前記出力画像を記録する記録部とをさらに備えていることを特徴とする請求項1~5の何れか一項に記載の画像処理装置。
[請求項7]
 前記入力画像を端末装置から受信し、前記構図補正部が出力した前記出力画像を当該端末装置に送信する第1通信部をさらに備えていることを特徴とする請求項1~6の何れか一項に記載の画像処理装置。
[請求項8]
 請求項7に記載の画像処理装置と通信する端末装置であって、
 前記画像処理装置に対し、前記入力画像を送信し、当該画像処理装置から前記出力画像を受信する第2通信部を備えていることを特徴とする端末装置。
[請求項9]
 画像処理装置が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正工程を含み、
 前記構図補正工程では、前記画像処理装置は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、
 前記構図補正工程において前記画像処理装置が前記出力画像を出力するときは、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも1つが閾値以上であることを特徴とする画像処理装置の制御方法。
[請求項10]
 請求項1から7の何れか1項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記構図補正部としてコンピュータを機能させるための画像処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]