このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018225775) 画像マスキング装置及び画像マスキング方法
Document

明 細 書

発明の名称 画像マスキング装置及び画像マスキング方法

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048  

発明の効果

0049  

図面の簡単な説明

0050  

発明を実施するための形態

0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107  

産業上の利用可能性

0108  

符号の説明

0109  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30  

図面

1   2   3   4   5   6   7   8  

明 細 書

発明の名称 : 画像マスキング装置及び画像マスキング方法

技術分野

[0001]
 本発明は、画像の特定の個所にマスキングを付す画像マスキング装置及び画像マスキング方法に係る。なお、マスキングとは画像の一部を覆い隠すことをいう。

背景技術

[0002]
 近年、犯罪の発生の抑止、あるいは犯罪発生時の状況の把握などの目的で、監視カメラが広汎に設置されており、その目的のために有効に機能している。
[0003]
 しかしながら、その画像の中に、犯罪とは関係のない、個人のプライバシーを侵害するような情報、例えば、個人の顔画像、車のナンバープレートなどが撮像され、問題を生じている。
[0004]
 このような問題を生じないようにするために、特許文献1には、監視カメラが画像に映るプライバシーゾーンをマスキングするマスクデータを保持し、このデータに従って画像の一部をマスキングするように構成する技術思想が開示されている。
[0005]
 更に、マスキングの解除についても、パスワードを有する特定の人のみが実施できるようにし、一般人が恣意的に操作することを防ぐ技術思想も開示されている。

先行技術文献

特許文献

[0006]
特許文献1 : 特開2001-69494号公報

発明の概要

発明が解決しようとする課題

[0007]
 しかしながら、特許文献1のプライバシーゾーンは、操作者がその中心位置とゾーン枠を指定するもので、人による操作が必要なことから手間がかかり、かつ、その範囲外の情報についてはマスキングされず、個人情報の保護がなされないという問題点があった。
[0008]
 本発明は、上記の問題点を踏まえ、今後様々なロケーションに設置される監視カメラシステムや画像センサに顔や個人を特定するものが映りこんだ際に、個人情報保護の観点で、自動的にマスキングする画像マスキング装置及び方法を提供することを課題とする。更に、犯罪捜査や事件があった場合に、マスキングを解除する必要に迫られた際には、そのマスキングを解除する機能を保有する画像マスキング装置及び方法を提供することを課題とする。

課題を解決するための手段

[0009]
 かかる課題を解決するため、本発明に係る画像マスキング装置は、
 A)画像の入力を受け付ける画像入力受付部と、
 B)入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
 C)抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
 D)前記マスキングが付された画像を出力する画像出力部と
を有することを特徴とする。
[0010]
 ここで、画像は、静止画、動画のいずれをも含むものであり、画像入力受付部は、監視カメラなどの撮像部から直接に入力されるもののほか、有線・無線のネットワークやインターネットを通じて画像受信部で受信されたものや、既に撮影されまたは処理されて、画像記憶部に記憶されているものなどの入力を受け付ける。
[0011]
 また、画像出力部から画像を出力するとは、画像表示部に画像を表示すること、画像を記憶装置に記憶すること、画像送信部を通じて画像をネットワークなどの外部に送信することを含むものとする。
[0012]
 また、本発明に係る画像マスキング装置は、前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか1つ以上であることを特徴としてもよい。
[0013]
 ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。
[0014]
 また、対象とする画像は、監視カメラの画像だけでなく、テレビ放映画像、スマートホンや携帯可能なカメラによる画像など、一切の撮影された動画及び静止画の画像が含まれる。
[0015]
 例えば、テレビ放映画像において、取材の際に背後の人の顔をマスキング(あるいはモザイク処理)している場合があるが、このような場合に、自動でマスキングを行うことも可能である。
[0016]
 このようにすると、人手を介さずにマスキング対象部分が抽出でき、マスキングを付すことができるため、監視カメラ画像などの応用範囲が大きく拡大する。
[0017]
 また、本発明に係る画像マスキング装置は、更に、
 E)前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
 を有することを特徴としてもよい。
[0018]
 すなわち、マスキング対象部分が人間の顔であった場合、性別、年齢、着衣、顔の特徴(眼鏡、髭、頭髪量など)などの属性情報を画像から検出し、それらの属性情報を、タグを付すなどの手法により、マスキング対象部分と紐づけて出力することで、その後の種々の用途に有効に利用できる。
[0019]
 なお、属性を自動的に検出せずに、あるいは自動的な検出と併用して、人手により属性を付与するようにしてもよい。属性情報の正確さが増す場合もあり得る。
[0020]
 更に、本発明に係る画像マスキング装置は、前記属性情報を用いて、前記マスキング対象部分を検索する機能を有することを特徴としてもよい。
[0021]
 このようにすると、膨大な画像情報の中から、付されたタグにある属性情報の組合せ(例えば、男性で、眼鏡を着用しているなど)から、特定の画像を抽出することができ、更に、マスキングを解除するアンマスキングが必要となった場合にも、アンマスキングすべき画像を特定して効率よく処理ができる。
[0022]
 また、本発明に係る画像マスキング装置は、更に、
 F)前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
を有することを特徴としてもよい。
[0023]
 このようにすると、顔画像の場合であれば、個人を特定することなく、マーケティングなどに必要な、顧客の属性毎(性別、年代別など)に集計した統計データを取得することができる。
[0024]
 また、本発明に係る画像マスキング装置は、画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴としてもよい。
[0025]
 このようにすると、マスキングをせずに利用したい情報と関連して同じ画像に写り込んでいる他の情報をマスキングすることができ、個人情報などを保護しつつ、画像情報を利用することができるという効果を奏する。
[0026]
 特に、本発明に係る画像マスキング装置は、前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴としてもよい。
[0027]
 このようにすると、車両番号は料金収受などの目的でマスキングは不要であるが、その車両の運転者や同乗者の顔は、個人情報保護の観点からマスキングが必要な場合に、極めて有効である。
[0028]
 ここで、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、機械学習を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
[0029]
 このようにすると、マスキング対象部分の抽出が人手を介することなく高精度で行える。
[0030]
 更に、本発明に係る画像マスキング装置は、前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴としてもよい。
[0031]
 このようにすると、機械学習の中でも画像処理に優れた手法であるため、より高精度のマスキング対象部分の抽出が可能となる。
[0032]
 あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、エッジ抽出処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
[0033]
 このようにすると、対象とする画像によっては、簡便で、かつ精度の高いマスキング対象部分の抽出ができる場合もある。
[0034]
 あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、OCR処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
[0035]
 このようにすると、特に、マスキング対象部分が文字情報を含む場合には、その部分の抽出が容易となる。
[0036]
 更に、本発明に係る画像マスキング装置は、
 G)前記マスキングが付された画像のマスキングを除去するアンマスキング部と
を有することを特徴としてもよい。
[0037]
 このようにすると、マスキングされた画像情報を、例えば犯罪捜査などの特定の目的のためにアンマスキングすることができ、画像情報の有効活用がなされる。
[0038]
 なお、本発明に係る画像マスキング装置は、前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴としてもよい。
[0039]
 このようにすると、例えば、監視カメラ画像の中から、アンマスキングが必要な特定の画像を抽出するのに、画像に付されたタグなどに記された属性情報によって行うことができるため、人手の介在を少なくし、見落としの無い高精度なアンマスキングが可能となる。
[0040]
 また、前記アンマスキング部は、特定の手順によってのみ、アンマスキングが可能であることを特徴としてもよい。
[0041]
 例えば、その特定の手順は、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像とを関連付けて記憶し、アンマスキングの際に、マスキング対象部分の元の画像を復元して、マスキング画像に嵌めこむことであることを特徴としてもよい。
[0042]
 具体的には、警察や特定の権限を有する人のみが、IDカード、パスワード、指紋・虹彩などの生体認証などを用いて暗号を解除する操作を行うようにする。あるいは、特定の端末からのみ操作ができるようにしてもよい。
[0043]
 例えば、米国におけるスーツケースに用いられるTSAロックのように、認定されたマスキング方法が世界中の監視カメラに搭載され、私人は監視カメラの特定の情報が見えないものの、警察や特定の権限を有した人のみがマスキング解除ができるということも想定できる。
[0044]
 なお、前述のテレビ放映画像の場合では、編集時に、インタビューを受けている人だけアンマスキングするということも可能である。
[0045]
 また、本発明は、画像マスキング装置が有する機能を、画像マスキング方法という態様としたものであってもよい。装置の構成によらず、本発明の効果を実現できる。
[0046]
 また、本発明は、入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、抽出された前記マスキング対象部分にマスキングを付すマスキング付与部とを有する画像マスキングユニットという態様であってもよい。
[0047]
 更に、前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と、前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と、前記マスキングが付された画像のマスキングを除去するアンマスキング部とのうちの、少なくとも一つ以上を含むことを特徴とする画像マスキングユニットという態様であってもよい。
[0048]
 そのようにすれば、その他の周辺ユニットについて、制約なく組み合わせることができ、画像マスキングユニットのみでも本発明の効果を実現できる。

発明の効果

[0049]
 本発明の画像マスキング装置及び画像マスキング方法によれば、監視カメラなどの画像に、マスキング対象部分に自動的にマスキングすることができるので、個人情報が保護され、かつ、犯罪捜査などの際にマスキングを解除する必要に迫られた際には、そのマスキングを、管理された特定の手順で解除することができるため、公益的な観点からの画像の利用が可能となるなどの効果がある。

図面の簡単な説明

[0050]
[図1] 本発明の画像マスキング装置の一実施形態のブロック図である。
[図2] 本発明の画像マスキング装置の一実施形態のマスキングまでのフローチャートである。
[図3] 本発明の装置の一実施形態の顔画像抽出のフローチャートである。
[図4] 本発明の装置の一実施形態の原画像の説明図である。
[図5] 本発明の装置の一実施形態のマスキング対象領域を抽出した画像の説明図である。
[図6] 本発明の装置の一実施形態のマスキングを付与した後の画像の説明図である。
[図7] 本発明の画像マスキング装置の一実施形態のアンマスキングのフローチャートである。
[図8] 本発明の画像マスキング装置の別の実施形態の原画像の説明図である。

発明を実施するための形態

[0051]
 以下、図面を参照し、本発明の一実施形態にかかる画像マスキング装置について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
[0052]
 図1は本発明の画像マスキング装置1の一実施形態のブロック図である。
[0053]
 画像マスキング装置1は、ハードウェア構成としては、PCが好適であり、CPU、メモリー、通信インターフェース、ディスプレイなどからなる。
[0054]
 機能的には、画像マスキング装置1は、それらのハードウェア構成要素を用いて実現する画像マスキングユニット10、制御部20、画像入力受付部30、画像出力部40を含み、更に、画像マスキングユニット10は、マスキング対象部分抽出部110、マスキング対象属性検出部120、マスキング対象統計処理部130、マスキング付与部140、アンマスキング部150の機能要素を含んでいる。
[0055]
 制御部20は、全体の制御を司り、画像入力受付部30からの画像の入力の受け付け、画像出力部40への画像の出力、画像マスキングユニット10を用いた画像のマスキング・アンマスキング処理を制御する。
[0056]
 画像入力受付部30は、マスキングを必要とする画像の入力を受け付ける。例えば、カメラなどの撮像部50から、有線・無線やインターネットなどを介して送信される画像を受信する画像受信部60から、あるいは、これまでに撮影された、あるいは画像処理された画像を記憶してある画像記憶部70から、画像の入力を受ける。
[0057]
 ここで、撮像部50としては、固定の場所に設置された監視カメラに代表されるが、ほかにも、車載カメラ、テレビや映画の撮影機、スマホや写真機など、動画、静止画が撮影できるものであればどのようなものであってもよい。
[0058]
 画像マスキングユニット10は、マスキング対象部分抽出部110、マスキング対象属性検出部120、マスキング対象統計処理部130、マスキング付与部140、アンマスキング部150を有しており、制御部20から伝達される画像に対して処理を行う。
[0059]
 マスキング対象部分抽出部110は、画像の中のマスキング対象部分を抽出する。
[0060]
 マスキング対象属性検出部120は、マスキング対象部分の属性、例えば、人の顔であれば、性別、年齢などの属性を検出する。
[0061]
 マスキング対象統計処理部130は、マスキング対象の、属性別、日別、時間帯別などの統計処理を行う。
[0062]
 マスキング付与部140は、抽出されたマスキング対象部分にマスキングを付与する。
[0063]
 アンマスキング部150は、マスキングされた画像のマスキング部分の全て、または一部をアンマスキングする。
[0064]
 画像出力部40は、制御部20に接続され、撮像部50で撮影された画像、画像マスキングユニット10で処理された画像、画像に関連付けられた属性、更に、アンマスキングに必要な情報などを出力する。
[0065]
 出力先としては、画像を表示する画像表示部90へ、画像を記憶する画像記憶部70へ、あるいは、画像を有線・無線あるいはインターネットなどを介して送信する画像送信部80へ、と出力する。
[0066]
 なお、これまで説明した構成には限定されず、画像マスキング装置に、撮像部、画像受信部、画像記憶部、画像送信部、画像表示部の一部または全部が内蔵されていてもよく、逆に、一部の画像マスキング装置の機能が撮像部に内蔵されていてもよいし、あるいは、画像マスキング装置の機能の分担がこれと異なってもよく、更には、クラウドコンピューティングのように画像マスキング装置の機能が遠隔に分散されて設けられてもよい。
[0067]
 次に、このような構成の本発明の画像マスキング装置の動作を説明する。図2は本発明の画像マスキング装置1の一実施形態のマスキングまでのフローチャートである。
[0068]
 まず、画像入力受付部30が、画像の入力を受ける(ステップS01)。ここでは、例えば、撮像部50としての街路を監視する監視カメラから、常時撮影されている動画が入力されるものとする。
[0069]
 次に、マスキング対象部分抽出部110がマスキング対象部分を抽出する(S02)。ここでは、個人のプライバシー保護の観点から、監視カメラ画像の中の、人物の顔画像をマスキング対象部分とする。
[0070]
 具体的には、撮影された画像につき、機械学習、その中でも人工ニューラルネットワークを用いたディープラーニングによって、顔画像と思われるものを抽出する。図3は本発明の画像マスキング装置1の一実施形態の顔画像抽出のフローチャートであり、図4から図6は本発明の画像マスキング装置1の一実施形態の顔画像抽出からマスキングまでの画像の説明図であり、図4は原画像、図5はマスキング対象領域を抽出した画像、図6はマスキングを付与した後の画像である。なお、図5に相当するマスキング対象領域の抽出図は、実際の使用の際は画像として表示されなくてもよい。
[0071]
 ここで、まず、監視カメラなどから、分類された学習用データ(顔画像の場合であれば、顔画像である/顔画像でない、及び、顔画像を内包する矩形などの外形の位置)を収集する(S11)。その量は多い方が望ましい。
[0072]
 次に、学習用データを訓練データと検証データに分ける(S12)。
[0073]
 これについて、ニューラルネットワークを用いて、訓練データで学習、重み調整を行ない、検証データで現在の学習状況を検証する(S13)。
[0074]
 これを繰り返して検証時の間違い率が所望の値より小さくなれば学習は終了する(S14)。
[0075]
 次に、学習完了済みのニューラルネットワークに新たな画像、例えば、撮像部50で撮影した図4に示すような画像を入力する(S15)。
[0076]
 すると、この中のマスキング対象部分、例えば、人物の顔画像が抽出される(S16)。図5に示すように、画面右上方の前を向いた女性の顔101、右下方の横を向いた男性の顔102、中央の子供の顔103が抽出され、矩形で囲われる。なお、この形状はこれには限定されず、円形、楕円形、多角形などどのようなものでもよい。
[0077]
 なお、機械学習の方法は、ニューラルネットワークやディープラーニングに限定せず、決定木学習やサポートベクターマシン(SVM)などどのような手法の機械学習であってもよいが、追加の人手による入力を必要とする場合もあり得る。
[0078]
 また、機械学習によらない方法も使用することができる。例えば、エッジ抽出処理によることもできる。これは、画像の明るさの鋭敏な変化のあるところをエッジすなわち輪郭とみなすもので、具体的な手法は、実用化されている。
[0079]
 あるいは、文字を含む画像、例えば自動車のナンバープレート、住所情報などの場合については、光学文字認識(OCR)によってマスキングする個所を決定してもよい。
[0080]
 ここで、マスキング対象部分を抽出する際に、マスキング対象属性検出部120が、マスキング対象から、必要とされる属性を検出する(S03)。
[0081]
 必要な属性としては、例えば人の顔の場合であれば、性別、年齢、特徴(体形、眼鏡、髭、頭髪量など)などである。これは、後にアンマスキングする際、あるいは、統計処理をする際などに有効である。
[0082]
 なお、マスキング対象部分抽出部110、及び、マスキング対象属性検出部120は、具体的には、NECソリューションイノベータ株式会社のFieldAnalyst(登録商標)やグローリー株式会社の顔認証システムなど、実用化されている技術を応用することもできる。
[0083]
 なお、検出された属性は、制御部20によって、抽出されたマスキング対象部分にタグ付けするなど、マスキング対象部分と関連づけて記憶される。
[0084]
 次に、マスキング付与部140が、マスキング対象部分の元の画像を暗号化する(S04)。これは、アンマスキングを可能とするためであるが、特定の操作を行わないとアンマスキングができないようにするための処理である。
[0085]
 同時に、マスキング付与部140が、図6に示すように、抽出された対象部分201、202、203にマスキングを行う(S04)。マスキングは、領域の全てをグレー色で不透明に塗りつぶすようにしたが、それには限定されず、色、透明の度合い、ベタでなくモザイク状など、どのようなものであってもよいし、枠部分を有してもよいし、グレーでない無彩色や有彩色であってもよい。
[0086]
 なお、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできない。
[0087]
 次に、画像出力部40を経由して画像記憶部70において、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像と、マスキング部分の属性とを関連付けて記憶する(S06)。これは、後にアンマスキングが必要となった場合に確実に操作ができるためである。
[0088]
 ここまでの動作(S01からS06)はすべて自動で行われるため、人手の介在を必要とせず、効率が極めてよく、また、人手の介在による個人プライバシーの侵害の恐れもない。
[0089]
 なお、必要な場合には、画像出力部40を経由して画像表示部90においてマスキングされた画像を表示する(S07)。
[0090]
 更に、必要な場合は、マスキング対象統計処理部130が、検出された属性と関連づけて統計的な集計処理を行うこともできる(S08)。
[0091]
 例えば、人の顔の画像であれば、男性が56%、女性が44%、年齢40歳未満が32%、40歳以上60歳以下が54%、60歳超が14%などというような統計が得られる。これは、個人情報を開示せずに、属性によって分類した結果を、マーケティングなどに活用するために、有効である。
[0092]
 ここで、本発明のような画像処理のニューラルネットワークとしては、現時点では畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることが望ましい。例えば、2016年8月26日発行のIEEE Signal Processing Letters にあるJoint Face Detection and Alignment Using Multitask Cascaded
Convolutional Networksに記載された方法は、極めて有効である。これは複数(3ないし4)の浅いディープラーニングをカスケード接続したネットワーク構造をしており、高速に動作することが可能となっている。
[0093]
 高速に処理できることから、フレーム毎にマスキング対象部分を抽出し、マスキングを付与することができる。そのため、固定カメラだけでなく、車載カメラなどの移動体からの画像に対しても対応が可能である。なお、前のフレームとの差分によってマスキング部分を決定する方法であってもよい。
[0094]
 次に、アンマスキング部150の動作について説明する。図7は、本発明の画像マスキング装置1の一実施形態のアンマスキングに関するフローチャートである。
[0095]
 アンマスキング部150が、画像記憶部70から画像入力受付部30を経由して、マスキングされた画像と、それに関連付けられて記憶されている、暗号化されたマスキング対象部分の元の画像とを読み出す(S21)。
[0096]
 次に、マスキング対象部分の元の画像の復元処理を行う(S22)。これは、特定の権限を有する操作者あるいは装置を予め定めておいて、パスワード、個人ID、指紋・虹彩などの生体認証などの入力を行うことで、操作を開始するようにすればよい。
[0097]
 次にマスキング対象部分の復元された画像を、マスキングされた画像の対象部分に嵌めこむ(S23)。
[0098]
 このようにすることで、マスキングが解除された画像を得ることができ、必要に応じて、アンマスキングされた画像を、画像出力部40を経由して、画像記憶部70に記憶したり、画像表示部90に表示したり、画像送信部80から遠隔に送信したりすることができる。
[0099]
 なお、これまでの説明では、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできず、マスキング対象部分の元の画像は暗号化して記憶されるとしたが、マスキングを実施した後も、マスキング部分の画像情報を維持し、かつ、マスキング対象部分の座標などの情報のみを暗号化して記憶するようにしてもよい。
[0100]
 この場合には、アンマスキング時には、マスキング対象部分の座標情報を復号化して、それを用いて、マスキング画像の元の画像を復元するようにする。
[0101]
 このようにすれは、暗号化された情報量が少ないため、高速な処理が可能となることも期待できる。
[0102]
 また。マスキングする前の画像とマスキング付与後の画像の両方を記憶するようにしてもよい。マスキングする前の画像については厳重なアクセス管理(暗号化やパスワードなど)を行うことによりプライバシーを保護するようにする。
[0103]
 このようにすると、複雑な処理を必要とせずに、ある程度のプライバシー保護が実現できる。
[0104]
 なお、これまでの説明では、マスキング対象部分を人物の顔として説明したが、それ以外の個人情報に係る、動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分などであってもよい。
[0105]
 ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。
[0106]
 なお、画像情報の中に、マスキングが不要な特定の情報、例えば、道路や駐車場において、必要な車両番号を認識した場合に、その特定情報に関連したマスキングを必要とする部分、例えば、その車両の運転者や同乗者をマスキングするようにしてもよい。
[0107]
 図8は、本発明の画像マスキング装置1の別の実施形態の原画像の説明図であり、車のナンバープレート401、402を対象としている。なお、ナンバープレートの場合には、アンマスキングの際に、ナンバープレートの記号・番号を自動的に読み取り、犯罪捜査に役立てることも可能である。

産業上の利用可能性

[0108]
 本発明の画像マスキング装置は、監視カメラ画像に限らず、幅広くプライバシー保護の必要性のある画像の処理に用いることができるため、産業上の利用可能性が大いにある。

符号の説明

[0109]
1    画像マスキング装置
10   画像マスキングユニット
20   制御部
30   画像入力受付部
40   画像出力部
50   撮像部
60   画像受信部
70   画像記憶部
80   画像送信部
90   画像表示部
110  マスキング対象部分抽出部
120  マスキング対象属性検出部
130  マスキング対象統計処理部
140  マスキング付与部
150  アンマスキング部
101-103 マスキング対象部分
201-203 マスキング付与部分
401-402 ナンバープレート

請求の範囲

[請求項1]
 A)画像の入力を受け付ける画像入力受付部と、
 B)入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
 C)抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
 D)前記マスキングが付された画像を出力する画像出力部と
を有する画像マスキング装置。
[請求項2]
 前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか1つ以上であることを特徴とする請求項1に記載の画像マスキング装置。
[請求項3]
 更に、
 E)前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
 を有することを特徴とする請求項1に記載の画像マスキング装置。
[請求項4]
 前記属性情報を用いて、前記マスキング対象部分を検索する機能を有することを特徴とする請求項3に記載の画像マスキング装置。
[請求項5]
 更に、
 F)前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
 を有することを特徴とする請求項3に記載の画像マスキング装置。
[請求項6]
 画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴とする請求項1に記載の画像マスキング装置。
[請求項7]
 前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴とする請求項6に記載の画像マスキング装置。
[請求項8]
 前記マスキング対象部分抽出部が、機械学習を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項1に記載の画像マスキング装置。
[請求項9]
 前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴とする請求項8に記載の画像マスキング装置。
[請求項10]
 前記マスキング対象部分抽出部が、エッジ抽出処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項1に記載の画像マスキング装置。
[請求項11]
 前記マスキング対象部分抽出部が、OCR処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項1に記載の画像マスキング装置。
[請求項12]
 更に、
 G)前記マスキングが付された画像のマスキングを除去するアンマスキング部と
 を有することを特徴とする請求項1に記載の画像マスキング装置。
[請求項13]
 前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴とする請求項12に記載の画像マスキング装置。
[請求項14]
 前記アンマスキング部は、特定の手順によってのみ、アンマスキングが可能であることを特徴とする請求項12に記載の画像マスキング装置。
[請求項15]
 A)画像の入力を受け付け、
 B)入力された画像からマスキング対象部分を自動的に抽出し、
 C)抽出された前記マスキング対象部分にマスキングを付し、
 D)前記マスキングが付された画像を出力する
 画像マスキング方法。
[請求項16]
 前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか1つ以上であることを特徴とする請求項15に記載の画像マスキング方法。
[請求項17]
 更に、
 E)前記マスキング対象部分の属性情報を検出する
 ことを特徴とする請求項15に記載の画像マスキング方法。
[請求項18]
 前記属性情報を用いて、前記マスキング対象部分を検索することを特徴とする請求項17に記載の画像マスキング方法。
[請求項19]
 更に、
 F)前記属性情報を用いて前記マスキングが付された画像を統計処理する
 ことを特徴とする請求項17に記載の画像マスキング装置。
[請求項20]
 画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴とする請求項15に記載の画像マスキング方法。
[請求項21]
 前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴とする請求項20に記載の画像マスキング方法。
[請求項22]
 前記マスキング対象部分を抽出する工程が、機械学習を用いた画像処理によることを特徴とする請求項15に記載の画像マスキング方法。
[請求項23]
 前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴とする請求項22に記載の画像マスキング方法。
[請求項24]
 前記マスキング対象部分を抽出する工程が、エッジ抽出処理を用いた画像処理によることを特徴とする請求項15に記載の画像マスキング方法。
[請求項25]
 前記マスキング対象部分を抽出する工程が、OCR処理を用いた画像処理によることを特徴とする請求項15に記載の画像マスキング方法。
[請求項26]
 更に、
 G)前記マスキングが付された画像のマスキングを除去するアンマスキング工程を有することを特徴とする請求項15に記載の画像マスキング方法。
[請求項27]
 前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴とする請求項26に記載の画像マスキング方法。
[請求項28]
 前記アンマスキング工程は、特定の手順によってのみ、アンマスキングが可能であることを特徴とする請求項26に記載の画像マスキング方法。
[請求項29]
 入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
 抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と
 を有する画像マスキングユニット。
[請求項30]
 更に、
 前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
 前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
 前記マスキングが付された画像のマスキングを除去するアンマスキング部と
 の少なくとも一つ以上を含むことを特徴とする請求項29に記載の画像マスキングユニット。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]