処理中

しばらくお待ちください...

設定

設定

1. WO2020008629 - 画像処理システム、画像処理方法、及びプログラム

Document

明 細 書

発明の名称 画像処理システム、画像処理方法、及びプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019  

発明の効果

0020  

図面の簡単な説明

0021  

発明を実施するための形態

0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

明 細 書

発明の名称 : 画像処理システム、画像処理方法、及びプログラム

技術分野

[0001]
 本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

背景技術

[0002]
 従来、スキャナやカメラなどによって取り込まれた文書の取込画像を解析する技術が知られている。例えば、特許文献1には、文書内の所定位置に、特徴部分として基準マークを印刷しておき、取込画像に対して斜め方向に基準マークを探索する装置が記載されている。この装置では、検出した基準マークの位置に基づいて、取込画像における文書の曲がりを正すように整形したうえで、光学文字認識が実行される。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2001-014427号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、特許文献1の技術では、特徴部分が隠れていたりはっきり写っていなかったりすると、取込画像から特徴部分を検出することができないので、取込画像をうまく整形することができず、画像処理の精度を十分に高めることができなかった。
[0005]
 本発明は上記課題に鑑みてなされたものであって、その目的は、画像処理の精度を高めることが可能な画像処理システム、画像処理方法、及びプログラムを提供することである。

課題を解決するための手段

[0006]
 上記課題を解決するために、本発明に係る画像処理システムは、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段と、前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出手段と、前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形手段と、前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索手段と、を含み、前記整形手段は、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する、ことを特徴とする。
[0007]
 本発明に係る画像処理方法は、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得ステップと、前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出ステップと、前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形ステップと、前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索ステップと、を含み、前記整形ステップは、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する、ことを特徴とする。
[0008]
 本発明に係るプログラムは、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段、前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出手段、前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形手段、前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索手段、としてコンピュータを機能させるためのプログラムであって、前記整形手段は、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する。
[0009]
 本発明の一態様では、前記画像処理システムは、見本画像から前記代替の特徴部分を検出する手段を更に含み、前記整形手段は、前記特徴部分が検出されなかった場合は、前記見本画像における前記代替の特徴部分の位置を前記第2位置として取得し、前記整形画像を取得する、ことを特徴とする。
[0010]
 本発明の一態様では、前記探索手段は、前記取込画像に基づくヒストグラムを利用して、前記代替の特徴部分を探索する、ことを特徴とする。
[0011]
 本発明の一態様では、前記探索手段は、前記第1位置に基づいて定まる領域内から、前記代替の特徴部分を探索する、ことを特徴とする。
[0012]
 本発明の一態様では、前記検出手段は、複数の特徴部分を検出し、前記整形手段は、前記複数の特徴部分の各々の位置が、当該特徴部分に対応する第1位置に合うように、前記整形画像を取得し、前記探索手段は、少なくとも1つの前記特徴部分が検出されなかった場合に、前記代替の特徴部分を探索し、前記整形手段は、前記少なくとも1つの特徴部分が検出されなかった場合に、前記代替の特徴部分に基づいて、前記整形画像を取得する、ことを特徴とする。
[0013]
 本発明の一態様では、前記探索手段は、前記複数の特徴部分のうちの一部だけが検出された場合に、検出されなかった特徴部分ごとに、検出された一部の特徴部分との位置関係に基づいて、前記代替の特徴部分を探索する、ことを特徴とする。
[0014]
 本発明の一態様では、前記複数の特徴部分は、3つ以上であり、前記探索手段は、前記検出されなかった特徴部分ごとに、前記代替の特徴部分の候補を探索し、当該候補と前記検出された一部の特徴部分とによって囲われる領域のサイズに基づいて、前記代替の特徴部分を決定する、ことを特徴とする。
[0015]
 本発明の一態様では、前記探索手段は、複数の前記特徴部分が検出されなかった場合に、検出されなかった特徴部分ごとに、他の代替の特徴部分との位置関係に基づいて、前記代替の特徴部分を探索する、ことを特徴とする。
[0016]
 本発明の一態様では、前記複数の特徴部分は、3つ以上であり、前記探索手段は、前記検出されなかった特徴部分ごとに、前記代替の特徴部分の候補を探索し、前記検出されなかった複数の特徴部分の各々の候補によって囲われる領域のサイズに基づいて、前記代替の特徴部分を決定する、ことを特徴とする。
[0017]
 本発明の一態様では、前記探索手段は、予め定められた前記代替の特徴部分を探索する、ことを特徴とする。
[0018]
 本発明の一態様では、前記特徴部分は、前記定型部分における文字又は記号である、ことを特徴とする。
[0019]
 本発明の一態様では、前記画像処理システムは、前記整形画像に対して光学文字認識を実行する実行手段、を更に含むことを特徴とする。

発明の効果

[0020]
 本発明によれば、画像処理の精度を高めることが可能になる。

図面の簡単な説明

[0021]
[図1] 画像処理システムの全体構成を示す図である。
[図2] 運転免許証が取り込まれる様子を示す図である。
[図3] 取込画像の一例を示す図である。
[図4] 画像処理システムにおいて実現される機能の一例を示す機能ブロック図である。
[図5] 見本画像の一例を示す図である。
[図6] 見本画像データベースのデータ格納例を示す図である。
[図7] 見本画像データベースに格納されるテンプレート画像の一例を示す図である。
[図8] 取込画像が整形される様子を示す図である。
[図9] 取込画像が整形される様子を示す図である。
[図10] テンプレートマッチングの一例を示す図である。
[図11] 第2整形部の処理内容を示す図である。
[図12] 第2整形部の処理内容を示す図である。
[図13] 光学文字認識により抽出される文字の一例を示す図である。
[図14] 画像処理システムにおいて実行される処理の一例を示すフロー図である。
[図15] 取込画像の一例を示す図である。
[図16] 画像処理システムにおいて実現される機能の一例を示す機能ブロック図である。
[図17] 代替の特徴部分が探索される様子を示す図である。
[図18] 見本画像から代替の特徴部分が検出される様子を示す図である。
[図19] 実施形態2で整形画像が取得される様子を示す図である。
[図20] 実施形態2で整形画像が取得される様子を示す図である。
[図21] 光学文字認識により抽出される文字の一例を示す図である。
[図22] 画像処理システムにおいて実行される処理の一例を示すフロー図である。
[図23] 画像処理システムにおいて実行される処理の一例を示すフロー図である。
[図24] 実施形態2の変形例(1)における処理の説明図である。
[図25] 実施形態2の変形例(2)における処理の説明図である。

発明を実施するための形態

[0022]
[1.実施形態1]
 以下、本発明に関わる画像処理システムの実施形態の例を説明する。
[0023]
[1-1.画像処理システムの全体構成]
 図1は、画像処理システムの全体構成を示す図である。図1に示すように、画像処理システムSは、ユーザ端末10、画像読取装置20、及びサーバ30を含む。ユーザ端末10とサーバ30は、それぞれインターネットなどのネットワークに接続可能である。なお、図1では、ユーザ端末10、画像読取装置20、及びサーバ30をそれぞれ1台ずつ示しているが、これらは複数台ずつあってもよい。また、画像読取装置20がネットワークに接続可能であってもよい。
[0024]
 ユーザ端末10は、ユーザが操作するコンピュータであり、例えば、携帯電話機(スマートフォンを含む)、携帯情報端末(タブレット型コンピュータを含む)、又はパーソナルコンピュータ等である。図1に示すように、ユーザ端末10は、制御部11、記憶部12、通信部13、操作部14、表示部15、及び撮影装置16を含む。
[0025]
 制御部11は、例えば、少なくとも1つのマイクロプロセッサを含む。制御部11は、記憶部12に記憶されたプログラムやデータに従って処理を実行する。記憶部12は、主記憶部及び補助記憶部を含む。例えば、主記憶部はRAMなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部13は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。
[0026]
 操作部14は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等を含む。操作部14は、操作内容を制御部11に伝達する。表示部15は、例えば、液晶表示部又は有機EL表示部等である。撮影装置16は、少なくとも1つのカメラを含み、例えば、CMOSイメージセンサ又はCCDイメージセンサなどを含む。撮影装置16は、静止画又は動画を撮影し、画像データを生成する。なお、本実施形態では、撮影装置16がユーザ端末10に含まれる場合を説明するが、撮影装置16は、ユーザ端末10の外部にあってもよい。
[0027]
 画像読取装置20は、画像を読み取る装置であり、例えば、スキャナである。画像読取装置20は、例えば、CMOSイメージセンサ又はCCDイメージセンサなどを含む。画像読取装置20は、画像が形成された媒体(例えば、用紙、フィルム、プラスチック等)を読み取り、画像データを生成する。なお、本実施形態では、画像読取装置20がユーザ端末10の外部に含まれている場合を説明するが、画像読取装置20は、ユーザ端末10の内部にあってもよい。
[0028]
 サーバ30は、サーバコンピュータである。サーバ30は、制御部31、記憶部32、及び通信部33を含む。制御部31、記憶部32、及び通信部33のハードウェア構成は、それぞれ制御部11、記憶部12、及び通信部13と同様であってよく、ここでは説明を省略する。
[0029]
 なお、記憶部12,32に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して他のコンピュータから供給されるようにしてもよい。また、ユーザ端末10、画像読取装置20、及びサーバ30のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部(例えば、光ディスクドライブやメモリカードスロット)や外部機器とデータの入出力をするための入出力部(例えば、USBポート)が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して供給されるようにしてもよい。
[0030]
[1-2.画像処理システムの概要]
 本実施形態では、ユーザは、インターネットで銀行口座の開設や保険の契約等をするために、撮影装置16又は画像読取装置20で本人確認書類を取り込み、サーバ30に取込画像をアップロードする。サーバ30は、取込画像に対して光学文字認識を実行し、本人確認書類に印刷された氏名、住所、及び生年月日といった文字を抽出する。
[0031]
 本人確認書類は、ユーザを確認可能な書類であればよく、例えば、運転免許証、保険証、住民票、又はパスポートといった書類である。本実施形態では、本人確認書類の一例として運転免許証を説明する。なお、運転免許証は、国や地域ごとに種々の書式が存在するが、説明の都合上、架空の書式の運転免許証を例に挙げる。
[0032]
 図2は、運転免許証が取り込まれる様子を示す図である。図2に示すように、例えば、ユーザは、ユーザ端末10の撮影装置16を使って、机に置いた運転免許証を撮影する。撮影装置16の位置や向きは、自由に変えることができるので、運転免許証は、必ずしも、正面(真上)から撮影されるとは限らない。このため、取込画像における運転免許証には、歪みや曲がりが発生することが多い。なお、本実施形態では、取込画像の解像度は、光学文字認識が可能な程度に担保されており、撮影装置16のピントも運転免許証に合っているものとする。
[0033]
 図3は、取込画像の一例を示す図である。図3に示すように、取込画像I1における運転免許証に歪みや曲がりが発生すると、光学文字認識を実行しても文字を抽出することは難しい。この点、運転免許証には、文書の歪みと曲がりを正すための専用のマークが印刷されているわけではないので、このようなマークを利用して歪みや曲がりを正すことはできない。
[0034]
 例えば、運転免許証に印刷された「DRIVER LICENSE」といった定型部分の一部の文字を代用することも考えられるが、このような定型部分は、文書の歪みと曲がりを正すための専用のマークとして印刷されたわけではないので、光学文字認識が難しいのと同じ理由で精度よく検出することは難しい。また、運よく検出できたとしても、同じ文書の中に同じ文字が含まれていることもあり、誤検出の可能性もある。
[0035]
 そこで、本実施形態の画像処理システムSでは、取込画像I1における運転免許証の歪みや曲がりを大まかに補正した後に、運転免許証内の定型部分を検出して歪みや曲がりを細かく補正することで、例えば光学文字認識をしやすい状態の画像を生成するようにしている。以降、画像処理システムSの詳細を説明する。
[0036]
[1-3.画像処理システムにおいて実現される機能]
 図4は、画像処理システムSにおいて実現される機能の一例を示す機能ブロック図である。図4に示すように、画像処理システムSでは、データ記憶部100、取得部101、第1整形部102、検出部103、第2整形部104、及び実行部105が実現される場合を説明する。
[0037]
[1-3-1.データ記憶部]
 データ記憶部100は、記憶部32を主として実現される。データ記憶部100は、画像処理を実行するために必要なデータを記憶する。ここでの画像処理とは、画像に基づいた処理であればよく、例えば、画像の加工や光学文字認識といった種々の処理を含む意味である。本実施形態では、データ記憶部100が記憶するデータの一例として、文書の見本画像に関する見本画像データベースを説明する。
[0038]
 文書とは、画像が形成された媒体であり、書類と呼ばれることもある。別の言い方をすれば、撮影装置16又は画像読取装置20によって画像に取り込まれる対象物である。文書は、所定の書式を有し、レイアウトが予め定められている。即ち、文書は、どこに何が描かれているか予め分かっているものとする。文書の種類は、任意であってよく、例えば、本人確認書類、身分証明書、公的機関への申請書、商品若しくはサービスの申込書、又は試験の解答用紙であってもよい。本実施形態では、文書の一例として運転免許証を説明する。このため、本実施形態で運転免許証と記載した箇所は、文書と読み替えることができる。文書は、定型部分と非定型部分を含む。
[0039]
 定型部分とは、内容が固定された部分であり、他の文書と内容が共通する部分である。別の言い方をすれば、定型部分は、文書に関わらず内容が変わらない部分であり、ユーザに関わらず内容が変わらない部分である。例えば、定型部分は、文書における書式部分であり、特定の文字、記号、図形、枠線、イラスト、又は画像が描かれた部分である。定型部分は、文書固有の情報を含む部分ということもできる。
[0040]
 図3の運転免許証であれば、「DRIVER LICENSE」というタイトルは、定型部分の一例である。また、「NAME」、「BIRTH DAY」、「ADDRESS」、「DATE」、「EXPIRES」、及び「NUMBER」といった項目名は、定型部分の一例である。また、「JAPAN」という国名は、定型部分の一例である。また、「Tokyo Metropolitan Public Safety Commission」という機関の名称は、定型部分の一例である。なお、定型部分は、上記のような文字に限られず、図3の運転免許証における日本の国旗を示す画像も、定型部分の一例である。また、上記の項目名等を囲む枠線も、定型部分の一例である。
[0041]
 非定型部分とは、内容が固定されていない部分であり、他の文書とは内容が共通しない部分である。別の言い方をすれば、非定型部分は、文書ごとに内容が変わる部分であり、ユーザごとに内容が変わる部分である。例えば、非定型部分は、文書における書式部分以外の部分であり、個人情報、ユーザの識別情報、申請内容、申込内容、又は試験の答えといった情報が印刷された部分である。非定型部分は、ユーザ固有の情報を含む部分ということもできる。
[0042]
 図3の運転免許証であれば、「YAMADA TARO」という氏名は、非定型部分の一例である。また、「June 23,1980」という生年月日は、非定型部分の一例である。また、「1-2-3 ABCCity Tokyo」という住所は、非定型部分の一例である。また、「July 25,2015」という発行日は、非定型部分の一例である。また、「July 25,2020」という有効期限日は、非定型部分の一例である。また、「1234 5678 9012」という免許証番号は、非定型部分の一例である。なお、非定型部分は、上記のような文字に限られず、図3の運転免許証におけるユーザの顔写真も、非定型部分の一例である。その他、ユーザのIDや身体的な特徴を示す情報が運転免許証に含まれていれば、そのような情報も非定型部分の一例である。
[0043]
 見本画像とは、文書の歪みと曲がりが全くない又は略ない画像である。別の言い方をすれば、見本画像は、正面方向又は略正面方向から文書が取り込まれた状態の画像である。正面方向とは、文書の表面とのなす角度が垂直となる方向であり、正対ということもできる。略正面方向とは、当該角度が垂直とみなせる程度の方向であり、例えば、当該角度が80°以上の方向である。見本画像の書式は、取込画像の書式と同じである。このため、見本画像の定型部分と、取込画像の定型部分と、は同じであり、見本画像の非定型部分と、取込画像の非定型部分と、は異なる。なお、見本画像は、非定型部分を含まなくてもよい。即ち、見本画像は、書式部分だけであってもよい。
[0044]
 歪みは、画像における文書の形状の変化である。別の言い方をすれば、歪みは、実際の文書の形状と、画像内の文書の形状と、の違いである。歪みが全くないとは、形状が変化しない(形状の違いがない)ことを意味し、歪みが略ないとは、形状が変化しないとみなせる程度であることを意味する。例えば、輪郭が四角形(角丸四角形を含む)の文書であれば、画像内での輪郭が台形になることが、歪みが発生することに相当する。例えば、上底の長さと下底の長さとの差が略ない(例えば、差が5%未満)ことが、歪みが略ないことに相当する。別の言い方をすれば、対辺のなす角度が所定角度未満(例えば、5°未満)であることが、歪みが略ないことに相当する。
[0045]
 曲がりは、画像における文書の回転(向き)である。別の言い方をすれば、曲がりは、正対した状態からどの程度ずれているかである。曲がりが全くないとは、正対した状態を意味し、曲がりが略ないとは、曲がりがないとみなせる程度であることを意味する。例えば、横長の四角形の文書であれば、長辺方向が水平方向(例えば、画像座標系のX軸方向)からずれており、短辺方向が垂直方向(例えば、画像座標系のY軸方向)からずれていることが、曲がりが発生することに相当する。また例えば、縦長の四角形の文書であれば、長辺方向が垂直方向からずれており、短辺方向が水平方向からずれていることが、曲がりが発生することに相当する。例えば、これらの各方向のなす角度が略0°(例えば、角度が5°未満)であることが、曲がりが略ないことに相当する。
[0046]
 図5は、見本画像の一例を示す図である。図5に示すように、見本画像I2は、角丸四角形の運転免許証の形状が保たれており、歪みが全くない又は略ない状態である。また、運転免許証の向きがずれておらず、曲がりが全くない又は略ない状態である。このため、見本画像I2の文字は、歪んだり曲がったりしておらず、光学文字認識に適した状態といえる。例えば、見本画像は、画像処理システムSの管理者によって予め用意されている。例えば、管理者は、画像読取装置又は撮影装置で文書を取り込んで見本画像を生成し、データ記憶部100に登録する。
[0047]
 図6は、見本画像データベースのデータ格納例を示す図である。図6に示すように、例えば、見本画像データベースには、見本画像I2のファイル名、文書の種類、見本画像I2の特徴点群情報、テンプレート画像が示す特徴部分の名前・ファイル名・位置が格納される。
[0048]
 なお、見本画像I2は、取り込まれる文書の種類ごとに用意しておけばよく、例えば、運転免許証の見本画像、住民票の見本画像、パスポートの見本画像といったように用意しておけばよい。また、これらの文書は、国や地域によって書式が異なるので、国ごと又は地域ごとに見本画像I2を用意してもよい。
[0049]
 特徴点群情報は、見本画像I2から抽出された特徴点群に関する情報である。特徴点群は、複数の特徴点の集まりである。特徴点は、被写体の特徴的な部分を示す点であり、例えば、形状的な特徴と、色彩的な特徴と、の少なくとも一方が表れた点である。
[0050]
 特徴点群を抽出するアルゴリズム自体は、種々のアルゴリズムを提供可能であり、例えば、OpenCVで実装されているSIFT、SURF、又はA-KAZEといったアルゴリズムを利用してもよい。例えば、特徴点群情報は、各特徴点の位置座標と、各特徴点の特徴量と、を含む。特徴量は、上記アルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。
[0051]
 図7は、見本画像データベースに格納されるテンプレート画像の一例を示す図である。図7に示すように、テンプレート画像T1~T4は、見本画像I2のうち、定型部分における特徴部分を示す画像である。なお、以降では、テンプレート画像T1~T4を特に区別する必要のないときは、単にテンプレート画像Tと記載する。
[0052]
 テンプレート画像Tは、1枚だけであってもよいし、複数枚用意しておいてもよい。テンプレート画像Tは、後述する画像処理で用いられる特徴部分の数だけ用意しておけばよい。テンプレート画像Tは、任意の特徴部分を示す画像であってよいが、本実施形態では、画像処理の精度を高めるために、運転免許証の四隅付近にある特徴部分を利用している。
[0053]
 例えば、テンプレート画像T1は、運転免許証の「DRIVER LISENCE」というタイトルの中の「DR」の文字を示す。テンプレート画像T1は、運転免許証の左上付近の特徴部分を示す。また例えば、テンプレート画像T2は、運転免許証における日本の国旗を示す。テンプレート画像T2は、運転免許証の右上付近の特徴部分を示す。また例えば、テンプレート画像T3は、運転免許証の「JAPAN」という国名の中の「JA」の文字を示す。テンプレート画像T3は、運転免許証の左下付近の特徴部分を示す。また例えば、テンプレート画像T4は、運転免許証の「Tokyo Metropolitan Public Safety Commission」という発行機関名の末尾の「on」の文字を示す。テンプレート画像T4は、運転免許証の右下付近の特徴部分を示す。
[0054]
[1-3-2.取得部]
 取得部101は、制御部31を主として実現される。取得部101は、画像読取装置20又は撮影装置16によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像I1を取得する。なお、「画像を取得する」とは、画像のデータを取得することである。この点は、本実施形態で「画像を取得する」と記載した他の箇所も同様である。画像のデータとしては、種々のファイル形式を適用可能であり、例えば、JPEG、GIF、BMP、又はPNGといった形式であってもよい。
[0055]
 例えば、取得部101は、ネットワークを介し、ユーザ端末10から取込画像I1を取得してもよいし、画像読取装置20から取込画像I1を取得してもよい。また例えば、取込画像I1は、データ記憶部100に記憶されていてもよく、この場合、取得部101は、データ記憶部100から取込画像I1を取得する。また例えば、取込画像I1は、サーバ30の外部にあるデータベースサーバに記憶されていてもよく、この場合、取得部101は、当該データベースサーバから取込画像I1を取得する。
[0056]
[1-3-3.第1整形部]
 第1整形部102は、制御部31を主として実現される。第1整形部102は、見本画像I2における文書の特徴と、取込画像I1における文書の特徴と、に基づいて、取込画像I1を整形して第1整形画像を取得する。
[0057]
 文書の特徴とは、文書の取り込まれ方であり、例えば、歪み、曲がり、サイズ、又は位置である。ここでは、特に画像における文書の形状や向きの特徴が利用される。整形とは、画像における文書の形状を整えることである。別の言い方をすれば、整形は、画像の変形又は加工ということもできる。画像の整形方法自体は、種々の手法を適用可能であり、例えば、アフィン変換、線形変換、投影変換、回転、拡大・縮小、又は移動を利用してもよいし、これらの組み合わせを利用してもよい。
[0058]
 例えば、第1整形部102は、画像の局所的な特徴(一部分だけの特徴)を考慮するのではなく、見本画像I2における文書の全体的な特徴と、取込画像I1における文書の全体的な特徴と、に基づいて、取込画像I1を整形する。例えば、第1整形部102は、見本画像I2における文書の特徴に近づくように、取込画像I1を整形する。別の言い方をすれば、例えば、第1整形部102は、見本画像I2における文書の形状と向きに近づくように、取込画像I1を整形する。
[0059]
 図8及び図9は、取込画像I1が整形される様子を示す図である。図8及び図9に示すように、例えば、第1整形部102は、見本画像I2から抽出された文書の特徴点群P2と、取込画像I1から抽出された文書の特徴点群P1と、に基づいて、第1整形画像I3を取得する。
[0060]
 なお、ここでは、見本画像I2の特徴点群全体を説明する場合はP2の符号を付し、個々の特徴点を説明する場合はP2-m(mは自然数)の符号を付す。同様に、取込画像I1の特徴点群全体を説明する場合はP1の符号を付し、個々の特徴点を説明する場合はP1-n(nは自然数)の符号を付す。また、特に図面を参照する必要のないときは、特徴点の符号を省略することもある。
[0061]
 例えば、第1整形部102は、見本画像データベースから見本画像I2の特徴点群情報を取得する。また例えば、第1整形部102は、取込画像I1から特徴点群P1を抽出し、特徴点群情報を取得する。特徴点群P1の抽出及び特徴点群情報の取得は、先述したアルゴリズムを利用して行われるようにすればよい。例えば、第1整形部102は、見本画像I2の特徴点群情報と、取込画像I1の特徴点群情報と、に基づいて、特徴点群P1,P2のマッチングを行う。
[0062]
 マッチングは、見本画像I2の特徴点群P2と、取込画像I1の特徴点群P1と、を関連付ける処理である。マッチングは、先述した特徴点抽出のアルゴリズムを利用してもよく、例えば、OpenCVで実装されているアルゴリズムを利用してもよい。例えば、第1整形部102は、見本画像I2の特徴点群情報が示す各特徴点P2-mの特徴量と、取込画像I1の特徴点群情報が示す各特徴点P1-nの特徴量と、に基づいて、特徴点群のマッチングを行う。マッチングの際には、特徴量が似ている特徴点同士を関連付ければよい。なお、特徴量が似ているとは、特徴量の値が似ていることであり、特徴量の差が小さい(例えば、差が最小となる)ことである。
[0063]
 図8の例では、第1整形部102は、取込画像I1の特徴点群情報に基づいて、見本画像I2の特徴点P2-1の特徴量と近い特徴量を有する特徴点P1-1を特定し、特徴点P2-1と特徴点P1-1とをマッチングする。同様に、第1整形部102は、取込画像I1の特徴点群情報に基づいて、見本画像I2の特徴点P2-2の特徴量と近い特徴量を有する特徴点P1-2を特定し、特徴点P2-2と特徴点P1-2とをマッチングする。
[0064]
 他の特徴点についても同様の処理が実行され、特徴点P2-3~P2-7と、特徴点P1-3~P1-7と、がマッチングされる。なお、図8では、簡略化のために、特徴点を少なく記載しているが、実際には、数十~数千程度又はそれ以上の特徴点が抽出されるようにしてもよく、それぞれの特徴点についてマッチングが行われる。
[0065]
 例えば、第1整形部102は、特徴点群のマッチング結果に基づいて、変換行列を計算する。変換行列は、取込画像I1の各特徴点の位置が、見本画像I2におけるマッチング相手の特徴点の位置に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式を利用してもよい。第1整形部102は、変換行列に基づいて、取込画像I1を変換して第1整形画像I3を取得する。図9に示すように、第1整形画像I3は、見本画像I2における文書と大まかに似た状態となる。
[0066]
 なお、特徴点群は、画像全体から抽出されてもよいが、一部の領域だけから抽出されてもよい。例えば、第1整形部102は、見本画像I2における所定領域内の文書の特徴と、取込画像I1における所定領域に対応する領域内の文書の特徴と、に基づいて、第1整形画像I3を取得してもよい。
[0067]
 所定領域は、予め定められた一部の領域であればよく、例えば、見本画像I2において定型部分が表れた領域であってもよい。例えば、第1整形部102は、見本画像I2において定型部分が表れた領域内の特徴点群と、取込画像I1において定型部分が表れた領域内の特徴点群と、に基づいて、第1整形画像I3を取得してもよい。
[0068]
 なお、ここでは、特徴点群を利用する場合を例に挙げたが、第1整形部102は、画像の特徴となりうる情報に基づいて、取込画像I1を整形すればよく、特徴点群以外の情報を利用してもよい。
[0069]
 例えば、第1整形部102は、見本画像I2から抽出した輪郭線と、取込画像I1から抽出した輪郭線と、に基づいて、取込画像I1を整形してもよい。輪郭線は、Sobelフィルタ等のエッジ検出処理によって取得されるようにすればよい。第1整形部102は、見本画像I2から抽出された輪郭線に近づくように、取込画像I1を整形してもよい。例えば、第1整形部102は、本実施形態の運転免許証における「NAME」や「BIRTH DAY」等を囲む枠線の形状が大まかに合うように、取込画像I1を整形してもよい。その際、枠線全体を検出できず、一部だけが検出されたとしても、当該検出された一部の枠線の形状を大まかに合わせるようにすればよい。
[0070]
 また例えば、第1整形部102は、取込画像I1に対して背景分離処理を実行し、文書が表れた前景部分を特定し、前景部分の形状が、見本画像I2における文書の形状に近づくように、見本画像I2を整形してもよい。その際、前景部分の特定の精度があまり高くなかったとしても、取込画像I1における文書の歪みや曲がりを大まかに合わせるようにすればよい。
[0071]
[1-3-4.検出部]
 検出部103は、制御部31を主として実現される。検出部103は、第1整形画像I3から、定型部分の特徴部分を検出する。
[0072]
 特徴部分は、画像を整形する際に基準とする部分であり、ランドマークということもできる。例えば、特徴部分は、定型部分における文字又は記号であってもよいし、定型部分に描かれた枠線、イラスト、又は画像などであってもよい。また例えば、特徴部分は、その付近に同様の特徴が存在しない部分である特徴部分は、1つだけであってもよいし、複数であってもよい。本実施形態では、特徴部分が複数あり、複数の特徴部分の各々は、文書の端部付近に配置されている場合を説明するが、特徴部分は、中央付近に配置されていてもよいし、中央と端部の中間地点に配置されていてもよい。
[0073]
 特徴部分は、文書における所定位置に存在する。所定位置は、文書の中で特徴部分が表れる位置である。文書は書式が定められているので、文書における特徴部分の位置は、既知の位置となる。例えば、所定位置は、見本画像I2において特徴部分が表れた位置である。本実施形態では、特徴部分を示すテンプレート画像Tが用意されているので、見本画像I2からテンプレート画像Tを切り取った位置が所定位置である。
[0074]
 例えば、検出部103は、物体検出アルゴリズムを利用して、第1整形画像I3から特徴部分を検出する。物体検出アルゴリズムとしては、種々のアルゴリズムを適用可能であり、例えば、テンプレートマッチングを利用してもよいし、特徴点の配置パターンや輪郭線の向きなどを利用してもよい。本実施形態では、見本画像I2における特徴部分のテンプレート画像Tが用意されているので、検出部103は、テンプレート画像Tと似た部分を検出する。
[0075]
 図10は、テンプレートマッチングの一例を示す図である。図10に示すように、検出部103は、見本画像I2における特徴部分をテンプレート画像Tとしたテンプレートマッチングに基づいて、第1整形画像I3から特徴部分を検出する。図10の例では、検出部103は、テンプレート画像T4と同じ大きさのウィンドウWを第1整形画像I3内で走査し、枠内の各画素の画素値と、テンプレート画像T4の各画素の画素値と、に基づいて、特徴部分を検出する。例えば、検出部103は、これらの画素値の差に基づいて類似度を計算し、類似度が閾値以上の枠内に特徴部分が存在すると判定する。
[0076]
 例えば、第1整形画像I3全体の中から特徴部分が探索されてもよいが、本実施形態では、検出部103は、第1整形画像I3のうち、所定位置を含む領域の中から、特徴部分を検出してもよい。この領域は、任意の形状及びサイズであってよく、図10の例では、テンプレート画像T4が示す「on」という文字が表れた見本画像I2内の位置を含む領域A1となる。テンプレート画像T4は、運転免許証の右下付近の特徴部分を示すので、領域A1も右下付近の領域となる。
[0077]
 本実施形態では、複数の特徴部分が存在するので、検出部103は、複数の特徴部分を検出することになる。例えば、他のテンプレート画像Tも同様の処理が実行され、検出部103は、テンプレート画像T1が示す「DR」という文字が表れた見本画像I2内の位置を含む領域(左上付近の領域)の中から、当該文字を探索する。また例えば、検出部103は、テンプレート画像T2が示す国旗が表れた見本画像I2内の位置を含む領域(右上付近の領域)の中から、当該国旗を探索する。また例えば、テンプレート画像T3が示す「JA」という文字が表れた見本画像I2内の位置を含む領域(左下付近の領域)の中から、当該文字を探索する。
[0078]
[1-3-5.第2整形部]
 第2整形部104は、制御部31を主として実現される。第2整形部104は、検出部103により検出された特徴部分の位置が所定位置に合うように、第1整形画像I3を整形して第2整形画像を取得する。例えば、第2整形部104は、見本画像I2における特徴部分の位置と、第1整形画像I3における特徴部分の位置と、に基づいて、第1整形画像I3を整形する。
[0079]
 図11及び図12は、第2整形部104の処理内容を示す図である。図11に示すように、例えば、第2整形部104は、第1整形画像I3における特徴部分の位置Q3が、見本画像I2における特徴部分の位置Q2に近づくように、第1整形画像I3を整形する。
[0080]
 なお、ここでは、見本画像I2の特徴部分全体の位置を説明する場合はQ2の符号をし、個々の特徴部分の位置を説明する場合はQ2-k(kは自然数)の符号を付す。同様に、第1整形画像I3の特徴部分全体の位置を説明する場合はQ3の符号を付し、個々の特徴部分の位置を説明する場合はQ3-l(lは自然数)の符号を付す。また、特に図面を参照する必要のないときは、各位置の符号を省略することもある。
[0081]
  本実施形態では、複数の特徴部分が存在するので、第2整形部104は、複数の特徴部分の各々の位置Q3が、当該特徴部分に対応する所定位置Q2に合うように、第1整形画像I3を整形して第2整形画像I4を取得することになる。例えば、第2整形部104は、見本画像I2における特徴部分の位置Q2と、第1整形画像I3における特徴部分の位置Q3と、に基づいて変換行列を計算する。
[0082]
 変換行列は、第1整形画像I3における特徴部分の位置Q3が、見本画像I2における特徴部分の位置Q2に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式を利用してもよい。図11に示すように、第1整形画像I3における各特徴部分を繋いだ四角形(Q3-1~Q3-4で囲われた四角形)の形状が、見本画像I2における各特徴部分を繋いだ四角形(Q2-1~Q2-4で囲われた四角形)に近づくように、変換行列が計算される。
[0083]
 第2整形部104は、変換行列に基づいて、取込画像I1を変換して第2整形画像I4を取得する。図12に示すように、第2整形画像I4は、運転免許証の細かな歪みと曲がりが補正されており、見本画像I2の運転免許証と略同じ形状及び向きとなる。即ち、第2整形画像I4の各特徴部分を繋いだ四角形(Q4-1~Q4-4で囲われた四角形)の形状は、見本画像I2における各特徴部分を繋いだ四角形(Q2-1~Q2-4で囲われた四角形)と同じ又は略同じとなる。第2整形画像I4は、光学文字認識をしやすい状態の画像となる。
[0084]
[1-3-6.実行部]
 実行部105は、制御部31を主として実現される。実行部105は、第2整形画像I4に対して光学文字認識を実行する。光学文字認識のアルゴリズム自体は、種々のアルゴリズムを適用可能であり、例えば、パターンマッチングを利用したアルゴリズムであってもよいし、構造解析を利用したアルゴリズムであってもよい。
[0085]
 図13は、光学文字認識により抽出される文字の一例を示す図である。図13に示すように、実行部105は、光学文字認識によって第2整形画像I4から文字を取得する。なお、第2整形画像I4の全体が光学文字認識の対象となってもよいし、第2整形画像I4の一部が光学文字認識の対象となってもよい。一部である場合には、非定型部分だけであってもよいし、非定型部分の中の一部だけであってもよい。
[0086]
 実行部105は、第2整形画像I4に対して光学文字認識を実行することによって、運転免許証の非定型部分に表れた情報を抽出し、データ記憶部100に記録する。図13の例では、実行部105は、運転免許証に表れたユーザの氏名、生年月日、住所、発行日、有効日、及び免許証番号といった情報を抽出し、データ記憶部100に記録する。
[0087]
 なお、実行部105が抽出する情報は、文書に応じた情報であればよく、例えば、文書が住民票であれば、ユーザの氏名、生年月日、住所、本籍、及び性別といった情報が抽出されてもよい。また例えば、文書がパスポートであれば、ユーザの氏名、生年月日、住所、及びパスポート番号と言った情報が抽出されてもよい。また例えば、実行部105が抽出する情報は、ユーザの個人情報に限られず、例えば、公共機関への申請内容、商品若しくはサービスの申込内容、又は、答案用紙に書かれた答えの内容といった情報であってもよい。
[0088]
[1-4.本実施形態において実行される処理]
 図14は、画像処理システムSにおいて実行される処理の一例を示すフロー図である。図14に示す処理は、制御部11が記憶部12に記憶されたプログラムに従って動作し、制御部31が記憶部32に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図4に示す機能ブロックにより実行される処理の一例である。
[0089]
 図14に示すように、まず、ユーザ端末10においては、制御部11は、撮影装置16又は画像読取装置20から、取込画像I1を取得する(S1)。例えば、ユーザは、操作部14を操作して撮影装置16で運転免許証を撮影したり、画像読取装置20を操作して運転免許証を読み取らせたりする。S1においては、制御部11は、撮影装置16又は画像読取装置20が生成した画像データを取得することになる。なお、取込画像I1は、予め記憶部12又は外部の情報記憶媒体に記憶されていてもよい。
[0090]
 制御部11は、操作部14の検出信号に基づいて、本人確認書類の種類を示す種類情報を取得する(S2)。本実施形態では、ユーザがどの本人確認書類をアップロードするか分からないので、ユーザに、本人確認書類の種類を選択させるようにしている。S2においては、例えば、本人確認書類の種類を示すリストが表示部15に表示され、ユーザは、当該リストの中からアップロードする本人確認書類を選択する。このリストでは、例えば、運転免許証、住民票、又はパスポートといった種類が選択可能になっている。
[0091]
 制御部11は、サーバ30に対し、S1で取得した取込画像I1と、S2で取得した種類情報と、を送信する(S3)。
[0092]
 サーバ30においては、取込画像I1と種類情報とを受信すると、制御部31は、取込画像I1の特徴点群情報を取得する(S4)。S4においては、制御部31は、特徴点の抽出アルゴリズムに基づいて、取込画像I1から特徴点群を抽出し、特徴点群情報を生成する。
[0093]
 制御部31は、見本画像データベースから見本画像I2の特徴点群情報を取得する(S5)。S5においては、制御部31は、見本画像データベースのうち、S4で受信した種類情報が示す種類に対応するレコードを参照し、当該レコードに格納された特徴点群情報を取得する。
[0094]
 制御部31は、見本画像I2の特徴点群情報と、取込画像I1の特徴点群情報と、に基づいて、特徴点群をマッチングする(S6)。S6においては、制御部31は、特徴点のマッチングアルゴリズムに基づいて、見本画像I2の各特徴点と、取込画像I1の各特徴点と、の対応付けを行う。
[0095]
 制御部31は、S6におけるマッチング結果に基づいて、取込画像I1を整形して第1整形画像I3を取得する(S7)。S7においては、制御部31は、先述したような変換行列を計算し、当該変換行列に基づいて、取込画像I1を整形する。整形後の画像が第1整形画像I3となる。
[0096]
 制御部31は、見本画像データベースからテンプレート画像Tを取得する(S8)。S8においては、制御部31は、見本画像データベースのうち、S4で受信した種類情報が示す種類に対応するレコードを参照し、当該レコードに格納されたテンプレート画像Tを取得する。
[0097]
 制御部31は、S8で取得したテンプレート画像Tに基づいて、第1整形画像I3に対し、テンプレートマッチングを実行する(S9)。S9においては、制御部31は、第1整形画像I3の中からテンプレート画像Tと似た領域を探索する。ここでは、複数のテンプレート画像Tが用意されているので、制御部31は、テンプレート画像Tごとに、似た領域を探索することになる。
[0098]
 制御部31は、S9におけるマッチング結果に基づいて、第1整形画像I3を整形して第2整形画像I4を取得する(S10)。S10においては、制御部31は、先述したような変換行列を計算し、当該変換行列に基づいて、第1整形画像I3を整形する。整形後の画像が第2整形画像I4となる。
[0099]
 制御部31は、S10で取得した第2整形画像I4に対し、光学文字認識を実行する(S11)。S11においては、制御部31は、第2整形画像I4から文字を抽出する。
[0100]
 制御部31は、S11で抽出した文字を記憶部32に記録し(S12)、本処理は終了する。S12の処理により、ユーザがアップロードした本人確認書類から、ユーザの氏名、住所、及び生年月日といった情報が抽出され、記憶部32に記録されることになる。
[0101]
 以上説明した画像処理システムSによれば、文書の大まかな歪みと曲がりを除去するように取込画像を整形したうえで、特徴部分に基づいて、文書の細かな歪みと曲がりを取るように整形することで、取込画像の中から何度も特徴部分を探索するといった手間を省くことができ、画像処理を高速化することができる。
[0102]
 また、見本画像から抽出された文書の特徴点群と、取込画像から抽出された文書の特徴点群と、に基づいて、第1整形画像I3が取得され、種々の抽出アルゴリズムが存在し、より早く抽出できる特徴点群を利用することで、画像処理をより高速化することができる。また、画像における文書の特徴を詳細に示す特徴点群を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。
[0103]
 また、見本画像における所定領域内の文書の特徴と、取込画像における所定領域に対応する領域内の文書の特徴と、に基づいて、第1整形画像I3が取得され、特徴を抽出する領域を絞ることで、画像処理をより高速化することができる。
[0104]
 また、見本画像において定型部分が表れた領域内の文書の特徴と、取込画像において定型部分が表れた領域内の文書の特徴と、に基づいて、第1整形画像I3が取得され、特徴を抽出する領域を絞ることで、画像処理をより高速化することができる。また、これらの領域内の文書の特徴を利用することで、整形をするうえで信頼性の低い領域を特徴の抽出対象から除去することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。また、第1整形部102と第2整形部104という異なる特徴を持つ複数の整形手段を組み合わせることで、文書の歪みと曲がりを効果的に除去することができる。例えば、第2整形部104による二段階目の整形が線形歪みしか補正できなかったとしても、第1整形部102による一段階目の整形で非線形歪みを補正できるので、複数の整形手段を組み合わせることで、二段階目の補正を補うことができる。
[0105]
 また、種々の抽出アルゴリズムが存在し、精度の高いテンプレートマッチングを利用して特徴部分を検出することで、画像処理をより高速化し、かつ、画像処理の精度を効果的に高めることができる。
[0106]
 また、第1整形画像I3の全領域から特徴部分を探索するのではなく、既知の位置を含む領域内から特徴部分を探索し、特徴部分を探索する領域を絞ることで、画像処理をより高速化することができる。
[0107]
 また、特徴部分を1つだけ利用するのではなく、複数の特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。
[0108]
 また、文書の端部付近に配置された特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。
[0109]
 また、文書の定型部分における文字又は記号を特徴部分として利用することで、文書に特別なマークを印刷する必要がなくなる。
[0110]
 また、第2整形画像I4に対して光学文字認識を実行することで、文書から精度よく文字を抽出することができる。
[0111]
[2.実施形態2]
 次に、画像処理システムSの別実施形態を説明する。実施形態1のように特徴部分を利用して整形しようとしても、文書の取り込み方によっては、光が反射したり別の物体又は影で隠れたりして、特徴部分が取込画像I1にはっきりと写っておらず、うまく整形できないことがある。
[0112]
 図15は、取込画像I1の一例を示す図である。図15の取込画像I1では、運転免許証の左下に印刷された「JAPAN」の文字の一部が光で反射し、「J」と「A」の文字が全く写っておらず、「P」の文字もはっきりとは写っていない。これら3つの文字のうち、「J」と「A」は、テンプレート画像T3が示す特徴部分なので、4つの特徴部分のうちの1つを検出できず、画像処理の精度が下がってしまう。
[0113]
 そこで、実施形態2の画像処理システムSでは、特徴部分が取込画像I1にはっきりと写っていない場合に、取込画像I1の中から代替の特徴部分を探索することで、画像処理の精度を高めるようにしている。以降、実施形態2の画像処理システムSの詳細を説明する。なお、実施形態2では、実施形態1と同様の内容については説明を省略する。
[0114]
[2-1.画像処理システムにおいて実現される機能]
 図16は、画像処理システムSにおいて実現される機能の一例を示す機能ブロック図である。図16に示すように、画像処理システムSでは、データ記憶部200、取得部201、第1検出部202、探索部203、第2検出部204、整形部205、及び実行部206が実現される場合を説明する。
[0115]
[2-1-1.データ記憶部]
 データ記憶部200は、実施形態1で説明したデータ記憶部100と同様である。
[0116]
[2-1-2.取得部]
 取得部201は、実施形態1で説明した取得部101と同様である。
[0117]
[2-1-3.第1検出部]
 第1検出部202は、制御部31を主として実現される。第1検出部202は、実施形態1の検出部103と同様であってよく、取込画像I1に基づいて、定型部分の特徴部分を検出する。特徴部分の意味は、実施形態1で説明した通りである。実施形態2では、特徴部分が存在する所定位置のことを第1位置と記載する。即ち、第1位置は、撮影画像I1において特定部分が表れた位置ではなく、文書における特定部分の位置を意味する。第1位置は、特徴部分があるべき位置であり、例えば、見本画像I2において特定部分が表れた位置である。実施形態1で所定位置と記載した箇所は、実施形態2の第1位置と読み替えることができる。
[0118]
 実施形態1と同様、特徴部分は1つだけであってもよいが、ここでは、特徴部分が複数ある場合を説明する。このため、検出部103は、複数の特徴部分を検出することになる。複数の特徴部分の各々は、自身に対応する第1位置に存在することになる。また、実施形態1と同様、第1検出部202が第1整形画像I3から特徴部分を検出する場合を説明するが、実施形態2では、実施形態1の第1整形部102の処理を省略し、第1検出部202は、取込画像I1から特徴部分を検出してもよい。他にも例えば、実施形態2では、オペレータの操作によって取込画像I1が手動で整形されて第1整形画像I3が取得されてもよく、第1検出部202は、当該手動で整形された第1整形画像I3から特徴部分を検出してもよい。
[0119]
[2-1-4.探索部]
 探索部203は、制御部31を主として実現される。探索部203は、特徴部分が検出されなかった場合は、取込画像I1に基づいて、定型部分の代替の特徴部分を探索する。
[0120]
 代替の特徴部分は、検出されなかった特徴部分の代わりに用いる特徴部分である。特徴部分の意味は、実施形態1で説明した通りである。代替の特徴部分は、検出されなかった特徴部分と同様の特徴を有してもよいし、特にこれらの特徴は似ていなくてもよい。例えば、「JA」という文字の特徴部分が検出されなかった場合に、形状又はサイズが似た文字を代替の特徴部分としてもよいし、形状又はサイズが特に似ていない文字を代替の特徴部分としてもよい。
[0121]
 代替の特徴部分は、文書の第2位置に存在する特徴部分である。第2位置は、第1位置とは異なる位置であればよく、第1位置に基づいて定まる位置であってもよいし、特に第1位置とは関係のない位置であってもよい。本実施形態では、第2位置は、第1位置付近の位置であり、第1位置から所定距離以内(例えば、5センチメートル以内)の位置である。別の言い方をすれば、第2位置は、第1位置を含む領域内の位置である。なお、第2位置は、撮影画像I1において代替の特定部分が表れた位置ではなく、文書における代替の特定部分の位置である。第2位置は、代替の特徴部分があるべき位置であり、例えば、見本画像I2において代替の特定部分が表れた位置である。
[0122]
 図17は、代替の特徴部分が探索される様子を示す図である。図17に示すように、例えば、探索部203は、取込画像I1に基づくヒストグラムHを利用して、代替の特徴部分を探索する。ヒストグラムHは、画素値ごとの頻度を示す統計情報であり、例えば、縦軸に頻度をとり、横軸に画素値をとったグラフによって表される。例えば、探索部203は、画素値ごとに、所定領域内で当該画素値が表れた画素数をカウントし、ヒストグラムHを生成する。
[0123]
 探索部203は、ヒストグラムHの分布が特定の分布を示しているか否かを判定し、特定の分布を示している場合に、ヒストグラムHを生成した領域を特徴部分として決定する。特定の分布は、画像として特徴的であることを示す分布であり、例えば、定型部分のヒストグラムに基づいて定めておいてもよい。また例えば、背景色(例えば、白)だけの領域は、特徴部分とはならない、特定の分布は、背景色ではない色(前景色)を示す画素値(例えば、黒)の頻度が閾値以上表れることであってもよい。
[0124]
 例えば、代替の特徴部分は、画像全体から探索されてもよいが、探索部203は、第1位置に基づいて定まる領域A2内から、代替の特徴部分を探索してもよい。第1位置に基づいて定まる領域とは、第1位置を含む領域であり、第1位置から所定距離以内(例えば、5センチメートル以内)となる領域A2である。図17の例では、「JA」の特徴部分が検出されなかったので、当該特徴部分の第1位置(即ち、運転免許証の左下付近の位置)を含む領域A2の中から代替の特徴部分が探索される。
[0125]
 本実施形態では、複数の特徴部分が用意されているので、探索部203は、少なくとも1つの特徴部分が検出されなかった場合に、代替の特徴部分を探索することになる。なお、探索部203は、検出されなかった特徴部分の数が所定個数(例えば、2個)以上であった場合に代替の特徴部分を探索し、検出されなかった特徴部分の数が所定個数未満であった場合には代替の特徴部分を探索しなくてもよい。他にも例えば、探索部203は、検出されなかった特徴部分が1つでもあれば代替の特徴部分を探索し、検出されなかった特徴部分の数がなければ代替の特徴部分を探索しなくてもよい。
[0126]
[2-1-5.第2検出部]
 第2検出部204は、制御部31を主として実現される。第2検出部204は、見本画像I2から代替の特徴部分を検出する。特徴部分の検出方法自体は、実施形態1で説明した方法と同様であってよく、種々の物体検出アルゴリズムを適用可能である。第2検出部204は、探索部203により探索された代替の特徴部分と似た領域を、見本画像I2の中から検出する。
[0127]
 図18は、見本画像I2から代替の特徴部分が検出される様子を示す図である。図18に示すように、例えば、第2検出部204は、探索部203により探索された代替の特徴部分をテンプレート画像T5としたテンプレートマッチングに基づいて、見本画像I2から代替の特徴部分を検出する。図18の例では、「NUMBER」という項目名の中の「N」とその付近の線が代替の特徴部分として探索されたので、第2検出部204は、当該代替の特徴部分と似た領域を検出することになる。
[0128]
 なお、テンプレートマッチングの処理の詳細は、実施形態1で説明した通りであり、第2検出部204は、テンプレート画像T5と同じ大きさのウィンドウWを見本画像I2内で走査し、枠内の各画素の画素値と、テンプレート画像T5の各画素の画素値と、に基づいて、代替の特徴部分を検出する。例えば、第2検出部204は、これらの画素値の差に基づいて類似度を計算し、類似度が閾値以上の枠内に特徴部分が存在すると判定する。
[0129]
 例えば、見本画像I2全体の中から特徴部分が探索されてもよいが、本実施形態では、第2検出部204は、見本画像I2のうち、第1整形画像I3において代替の特徴部分が探索された位置を含む領域A3の中から、代替の特徴部分を検出してもよい。この領域A3は、任意の形状及びサイズであってよく、図18の例では、テンプレート画像T5が示す「N」とその付近の線が表れた位置を含む領域A3となる。テンプレート画像T5は、運転免許証の左下付近で探索された代替の特徴部分を示すので、領域A3も左下付近の領域となる。
[0130]
[2-1-6.整形部]
 整形部205は、制御部31を主として実現される。整形部205は、特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、取込画像I1の整形画像を取得する。整形部205は、実施形態1の第1整形部102及び第2整形部104と同様の処理を実行してもよい。
[0131]
 図19及び図20は、実施形態2で整形画像が取得される様子を示す図である。図19に示すように、例えば、整形部205は、第1整形画像I3における特徴部分の位置Q3が、見本画像I2における特徴部分の位置Q2に近づくように、第1整形画像I3を整形する。
[0132]
 実施形態2では、実施形態1と同様に、複数の特徴部分が存在するので、整形部205は、複数の特徴部分の各々の位置Q3が、当該特徴部分に対応する第1位置Q2に合うように、第2整形画像I4を取得する。例えば、整形部205は、見本画像I2における特徴部分の第1位置Q2と、第1整形画像I3における特徴部分の位置Q3と、に基づいて変換行列を計算する。
[0133]
 変換行列は、第1整形画像I3における特徴部分の位置Q3が、見本画像I2における特徴部分の位置Q2に近づくように計算される。変換行列の取得方法自体は、実施形態1で説明した通りである。図19に示すように、第1整形画像I3における各特徴部分と代替の特徴部分とを繋いだ四角形(Q3-1,Q3-2,Q3-4,Q3-5で囲われた四角形)の形状が、見本画像I2における各特徴部分と代替の特徴部分とを繋いだ四角形(Q2-1,Q2-2,Q2-4,Q2-5で囲われた四角形)に近づくように、変換行列が計算される。
[0134]
 整形部205は、変換行列に基づいて、第1整形画像I3を変換して第2整形画像I4を取得する。図20に示すように、第2整形画像I4は、運転免許証の細かな歪みと曲がりが補正されており、見本画像I2の運転免許証と略同じ形状及び向きとなる。即ち、第2整形画像I4の各特徴部分を繋いだ四角形(Q4-1,Q4-2,Q4-4,Q4-5で囲われた四角形)の形状は、見本画像I2における各特徴部分を繋いだ四角形(Q2-1,Q2-2,Q2-4,Q2-5で囲われた四角形)と同じ又は略同じとなる。第2整形画像I4は、光学文字認識をしやすい状態の画像となる。
[0135]
 なお、実施形態2では、実施形態1と同様に、整形部205が第1整形画像I3を整形して第2整形画像I4を取得する場合を説明したが、実施形態1の第1整形部102の処理を省略し、整形部205は、取込画像I1を整形して整形画像を取得してもよい。他にも例えば、実施形態2では、オペレータの操作によって取込画像I1が手動で整形されて第1整形画像I3が取得されてもよく、整形部205は、当該手動で整形された第1整形画像I3を整形して第2整形画像I4を取得してもよい。
[0136]
 上記のように、整形部205は、特徴部分が検出されなかった場合は、代替の特徴部分の位置が所定の第2位置に合うように、整形画像を取得してもよい。上記説明した通り、検出されなかった特徴部分の代わりに代替の特徴部分が用いられる点で異なるだけであり、整形方法は、実施形態1で説明した通りである。
[0137]
 また、上記のように、整形部205は、特徴部分が検出されなかった場合は、見本画像I2における代替の特徴部分の位置を第2位置として取得し、整形画像を取得してもよい。上記説明した通り、代替の特徴部分が用いられるという点で異なるだけであり、整形方法自体は、実施形態1で説明した通りである。また例えば、整形部205は、少なくとも1つの特徴部分が検出されなかった場合に、代替の特徴部分に基づいて、整形画像を取得してもよい。
[0138]
[2-1-7.実行部]
 実行部206は、制御部31を主として実現される。実行部206は、整形画像に対して光学文字認識を実行する。実行部206の処理の詳細は、実施形態1で説明した実行部105と同様であり、光学文字認識のアルゴリズは、実施形態1で説明したようなアルゴリズムを利用すればよい。
[0139]
 図21は、光学文字認識により抽出される文字の一例を示す図である。図21に示すように、実行部206は、第2整形画像I4に対して光学文字認識を実行することによって、運転免許証の非定型部分に表れた情報を抽出し、データ記憶部200に記録する。図21の例では、実行部206は、運転免許証に表れたユーザの氏名、生年月日、住所、発行日、有効日、及び免許証番号といった情報を抽出し、データ記憶部200に記録する。なお、実行部105が文書に応じた情報であればよい点についても実施形態1と同様である。
[0140]
[2-2.実施形態2において実行される処理]
 図22及び図23は、画像処理システムSにおいて実行される処理の一例を示すフロー図である。図22及び図23に示す処理は、制御部11が記憶部12に記憶されたプログラムに従って動作し、制御部31が記憶部32に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図16に示す機能ブロックにより実行される処理の一例である。
[0141]
 図22に示すように、S21~S29の処理は、実施形態1のS1~S9と同様である。なお、先述したように、S24~S27の処理を省略し、第1整形画像I3ではなく取込画像I1から特徴部分が検出されてもよい。
[0142]
 S29においてテンプレートマッチングが実行されると、制御部31は、検出されなかった特徴部分があるか否かを判定する(S30)。S30においては、制御部31は、S28で取得した全てのテンプレート画像Tについて、類似度が閾値以上の領域が見つかったか否かを判定する。
[0143]
 検出されなかった特徴部分がない場合(S30;N)、S31の処理に移行する。S31の処理は、実施形態1のS10と同様である。この場合、全ての特徴部分が検出されており、代替の特徴部分を探索する必要がないので、S32~S35の処理は実行されない。
[0144]
 一方、検出されなかった特徴部分がある場合(S30;Y)、図23に移り、制御部11は、検出されなかった特徴部分の第1位置に基づいて、代替の特徴部分を探索する探索領域を設定する(S32)。S32においては、制御部11は、検出されなかった特徴部分の座標を含む領域A3を、探索領域として設定する。なお、探索領域のサイズ及び形状は、予め定められているものとする。
[0145]
 制御部11は、S32で設定した探索領域内の小領域ごとにヒストグラムHを生成し、代替の特徴部分を探索する(S33)。S33においては、制御部11は、小領域ごとに生成したヒストグラムHが特定の特徴を示すか否かを判定する。なお、小領域のサイズ及び形状は、予め定められているものとする。
[0146]
 制御部11は、見本画像I2から、S33で探索した代替の特徴部分を検出する(S34)。S34においては、制御部11は、代替の特徴部分をテンプレート画像Tとし、テンプレートマッチングを実行する。
[0147]
 制御部11は、S29で特定した特徴部分、S33で探索した代替の特徴部分、及びS34で検出した代替の特徴部分に基づいて、第2整形画像I4を取得する(S35)。S35においては、制御部31は、先述したような変換行列を計算し、当該変換行列に基づいて、第1整形画像I3を整形する。整形後の画像が第2整形画像I4となる。続くS36~S37の処理は、実施形態1のS11~S12と同様である。
[0148]
 実施形態2の画像処理システムSによれば、特徴部分が検出されなかった場合に代替の特徴部分を探索し、検出されなかった特徴部分の代わりに代替特徴部分を利用するので、特徴部分が検出されなかったとしても、画像処理の精度を高めることができる。
[0149]
 また、見本画像I2から代替の特徴部分が検出され、見本画像I2における代替の特徴部分の位置に合うように整形することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。
[0150]
 また、取込画像I1に基づくヒストグラムHを利用して代替の特徴部分が探索されることで、より特徴的な部分を代替の特徴部分とすることができ、画像処理の精度を高めることができる。
[0151]
 また、特徴部分がある第1位置に基づいて定まる領域内から代替の特徴部分が探索されることで、代替の特等部分の探索領域を絞り、画像処理を高速化することができる。
[0152]
 また、特徴部分を1つだけ利用するのではなく、複数の特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。
[0153]
 また、文書の定型部分における文字又は記号を特徴部分として利用することで、文書に特別なマークを印刷する必要がなくなる。
[0154]
 また、第2整形画像I4に対して光学文字認識を実行することで、文書から精度よく文字を抽出することができる。
[0155]
[2-3.実施形態2の変形例]
 (1)例えば、実施形態2のように、第1整形画像I3の特徴部分及び代替の特徴部分の位置Q3で囲われた四角形と、見本画像I2の特徴部分及び代替の特徴部分の位置Q4で囲われた四角形と、に基づいて第1整形画像I3が整形される場合、これら四角形の面積が広い方が、整形の精度が高くなる。このため、代替の特徴部分として利用できそうな部分が複数存在する場合には、四角形が広くなるような代替の特徴部分を利用してもよい。
[0156]
 本変形例の探索部203は、複数の特徴部分のうちの一部だけが検出された場合に、検出されなかった特徴部分ごとに、検出された一部の特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。ここでの位置関係とは、検出された一部の特徴部分に対する相対的な位置である。
[0157]
 例えば、実施形態2で説明したように複数の特徴部分が3つ以上である場合は、探索部203は、検出されなかった特徴部分ごとに、代替の特徴部分の候補を探索し、当該候補と検出された一部の特徴部分とによって囲われる領域のサイズに基づいて、代替の特徴部分を決定してもよい。代替の特徴部分の候補の探索方法は、実施形態2で説明した代替の特徴部分の探索方法と同じであってよく、例えば、ヒストグラムHを利用して行われる。
[0158]
 ここでの領域とは、代替の特徴部分の候補の位置と、検出された特徴部分の位置と、を繋ぐことで形成される領域である。領域のサイズとは、領域の広さであり、例えば、面積であってもよいし、領域内の画素数であってもよい。他にも例えば、領域の外接矩形の縦幅と横幅の合計値を領域のサイズとしてもよいし、外接矩形の面積を領域のサイズとしてもよい。
[0159]
 図24は、実施形態2の変形例(1)における処理の説明図である。図24の例では、実施形態2で説明した例と同様に、テンプレート画像T1,T2,T4が示す特徴部分(左上、右上、右下の特徴部分)は検出され、テンプレート画像T3が示す特徴部分(左下の特徴部分)が検出されなかったものとする。
[0160]
 探索部203が代替の特徴部分を探索した結果、代替の特徴部分の候補が3つ存在したとする。図24では、これら3つの候補の位置をQ3-5~Q3-7の符号で示す。これら3つの候補のうち、検出された特徴部分の位置Q3-1,Q3-2,Q3-4と囲われる領域のサイズが最も広いのは、位置Q3-5なので、この部分を代替の特徴部分として利用してもよい。
[0161]
 例えば、探索部203は、代替の特徴部分の候補ごとに、検出された一部の特徴部分との間で囲われる領域のサイズを計算し、サイズが最大の候補を代替の特徴部分として決定する。別の言い方をすれば、探索部203は、複数の候補を発見した場合に、検出された一部の特徴部分との間で囲われる領域のサイズが最大になるものを、画像処理で利用する代替の特徴部分として決定する。即ち、探索部203は、サイズが最大になる組み合わせとなるように、特徴部分と代替の特徴部分との組み合わせを決定する。なお、探索部203は、サイズが最大の候補を発見するのではなく、サイズが閾値以上になった候補を発見した時点で、探索を終了してもよい。
[0162]
 また例えば、探索部203は、領域のサイズではなく、検出された一部の特徴部分と、代替の特徴部分の候補と、の距離に基づいて、代替の特徴部分を探索してもよい。ここでの距離とは、例えば、上記領域の外周であってもよいし、検出された一部の特徴部分の位置と代替の特徴部分の候補の位置との距離の合計値であってもよい。例えば、探索部203は、複数の候補を発見した場合に、検出された一部の特徴部分との距離が最大になるものを、画像処理で利用する代替の特徴部分として決定してもよい。別の言い方をすれば、探索部203は、距離が最大になる組み合わせとなるように、特徴部分と代替の特徴部分との組み合わせを決定する。
[0163]
 変形例(1)によれば、検出された一部の特徴部分との位置関係に基づいて、代替の特徴部分が探索され、画像処理に適した代替の特徴部分を利用することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。
[0164]
 また、領域のサイズに基づいて代替の特徴部分が決定される場合には、歪みと曲がりを除去するために最適な代替の特徴部分が見つかる確率が高まるので、画像処理の精度をより高め、歪みと曲がりをより効果的に除去することができる。
[0165]
 (2)また例えば、変形例(1)では、1つの特徴部分が検出されなかった場合を例に挙げたが、2つ以上の特徴部分が検出されなかった場合も同様に、探索部203は、検出された特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。この場合、代替の特徴部分が複数探索されることになるが、四角形が広くなるような組み合わせの代替の特徴部分が探索されてもよい。
[0166]
 本変形例の探索部203は、複数の特徴部分が検出されなかった場合に、検出されなかった特徴部分ごとに、他の代替の特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。ここでの位置関係とは、他の代替の特徴部分に対する相対的な位置である。
[0167]
 例えば、複数の特徴部分が3つ以上である場合は、探索部203は、検出されなかった特徴部分ごとに、代替の特徴部分の候補を探索し、検出されなかった複数の特徴部分の各々の候補によって囲われる領域のサイズに基づいて、代替の特徴部分を決定する。候補の探索方法は、変形例(1)で説明した通りである。
[0168]
 ここでの領域とは、特徴部分が1つでも検出された場合には、複数の候補の各々の位置と、当該検出された特徴部分の位置と、を繋ぐことで形成される領域である。一方、特徴部分が1つも検出されていない場合には、複数の候補の各々の位置を繋ぐことで形成される領域である。領域のサイズの意味は、変形例(1)で説明した通りである。
[0169]
 図25は、実施形態2の変形例(2)における処理の説明図である。図24の例では、テンプレート画像T2,T4が示す特徴部分(右上、右下の特徴部分)は検出され、テンプレート画像T1,T3が示す特徴部分(左上、左下の特徴部分)が検出されなかったものとする。
[0170]
 探索部203が代替の特徴部分を探索した結果、テンプレート画像T1が示す左上の代替の特徴部分の候補が2つ存在したとする。図24では、これら2つの候補の位置をQ3-8,Q3-9の符号で示す。また、探索部203が代替の特徴部分を探索した結果、テンプレート画像T3が示す左下の代替の特徴部分の候補が3つ存在したとする。図24では、これら3つの候補の位置をQ3-10~Q3-12の符号で示す。これらのうち、検出された特徴部分の位置Q3-2,Q3-4と囲われる領域のサイズが最大なのは、位置Q3-8,Q3-10の組み合わせなので、当該組み合わせを代替の特徴部分として利用してもよい。
[0171]
 例えば、探索部203は、他の代替の特徴部分によって囲われる領域のサイズに基づいて、代替の特徴部分を探索する。例えば、探索部203は、複数の候補を発見した場合に、他の候補との間で囲われる領域のサイズが最大になるものを、画像処理で利用する代替の特徴部分として決定する。別の言い方をすれば、探索部203は、サイズが最大になる組み合わせとなるように、代替の特徴部分の組み合わせを決定する。なお、探索部203は、サイズが最大の候補を発見するのではなく、サイズが閾値以上になった候補を発見した時点で、探索を終了してもよい。
[0172]
 また例えば、探索部203は、領域のサイズではなく、他の代替の特徴部分との距離に基づいて、代替の特徴部分を探索してもよい。ここでの距離とは、例えば、上記領域の外周であってもよいし、各候補間の距離の合計値であってもよい。例えば、探索部203は、複数の候補を発見した場合に、他の代替の特徴部分の候補との距離が最大になるものを、画像処理で利用する代替の特徴部分として決定してもよい。別の言い方をすれば、探索部203は、距離が最大になる組み合わせとなるように、代替の特徴部分の組み合わせを決定する。
[0173]
 変形例(2)によれば、他の代替の特徴部分との位置関係に基づいて、代替の特徴部分が探索され、より画像処理に適した代替の特徴部分を利用することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。
[0174]
 また、領域のサイズに基づいて代替の特徴部分が決定される場合には、歪みと曲がりを除去するために最適な代替の特徴部分が見つかる確率が高まるので、画像処理の精度をより高め、歪みと曲がりをより効果的に除去することができる。
[0175]
 (3)また例えば、実施形態2では、第1の整形画像I3の中から動的に代替の特徴部分が探索されたが、定型部分の中のどの部分を代替の特徴部分として利用するかを予め定めておいてもよい。この場合、データ記憶部200は、代替の特徴部分を示すデータを予め記憶しているものとする。例えば、代替の特徴部分である第2の位置も当該データに格納されていてよい。探索部203は、予め定められた代替の特徴部分を探索することになる。この場合、1つの特徴部分につき、複数の代替の特徴部分を定めておいてもよい。この場合、端部にあるものほど優先度を高くしておき、優先度の高い順番に、代替の特徴部分を検出可能であるか判定されてもよい。
[0176]
 図7のテンプレート画像を例に挙げると、テンプレート画像T1が示す左上の特徴部分である「DR」が検出されなかった場合に、代替の特徴部分として、その右にある「IV」の文字やその下にある「NA」の文字が定められていてもよい。また、テンプレート画像T2が示す右上の特徴部分である日本の国旗が検出されなかった場合に、代替の特徴部分として、その左にある「SE」の文字が定められていてもよい。
[0177]
 また、テンプレート画像T3が示す左下の特徴部分である「JA」が検出されなかった場合に、代替の特徴部分として、その右にある「PA」の文字やその上にある「NU」の文字が定められていてもよい。また、テンプレート画像T4が示す右下の特徴部分である「on」が検出されなかった場合に、代替の特徴部分として、その左にある「si」の文字や左上にある「an」の文字が定められていてもよい。
[0178]
 本変形例では、例えば、探索部203は、第1整形画像I3の中から、予め定められた代替の特徴部分を探索する。この探索方法は、特徴部分の検出方法と同様であってよく、例えば、物体検出アルゴリズムを利用すればよい。例えば、特徴部分と同様にして、代替の特徴部分を示すテンプレート画像を用意しておき、探索部203は、第1整形画像I3に対し、テンプレート画像に基づくテンプレートマッチングを実行してもよい。
[0179]
 本変形例では、代替の特徴部分の位置は、予め分かっているので、本変形例では、第2検出部204は省略してよい。実施形態1-2で説明した見本画像データベースと同様、代替の特徴部分の位置(第2の位置)は、予めデータ記憶部200に記憶させておけばよい。整形部205は、見本画像I1における特徴部分及び代替の特徴部分の位置と、第1整形画像I3における特徴部分及び代替の特徴部分の位置と、に基づいて、第1整形画像I3を整形すればよい。この処理の詳細は、実施形態2で説明した通りである。
[0180]
 変形例(3)によれば、代替の特徴部分を動的に決定するのではなく、予め定めておくことで、代替の特徴部分を探索する処理を簡略化し、画像処理を高速化することができる。例えば、代替の特徴部分を予め定めておくことで、実施形態2のように、ヒストグラムを計算する処理を省略したり、見本画像I2から第2の位置を特定したりする処理を省略することができるので、画像処理をより高速化することができる。
[0181]
[3.その他変形例]
 なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
[0182]
 例えば、実施形態1-2では、第2整形画像I4に対して光学文字認識が実行される場合を説明したが、整形後の画像に対する処理は、光学文字認識に限られない。例えば、実施形態1の実行部105は、第2整形画像I4に対して特に画像処理を施すことなく、データ記憶部100に記録してもよいし、同様に、実施形態2の実行部206は、第2整形画像I4に対して特に画像処理を施すことなく、第2整形画像I4をデータ記憶部200に記録してもよい。このように、特に光学文字認識をするためではなく、単に歪みと曲がりを除去するために本発明に係る処理が利用されてもよい。他にも例えば、実施形態1の実行部105は、第2整形画像I4から顔写真を抽出してもよいし、同様に、実施形態2の実行部206は、第2整形画像I4から顔写真を抽出してもよい。顔写真の領域は、見本画像I2に基づいて予め定めておけばよい。
[0183]
 また例えば、実施形態1-2では、サーバ30において主たる処理が実行される場合を説明したが、サーバ30で実行するものとして説明した処理は、ユーザ端末10で実行されてもよい。例えば、実施形態1において、取得部101、第1整形部102、検出部103、第2整形部104、及び実行部105がユーザ端末10で実現されてもよい。この場合、これら各機能は制御部11を主として実現されてもよく、ユーザ端末10は、サーバ30から見本画像データベースの内容を取得してもよい。また例えば、取得部101、第1整形部102、検出部103、第2整形部104、及び実行部105の各々がユーザ端末10とサーバ30とで分担されてもよい。
[0184]
 また例えば、実施形態2において、取得部201、第1検出部202、探索部203、第2検出部204、整形部205、及び実行部206がユーザ端末10で実現されてもよい。この場合、これら各機能は制御部11を主として実現されてもよく、ユーザ端末10は、サーバ30から見本画像データベースの内容を取得してもよい。また例えば、取得部201、第1検出部202、探索部203、第2検出部204、整形部205、及び実行部206の各々がユーザ端末10とサーバ30とで分担されてもよい。

請求の範囲

[請求項1]
 画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段と、
 前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出手段と、
 前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形手段と、
 前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索手段と、
 を含み、
 前記整形手段は、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する、
 ことを特徴とする画像処理システム。
[請求項2]
 前記画像処理システムは、見本画像から前記代替の特徴部分を検出する手段を更に含み、
 前記整形手段は、前記特徴部分が検出されなかった場合は、前記見本画像における前記代替の特徴部分の位置を前記第2位置として取得し、前記整形画像を取得する、
 ことを特徴とする請求項1に記載の画像処理システム。
[請求項3]
 前記探索手段は、前記取込画像に基づくヒストグラムを利用して、前記代替の特徴部分を探索する、
 ことを特徴とする請求項2に記載の画像処理システム。
[請求項4]
 前記探索手段は、前記第1位置に基づいて定まる領域内から、前記代替の特徴部分を探索する、
 ことを特徴とする請求項1~3の何れかに記載の画像処理システム。
[請求項5]
 前記検出手段は、複数の特徴部分を検出し、
 前記整形手段は、前記複数の特徴部分の各々の位置が、当該特徴部分に対応する第1位置に合うように、前記整形画像を取得し、
 前記探索手段は、少なくとも1つの前記特徴部分が検出されなかった場合に、前記代替の特徴部分を探索し、
 前記整形手段は、前記少なくとも1つの特徴部分が検出されなかった場合に、前記代替の特徴部分に基づいて、前記整形画像を取得する、
 ことを特徴とする請求項1~4の何れかに記載の画像処理システム。
[請求項6]
 前記探索手段は、前記複数の特徴部分のうちの一部だけが検出された場合に、検出されなかった特徴部分ごとに、検出された一部の特徴部分との位置関係に基づいて、前記代替の特徴部分を探索する、
 ことを特徴とする請求項5に記載の画像処理システム。
[請求項7]
 前記複数の特徴部分は、3つ以上であり、
 前記探索手段は、前記検出されなかった特徴部分ごとに、前記代替の特徴部分の候補を探索し、当該候補と前記検出された一部の特徴部分とによって囲われる領域のサイズに基づいて、前記代替の特徴部分を決定する、
 ことを特徴とする請求項6に記載の画像処理システム。
[請求項8]
 前記探索手段は、複数の前記特徴部分が検出されなかった場合に、検出されなかった特徴部分ごとに、他の代替の特徴部分との位置関係に基づいて、前記代替の特徴部分を探索する、
 ことを特徴とする請求項5~7の何れかに記載の画像処理システム。
[請求項9]
 前記複数の特徴部分は、3つ以上であり、
 前記探索手段は、前記検出されなかった特徴部分ごとに、前記代替の特徴部分の候補を探索し、前記検出されなかった複数の特徴部分の各々の候補によって囲われる領域のサイズに基づいて、前記代替の特徴部分を決定する、
 ことを特徴とする請求項8に記載の画像処理システム。
[請求項10]
 前記探索手段は、予め定められた前記代替の特徴部分を探索する、
 ことを特徴とする請求項1~9の何れかに記載の画像処理システム。
[請求項11]
 前記特徴部分は、前記定型部分における文字又は記号である、
 ことを特徴とする請求項1~10の何れかに記載の画像処理システム。
[請求項12]
 前記画像処理システムは、前記整形画像に対して光学文字認識を実行する実行手段、
 を更に含むことを特徴とする請求項1~11の何れかに記載の画像処理システム。
[請求項13]
 画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得ステップと、
 前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出ステップと、
 前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形ステップと、
 前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索ステップと、
 を含み、
 前記整形ステップは、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する、
 ことを特徴とする画像処理方法。
[請求項14]
 画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段、
 前記取込画像に基づいて、前記定型部分の特徴部分を検出する検出手段、
 前記特徴部分が検出された場合に、当該特徴部分の位置が所定の第1位置に合うように、前記取込画像の整形画像を取得する整形手段、
 前記特徴部分が検出されなかった場合は、前記取込画像に基づいて、前記定型部分の代替の特徴部分を探索する探索手段、
 としてコンピュータを機能させるためのプログラムであって、
 前記整形手段は、前記特徴部分が検出されなかった場合は、前記代替の特徴部分の位置が所定の第2位置に合うように、前記整形画像を取得する、
 プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]