処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2011074067 - 文字認識方法、文字認識装置および文字認識プログラム

Document

明 細 書

発明の名称 文字認識方法、文字認識装置および文字認識プログラム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009   0010  

課題を解決するための手段

0011   0012   0013   0014  

発明の効果

0015   0016   0017   0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

符号の説明

0074  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

明 細 書

発明の名称 : 文字認識方法、文字認識装置および文字認識プログラム

技術分野

[0001]
 本発明は文字認識方法、文字認識装置および文字認識プログラムに関し、特に金融機関等で使用する帳票に印字された文字および手書きで記入された文字を判別する文字認識方法、文字認識装置および文字認識プログラムに関する。

背景技術

[0002]
 金融機関等では、帳票に印刷および記入された文字の入力を自動化するために、帳票上の文字を認識する文字認識装置が用いられている。この文字認識装置では、文字認識の精度を高めるために、帳票に印刷される見出しおよびそれに対応するデータがどの位置にどのような順序で記載されているかを定義した定義体をあらかじめ作成しておき、その定義情報に基づいて文字列を認識している。
[0003]
 帳票には、あらかじめ印刷された活字文字と、利用者によって書き込まれる手書き文字とがあり、定義体には、文字認識対象項目が手書きであるか活字であるかを設定してある。文字認識装置は、帳票の文字を認識するときに、定義体を参照し、文字認識対象項目が手書きの設定ならば手書き用文字認識エンジンを使用し、活字の設定ならば活字用文字認識エンジンを使用して文字認識する。
[0004]
 このように、定義体を使用した文字認識では、文字認識対象項目が手書き文字であるか活字文字であるかが事前に判明しているので、それぞれに応じた文字認識処理を行うことで認識精度を向上させることができる。しかし、定義体を作成する場合、事前に認識したい帳票を入手する必要があり、また、収集できる帳票は限られているため、文字認識装置で使用できる帳票が限定されてしまう。しかも、実際に定義体を作成する際、文字認識する各文字認識対象項目に対し、手書き/活字の設定を行なうことになるので、定義体を作成するときの作業工数が大きい。
[0005]
 そこで、文書のイメージデータから文字列を抽出し、各文字の高さ方向の中心位置を算出し、中心位置の規則性により手書き文字か活字文字かを判別し、その判別結果に基づき文字認識を行う方法が提案されている(たとえば、特許文献1参照)。
[0006]
 この特許文献1の方法では、文字列内に濁点や拗音が含まれる場合に中心位置の規則性にばらつきが出てしまう。このことから、文字列から濁点、拗音を含めずに文字を抽出し、抽出した全文字の中心位置の規則性から手書き文字か活字文字かを判別する方法も知られている(たとえば、特許文献2参照)。
[0007]
 また、文字を切り出して、複数の特徴量を算出し、得られた特徴量により手書き文字か活字文字かを判断する方法も知られている(たとえば、特許文献3参照)。特徴量としては、濃度の均一性、画素値のばらつき、文字ストロークの直線性、文字の高さ、幅の均一性、文字線幅の均一性等が用いられている。

先行技術文献

特許文献

[0008]
特許文献1 : 特開2000-181993号公報
特許文献2 : 特開2000-331122号公報
特許文献3 : 特開2006-92345号公報

発明の概要

発明が解決しようとする課題

[0009]
 従来の文字認識方法の何れにおいても、文字認識対象項目の文字列が手書き文字であるか活字文字であるかしか判断していない。そのため、たとえ定義体を使用して文字認識を行う方法においても、手書きおよび活字のどちらも記入される可能性がある文字認識対象項目については対処することができない。したがって、文字認識のときには、手書き用および活字用の両方の文字認識エンジンを呼び出すことになるので、処理時間がかかるという問題点があった。
[0010]
 本発明はこのような点に鑑みてなされたものであり、文字認識処理における手書き/活字判別の精度を向上させ、文字認識による処理時間を短縮するとともに文字認識精度を向上させる文字認識方法、文字認識装置および文字認識プログラムを提供することを目的とする。

課題を解決するための手段

[0011]
 本発明では上記の課題を解決するために、帳票上の手書きの文字と活字の文字とを判別して認識する文字認識方法において、前記帳票のイメージデータから文字認識の対象となる項目を特定し、特定された認識対象項目のイメージ文字の位置およびサイズを算出し、前記イメージ文字の手書きおよび活字の特性を解析して手書きまたは活字の確からしさを数値化したスコアを算出し、前記スコアを基に前記イメージ文字が手書きか活字かを判定し、認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じた文字認識エンジンを用いて文字認識を行う、ことからなり、前記スコアの算出は、前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出し、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出し、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出し、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出し、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出し、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出する、ことを含み、前記イメージ文字が手書きか活字かの判定では、前記第1ないし第6スコアをそれらの重要度に応じて設定されたウエイトを考慮して前記スコアを集計している、ことを特徴とする文字認識方法が提供される。
[0012]
 また、本発明では、帳票上の手書きおよび活字の文字を認識する文字認識装置において、前記帳票のイメージデータから特定された認識対象項目のイメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出する階調分布解析部と、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出する文字色解析部と、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出する文字ストローク階調比解析部と、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出する文字ストロークエッジ強度解析部と、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出する文字サイズ/中心位置解析部と、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出する文字サイズ/ピッチ解析部と、認識対象項目内の各文字の前記第1ないし第6スコアの平均値を算出して手書きおよび活字の混在をチェックする手書き/活字混在チェック部と、を有し、前記第1ないし第6スコアを重要度に応じて設定されたウエイトを考慮して集計した集計スコアと、前記手書き/活字混在チェック部によるチェック結果とを基に、前記イメージ文字が手書きか活字かを判定する手書き/活字判別部と、各認識対象項目の文字について、前記手書き/活字判別部による判定結果に応じた文字認識エンジンを用いて文字認識を行う文字認識処理部と、を備えていることを特徴とする文字認識装置が提供される。
[0013]
 さらに、本発明では、帳票上の手書きの文字と活字の文字とを判別する処理をコンピュータに実行させる文字認識プログラムであって、前記コンピュータに、前記帳票のイメージデータから文字認識の対象となる項目を特定し、特定された認識対象項目のイメージ文字の位置およびサイズを算出し、前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出し、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出し、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出し、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出し、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出し、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出し、前記第1ないし第6スコアを重要度に応じて設定されたウエイトを考慮して集計することにより前記イメージ文字が手書きか活字かを判定し、認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じて文字認識を行う、処理を実行させることを特徴とする文字認識プログラムが提供される。
[0014]
 このような文字認識方法、文字認識装置および文字認識プログラムによれば、複数の解析結果を組み合わせると共に手書きおよび活字の混在チェックで手書きか活字かの判定を行い、この判定結果に応じた文字認識エンジンを用いることができるので、文字認識による処理時間を短縮するともに文字認識精度が向上する。

発明の効果

[0015]
 上記構成の文字認識方法、文字認識装置および文字認識プログラムは、複数の解析を組み合わせて文字認識項目に記載されている文字が手書きか活字かを判断しているので、判断の精度が上がることから、手書き文字は手書き文字、活字文字は活字文字としてそれぞれ文字認識することが可能になり、文字認識精度が向上するという利点がある。
[0016]
 1つの認識対象項目内に手書きと活字が混在している場合でも、文字ごとに手書き/活字判定を行っていることから、手書き文字は手書き文字、活字文字は活字文字としてそれぞれ文字認識することが可能になり、文字認識精度が向上する。
[0017]
 定義体を使用しない文字認識装置で、帳票内にある見出しを抽出する際に、手書き/活字判別部の機能を活用することにより、手書きの文字列を見出しの抽出対象から除外することができるので、見出しを抽出する処理の性能向上に繋がる。
[0018]
 本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

図面の簡単な説明

[0019]
[図1] 本発明の実施の形態に係る文字認識装置を示すブロック図である。
[図2] 文字認識の処理の全体の流れを示すフローチャートである。
[図3] 認識対象の帳票の例を示す図である。
[図4] 帳票の画像から文字認識の対象となる箇所を特定した状態を示す図である。
[図5] スコア集計処理において各スコアに付けられるウエイトの例を示す図である。
[図6] 階調分布による手書き活字解析処理の流れを示すフローチャートである。
[図7] 階調分布解析処理を説明する図であって、(A)は手書き文字の階調値のヒストグラムを示し、(B)は活字文字の階調値のヒストグラムを示している。
[図8] 文字色による手書き活字解析処理の流れを示すフローチャートである。
[図9] 文字色解析処理を説明する図であって、(A)は手書き文字の彩度のヒストグラムを示し、(B)は手書き文字の明度のヒストグラムを示し、(C)は活字文字の彩度のヒストグラムを示し、(D)は活字文字の明度のヒストグラムを示している。
[図10] 文字ストロークによる手書き活字解析処理の流れを示すフローチャートである。
[図11] 各ストロークと変曲点を説明する図であって、(A)は手書き文字の変曲点の例を示し、(B)は活字文字の変曲点の例を示している。
[図12] 文字ストロークエッジ強度による手書き活字解析処理の流れを示すフローチャートである。
[図13] 文字ストロークエッジ強度を説明する図であって、(A)は手書き文字の場合の階調値の変化を示し、(B)は活字文字の場合の階調値の変化を示している。
[図14] 文字サイズ/中心位置による手書き活字解析処理の流れを示すフローチャートである。
[図15] 手書き文字の文字サイズ/中心位置による解析例を説明する図であって、(A)は黒画素の集合の外接矩形の算出結果を示し、(B)は文字縦サイズによる分類の算出結果を示し、(C)は各文字の中心座標平均を示し、(D)は各文字の中心座標平均と中心座標との差の算出結果を示している。
[図16] 活字文字の文字サイズ/中心位置による解析例を説明する図であって、(A)は黒画素の集合の外接矩形の算出結果を示し、(B)は文字縦サイズによる分類の算出結果を示し、(C)は各文字の中心座標平均を示し、(D)は各文字の中心座標平均と中心座標との差の算出結果を示している。
[図17] 文字枠間による手書き活字解析処理の流れを示すフローチャートである。
[図18] 文字枠間による手書き活字解析例を説明する図である。
[図19] 手書き/活字混在チェック処理の流れを示すフローチャートである。
[図20] 認識対象項目に手書き文字と活字文字とが混在しているときの処理の説明図である。
[図21] 文字認識装置に用いられるコンピュータのハードウェア構成例を示す図である。

発明を実施するための形態

[0020]
 以下、本発明の実施の形態について、対象の帳票として金融機関等で使用している振込依頼書を使用し、この振込依頼書に印字および手書きで記載されている文字列の認識を行う装置に適用した場合を例に図面を参照して詳細に説明する。
[0021]
 図1は本発明の実施の形態に係る文字認識装置を示すブロック図である。
 文字認識装置10は、装置全体を制御する制御部11を備え、この制御部11には、スキャナ制御部12、文字認識位置特定部13、手書き/活字判別部14および認識結果表示部15が接続されている。手書き/活字判別部14は、文字認識処理部16が接続され、この文字認識処理部16には、文字認識処理のときに参照される手書き文字認識辞書17および活字文字認識辞書18が関連されている。
[0022]
 手書き/活字判別部14は、認識対象項目の文字が手書きであるか活字であるかを判別する機能を有する要素であり、この判別結果に基づいて文字認識処理部16は、適切な文字認識エンジンを用いた文字認識処理を可能にしている。すなわち、この手書き/活字判別部14は、階調分布解析部19と、文字色解析部20と、文字ストローク階調比解析部21と、文字ストロークエッジ強度解析部22と、文字サイズ/中心位置解析部23と、文字サイズ/ピッチ解析部24と、手書き/活字混在チェック部25とを備えている。
[0023]
 階調分布解析部19は、印字濃度が一定の活字では、濃度分布が小さく、筆圧により濃度が一定でない手書き文字の場合には、濃度分布が大きいという傾向のある特徴を解析に利用している。この階調分布解析部19は、解析結果から手書きまたは活字の確からしさを数値化したスコア(第1スコア)を算出する。
[0024]
 文字色解析部20は、銀行業務で使用する帳票に手書きで記入する場合、大抵は黒色またはカーボン転写した青色であり、それに対して、活字は様々な色で印字されているという傾向のある特徴を解析に利用している。この文字色解析部20は、解析結果から文字が無彩色であるか有彩色であるかに応じて手書きまたは活字の確からしさを数値化したスコア(第2スコア)を算出する。
[0025]
 文字ストローク階調比解析部21は、手書き文字の場合、文字ストロークが変化する箇所(変曲点)において、記入速度が低下するため、変曲点の文字濃度が高くなるという活字には見られない傾向のある特徴を解析に利用している。この文字ストローク階調比解析部21は、文字ストロークの階調と変曲点の階調との比を解析し、手書きまたは活字の確からしさを数値化したスコア(第3スコア)を算出する。
[0026]
 文字ストロークエッジ強度解析部22は、活字の場合、印字された文字と背景との境界のエッジの強度(濃淡変化の強さ)が高く、手書き文字の場合、エッジ強度が弱いという傾向のある特徴を解析に利用している。この文字ストロークエッジ強度解析部22は、そのエッジの強度を解析し、手書きまたは活字の確からしさを数値化したスコア(第4スコア)を算出する。
[0027]
 文字サイズ/中心位置解析部23は、文字の縦サイズおよび中心位置を解析している。すなわち、帳票に記入される文字サイズは、活字の場合、ある一定の縦幅で印字されるが、手書きの場合、縦幅にばらつきがある。また、文字の記入位置についても、活字は一定の中心位置に印字されるが、手書きは、活字のように一定の位置に記入することができないため、中心位置にばらつきがある。文字サイズ/中心位置解析部23は、このような傾向のある特徴を解析に利用し、手書きまたは活字の確からしさを数値化したスコア(第5スコア)を算出する。
[0028]
 文字サイズ/ピッチ解析部24は、文字サイズ/中心位置解析部23による解析では、拗音等、通常より小さい文字をばらつきと判断してしまうのを補う機能を有するものである。この文字サイズ/ピッチ解析部24は、同種の文字間にあるばらつきと判断された文字については、これを活字らしいと判断し、手書きまたは活字の確からしさを数値化したスコア(第6スコア)を算出する。
[0029]
 手書き/活字混在チェック部25は、認識対象項目内の文字列が手書き文字および活字文字が混在していないかどうかをチェックする。これにより、同一の認識対象項目内の文字であっても、手書き文字および活字文字が混在していれば、文字認識処理部16は、文字ごとに文字認識処理に適切な文字認識エンジンを使用することが可能になる。
[0030]
 手書き/活字判別部14は、各解析部で算出された第1ないし第6スコアを重要度に応じたウエイトを考慮して集計した集計スコアと、手書き/活字混在チェック部25によるチェック結果とを基に、イメージ文字が手書きであるか活字であるかを判定する。
[0031]
 図2は文字認識の処理の全体の流れを示すフローチャート、図3は認識対象の帳票の例を示す図、図4は帳票の画像から文字認識の対象となる箇所を特定した状態を示す図、図5はスコア集計処理において各スコアに付けられるウエイトの例を示す図である。
[0032]
 文字認識装置10は、まず、スキャナ制御部12によりスキャナによって読み取った帳票の画像を入力する(ステップS1)。この読み取りの対象の帳票は、図2に示したように、たとえば振込依頼書であり、その表題以外の文字列は、罫線枠の中に印刷および手書きで記載されている。
[0033]
 次に、文字認識装置10の制御部11は、帳票の画像から文字認識の対象となる箇所を特定する(ステップS2)。この認識対象箇所の特定は、たとえば図3中に示したように、罫線枠の中の領域であって、中に見出し文字を含まない罫線枠とすることができ、図3では、認識対象は、太線の枠で示している。制御部11は、次に、特定された認識対象箇所の画像に対しイメージ文字を切り出すラベリング処理等を行い、イメージ文字の位置およびサイズを特定し(ステップS3)、手書き/活字判別部14に渡す。
[0034]
 手書き/活字判別部14では、まず、階調分布解析部19が文字の濃淡を表す階調値の分布を解析して階調の分布の具合に応じた値の第1スコアを算出し(ステップS4)、文字色解析部20が文字の色を解析して文字色に応じた値の第2スコアを算出する(ステップS5)。
[0035]
 次に、文字ストローク階調比解析部21が文字ストロークの階調と文字ストロークが変化する変曲点の階調との比を解析してその比の大きさに応じた第3スコアを算出し(ステップS6)、文字ストロークエッジ強度解析部22が文字ストロークエッジの濃淡変化を表すエッジ強度を解析し、文字ストロークエッジのかすれ具合に応じた第4スコアを算出する(ステップS7)。
[0036]
 次に、文字サイズ/中心位置解析部23が文字の縦サイズおよび中心位置を解析し、それらのばらつき具合に応じた第5スコアを算出し(ステップS8)、文字サイズ/ピッチ解析部24が認識対象文字とその両隣の文字との縦サイズの比較および両隣の文字との文字ピッチの大きさを解析し、文字の縦サイズおよびピッチに関して特定の条件に応じた第6スコアを算出する(ステップS9)。
[0037]
 手書き/活字判別部14は、以上のようにして算出された第1ないし第6スコアを集計し、認識対象文字が手書き文字か活字文字かを判別する(ステップS10)。この集計処理のとき、第1ないし第6スコアは、図5に示したように、重要度に応じてウエイトが付けられる。この図5の例では、第1スコアおよび第5スコアは、手書き/活字判別処理に係る重要度が最も高いことを示している。集計スコアは、第1ないし第6スコアにそれぞれの対応するウエイトが乗ぜられた値の総和によって算出される。なお、本実施の形態では、各解析処理にて算出される第1ないし第6スコアは、手書きまたは活字の確からしさに応じて-50~+50と数値化される。手書きであるか活字であるかは、0を基準とし、集計スコアが正数の場合は活字、負数の場合は手書き文字と判別している。
[0038]
 次に、手書き/活字混在チェック部25が認識対象項目内の文字列の中に手書き文字および活字文字が混在していないかどうかをチェックする(ステップS11)。
 次に、手書き/活字判別部14での判別結果および手書き/活字混在チェック部25によるチェック結果を基に、文字認識処理部16が手書き文字認識辞書17または活字文字認識辞書18を使用して文字認識処理を行い(ステップS12)、文字認識結果をたとえば振込処理を行う装置に通知する(ステップS13)。
[0039]
 次に、手書き/活字判別部14で行う各解析処理の具体例について説明する。
 図6は階調分布による手書き活字解析処理の流れを示すフローチャート、図7は階調分布解析処理を説明する図であって、(A)は手書き文字の階調値のヒストグラムを示し、(B)は活字文字の階調値のヒストグラムを示している。
[0040]
 階調分布解析部19は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像からグレー画像を作成し(ステップS21)、そのグレー画像から背景画素を除外した文字の画素に対し、たとえば1画素ずつ走査したときの画素数(階調値)のヒストグラムを作成する(ステップS22)。次に、作成されたヒストグラムより半値幅を算出し(ステップS23)、その半値幅の閾値を用いて第1スコアを算出する(ステップS24)。この処理は、文字認識対象項目内のすべての文字に対して個々に実施される。
[0041]
 作成された図7に示すヒストグラムによれば、(A)の手書き文字の場合、筆圧により文字の濃度が一定でないことから、階調値が分散されてその分布が広がってしまい、その結果、階調値の分布の半値幅も大きく、その閾値よりも大きくなる。なお、半値幅は、ヒストグラムから背景画素を除外し、残りのヒストグラム内で画素数が最大となる点から左右に走査し、画素の半分を取るように設定した幅を表す。この手書き文字の場合、第1スコアには、たとえば半値幅とその閾値との差を算出した値を元に生成した負数が設定される。
[0042]
 一方、図7の(B)の活字の場合は、文字の濃度が一定であって文字と背景の中間の階調値を有する部分が少ないので、階調値の分布が狭まり、半値幅が小さくなって、その閾値よりも小さくなる。この活字文字の場合、第1スコアには、たとえば半値幅とその閾値との差を算出した値を元に生成した正数が設定される。
[0043]
 図8は文字色による手書き活字解析処理の流れを示すフローチャート、図9は文字色解析処理を説明する図であって、(A)は手書き文字の彩度のヒストグラムを示し、(B)は手書き文字の明度のヒストグラムを示し、(C)は活字文字の彩度のヒストグラムを示し、(D)は活字文字の明度のヒストグラムを示している。
[0044]
 文字色解析部20は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像を色相(H)、彩度(S)および明度(V)の成分からなるHSV色空間に変換する(ステップS31)。次に、彩度(S)および明度(V)についてのヒストグラムを作成してそれぞれの分布を求め(ステップS32)、彩度(S)、明度(V)の分布から文字色の有無を算出する(ステップS33)。
[0045]
 彩度の分布値は、図9の(A)および(C)に示したように、数値が高くなる程、鮮やかな色を使用しており、鮮やかな色を使用していない場合は、彩度が0付近に集中する。明度の分布値も同様に、図9の(B)および(D)に示したように、数値が高くなる程、明るい色を使用しており、明るい色を使用していない場合は、0に近い位置まで明度が分布する。
[0046]
 彩度分布値および明度分布値にはそれぞれ閾値が設定されており、彩度分布値が閾値より小さく、かつ明度分布値が閾値より小さい場合は、無彩色であると判断できる。逆に、彩度分布値、明度分布値が共に閾値より大きい場合は、有彩色であると判断できる。
[0047]
 ステップS33の処理において文字色を算出した後、その文字色は無彩色かどうかが判断され(ステップS34)、無彩色の場合は、第2スコアに-50が設定され、色相のヒストグラムは作成しない(ステップS35)。文字色が無彩色でない場合は、第2スコアに+50が設定される(ステップS36)。
[0048]
 ただし、青色を手書きと設定する場合は、青色であることを判別するための処理が追加される。すなわち、彩度分布値、明度分布値がそれぞれ閾値より大きくて、ステップS34で無彩色でないと判断された場合に、色相(H)のヒストグラムを作成し、使用色を判断する。色相(H)のヒストグラムでは、画像で使用している色の分布を表現している。色相(H)のヒストグラム内で背景画素が除外され、残りのヒストグラム内で全体画素の中で青色の領域に存在する画素の割合が算出される。青色の領域に存在する画素の割合の閾値が設定されていて、割合が閾値を超えた場合、文字が青色であると判断される。この場合のスコアは、青色の領域に存在する画素の割合と閾値の差であり、その差を元に作成した数値が第2スコアに設定される。
[0049]
 図10は文字ストロークによる手書き活字解析処理の流れを示すフローチャート、図11は各ストロークと変曲点を説明する図であって、(A)は手書き文字の変曲点の例を示し、(B)は活字文字の変曲点の例を示している。
[0050]
 文字ストローク階調比解析部21は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像より連続する黒画素を探索することによって文字のストロークを抽出し、抽出した各文字ストロークのベクトルを求める(ステップS41)。次に、ベクトルが変化する箇所が求められ、その箇所を変曲点とする(ステップS42)。この変曲点は、文字ストロークのベクトルが交差する部分であって、手書き文字の場合、図11の(A)に丸で示す部分のように、筆圧の関係で濃淡ができやすく、(B)の活字の場合は、そのような濃淡がない部分である。
[0051]
 次に、変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値とが算出され、変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値との比が算出される(ステップS43)。変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値との比は、手書きの場合、大きく、活字の場合は、小さくなる傾向を有する。そして、階調値の比の閾値が設定され、閾値と階調値の比との差が算出され、その差を元に作成した数値をスコアとして第3スコアに、手書きの場合は負数、活字の場合は正数で設定される(ステップS44)。
[0052]
 図12は文字ストロークエッジ強度による手書き活字解析処理の流れを示すフローチャート、図13は文字ストロークエッジ強度を説明する図であって、(A)は手書き文字の場合の階調値の変化を示し、(B)は活字文字の場合の階調値の変化を示している。
[0053]
 文字ストロークエッジ強度解析部22は、文字と背景との境界のエッジでは、手書き文字と活字とで濃淡変化の強さ、すなわち文字ストロークエッジ強度が異なる特性を利用している。まず、文字の全ストロークについてベクトルの進行方向から見て左右方向に3分割し、左側境界および右側境界とするエッジの階調値平均(第1階調値とする)を算出する(ステップS51)。次に、文字全体のストロークの階調値平均(第2階調値とする)が算出され(ステップS52)、第1階調値と第2階調値との差が算出される(ステップS53)。ここで、手書き文字の場合は、図13の(A)に示したように、文字ストロークエッジの部分がかすれ具合によって第1階調値が低下するため、第2階調値との差が大きくなり、活字の場合は、図13の(B)に示したように、第1階調値の低下がほとんどないので、第1階調値と第2階調値との差が小さくなる。そして、第1階調値と第2階調値の差の閾値を設定し、第1階調値と第2階調値の差と設定された閾値とを用いてスコアが算出され、手書きの場合は負数、活字の場合は正数で第4スコアに設定される(ステップS54)。
[0054]
 なお、この例では、文字ストロークエッジと文字ストロークとのエッジ強度を用いて手書きか活字かの判断をしているが、文字ストロークエッジとその周辺の背景とのエッジ強度を用いてもよい。この場合、上記のステップS52およびS53は、エッジ周辺の背景の階調値の平均(第3階調値とする:請求の範囲では、第2階調値としてある)を算出し、第1階調値と第3階調値との差を算出するステップに置き換えられる。第1階調値と第3階調値との差は、手書き文字の場合は小さく、活字の場合は大きくなるので、この判断に基づいて、第4スコアに設定されるスコアの正負記号が決められる。
[0055]
 図14は文字サイズ/中心位置による手書き活字解析処理の流れを示すフローチャート、図15は手書き文字の文字サイズ/中心位置による解析例を説明する図であって、(A)は黒画素の集合の外接矩形の算出結果を示し、(B)は文字縦サイズによる分類の算出結果を示し、(C)は各文字の中心座標平均を示し、(D)は各文字の中心座標平均と中心座標との差の算出結果を示し、図16は活字文字の文字サイズ/中心位置による解析例を説明する図であって、(A)は黒画素の集合の外接矩形の算出結果を示し、(B)は文字縦サイズによる分類の算出結果を示し、(C)は各文字の中心座標平均を示し、(D)は各文字の中心座標平均と中心座標との差の算出結果を示している。
[0056]
 文字サイズ/中心位置解析部23は、文字認識対象項目内における各文字の縦サイズを算出し(ステップS61)、同一のサイズを持つ文字を集めて文字列集合を作成する(ステップS62)。ここで、同一のサイズとは、完全な同一を含め、ある程度の誤差は許容したサイズとする。文字の縦サイズの算出結果は、図15の(A)および図16の(A)に示したように、文字認識対象項目内の文字の順番、文字枠中心座標および文字枠幅のデータと共に管理される。文字列集合の作成は、図15の(B)および図16の(B)に示したように、文字認識対象項目内から文字の縦サイズ別に分類され、図示の例では、それぞれ第1ないし第3分類の3つに分類されている。このとき、それぞれ分類された文字列に対し、平均縦サイズ、平均中心座標および縦サイズの割合も算出されている。この縦サイズの割合は、算出された平均縦サイズをS1、S2、...、Snとし、S1~Snの中で最大のものをSmax、それ以外の文字列のものを代表してSとするとき、最大の文字列の平均縦サイズSmaxとそれ以外の文字列の平均縦サイズSとの比(S/Smax)で求められる。
[0057]
 次に、縦サイズが同一の文字を集めた文字列について中心位置を評価する(ステップS63)。すなわち、各文字列の平均中心座標と文字数の二乗との積の総和を文字数の二乗の総和で除すことにより認識項目の中心座標平均Mが算出される。この中心座標平均Mは、図15に例示した例では、
M=(33.5×4+64×1+43×1)/(4+1+1)=40.2・・(1)
となり、図16に例示した例では、
M=(87.8×25+86.8×16)/(25+16)=87.4・・(2)
となる。この中心座標平均Mおよび文字認識対象項目の文字は、図15の(C)および図16の(C)に示したような位置関係になる。なお、中心座標平均Mの算出において、縦サイズの割合が一定の割合以下の文字列は、ここの中心位置による評価は行わないようにしている。たとえば、図16の(B)の例では、第2分類の文字列は、その縦サイズの割合が56%と低いので、中心座標平均Mの算出式(2)から除外している。
[0058]
 次に、中心座標平均Mと各文字の中心座標との差を算出してばらつきが調査され、閾値を用いて第5スコアが算出される(ステップS64)。ばらつきが大きい場合、文字は手書き、小さい場合は活字と判断する。図15の(D)および図16の(D)に文字認識対象項目内の文字のばらつきとスコアの例を示している。この文字サイズ/中心位置による手書き活字解析処理は、文字認識対象項目単位で行い、文字単位でのスコアは、項目単位で行ったスコアを設定する。
[0059]
 図17は文字枠間による手書き活字解析処理の流れを示すフローチャート、図18は文字枠間による手書き活字解析例を説明する図である。
 文字サイズ/ピッチ解析部24は、認識対象文字の両隣に位置する文字の文字サイズを算出し(ステップS71)、認識対象文字と両隣の文字との文字ピッチを算出し(ステップS72)、該当文字が所定の条件を満たすかどうか判定し、第6スコアを設定する(ステップS73)。文字サイズ/中心位置解析部23による文字の縦サイズおよび中心位置に基づいた解析では、拗音等、通常文字より小さいものをばらつきと判断していたが、文字サイズ/ピッチ解析部24による解析では、特定の条件に一致したものは、活字と判断することにしている。
[0060]
 この特定の条件とは、文字の縦サイズが両隣の文字サイズ以下であり、かつ、両隣の文字とのピッチがほぼ等間隔であることである。図18の例では、「ッ」の文字サイズが両隣の文字(「ロ」と「ク」)の高さ以内であり、かつ位置も両隣文字から推定した位置にあるので、活字と判断される。これにより、同種の文字間にある拗音において、この特定の条件に一致したものは、活字と判断される。
[0061]
 第6スコアは、以上の特定の条件が成立する文字を活字と判断して+50が設定され、そうでない場合には手書き文字と判断して-50が設定される。
 手書き/活字判別部14では、以上のようにして解析された第1ないし第6スコアを集計して手書き文字か活字文字かを判別している。複数の解析結果を組み合わせ、これを基に総合的に手書き文字か活字文字かを判別しているので、より精度の高い判別を可能にしている。
[0062]
 図19は手書き/活字混在チェック処理の流れを示すフローチャート、図20は認識対象項目に手書き文字と活字文字とが混在しているときの処理の説明図である。
 手書き/活字混在チェック部25は、認識対象項目の全文字についてスコアの平均値を算出して各文字との差をチェックし(ステップS81)、極端な差がある文字は除外して、再度平均値を算出し、差に変化がないかをチェックして手書きか活字かを判断する(ステップS82)。
[0063]
 この認識対象項目内に手書き文字、活字文字が混在しているかどうかをチェックする処理を図20の例で説明すると、認識対象項目内の各文字についてそれぞれ解析が行われ、集計スコアが算出される。次に、各文字の集計スコアから文字全体の平均値(第1平均値とする)を算出する(図示の例では、第1平均値=-0.9)。次に、第1平均値と各文字の集計スコアとの差を算出し、その差の絶対値が設定した閾値より大きいかどうかを判断する。閾値を、たとえば「10」とすると、図20の例では、何れの文字も第1平均値と各文字の集計スコアとの差の絶対値が設定した閾値より大きいことから、この段階での判定はすべて×になっている。
[0064]
 次に、極端に差がある文字については、他の文字とは異なる文字種(手書き/活字)の可能性がある。このため、認識対象項目から第1平均値より小さな文字を除外し、第1平均値より大きな文字だけで再度、集計スコアの平均値(第2平均値とする)を算出する(図示の例では、第2平均値=42.86)。
[0065]
 第1平均値と第2平均値との差が大きい場合は、除外した文字の文字種が他の文字とは異なると判断する。図示の例では、第1平均値と第2平均値との差が大きいので、除外した文字と残された文字とは、文字種が異なると判断される。
[0066]
 さらに、第2平均値と残された各文字の集計スコアとの差を算出し、その差の絶対値が設定した閾値より大きいかどうかを判断する。図20の例では、何れの文字も第2平均値と各文字の集計スコアとの差の絶対値が設定した閾値「10」より小さく、同一文字種と推定できるから、判定はすべて○になっている。この結果、文字「平」、「成」、「月」および「日」は、活字と判別され、除外した文字「2」、「1」、「1」、「1」、「3」および「0」は手書き文字と判別されることになる。
[0067]
 また、第1平均値を算出したときに、この第1平均値と極端に差がある文字が存在しない場合には、先に算出した集計スコア通りの判別が用いられる。
 なお、以上の解析による判別処理は、定義体を使用しない場合について説明したが、定義体を使用した処理を併用することにより、手書き/活字判別処理の精度を向上させることができる。また、階調分布解析部19、文字色解析部20、文字ストローク階調比解析部21、文字ストロークエッジ強度解析部22、文字サイズ/中心位置解析部23および文字サイズ/ピッチ解析部24のいずれかの解析処理において、活字の確からしさが確実な所定の閾値を超えていると判断された場合、当該イメージ文字に関する残りの解析をスキップして次のイメージ文字の解析に進めるようにしてもよい。
[0068]
 図21は文字認識装置に用いられるコンピュータのハードウェア構成例を示す図である。
 文字認識装置10は、その一部がコンピュータ50によって構成されている。コンピュータ50は、CPU(Central Processing Unit)51によって装置全体が制御されている。CPU51には、バス57を介してRAM(Random Access Memory)52、ハードディスクドライブ(HDD:Hard Disk Drive)53、グラフィック処理装置54、入力インタフェース55、および通信インタフェース56が接続されている。
[0069]
 RAM52には、CPU51に実行させるOS(Operating System)のプログラムや文字認識処理に必要なアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM52には、CPU51による処理に必要な各種データが格納される。ハードディスクドライブ53には、OS、文字認識のためのアプリケーションプログラム、文字認識に使われる辞書等が格納されている。
[0070]
 グラフィック処理装置54には、モニタ58が接続されている。グラフィック処理装置54は、CPU51からの命令に従って、画像をモニタ58の画面に表示させる。入力インタフェース55には、スキャナ59、キーボード60およびマウス61が接続されている。入力インタフェース55は、スキャナ59、キーボード60およびマウス61から送られてくる信号を、バス57を介してCPU51に送信する。
[0071]
 通信インタフェース56は、金融機関内のネットワークに接続されている。通信インタフェース56は、ネットワークを介して、他のコンピュータとの間でデータの送受信を行う。
[0072]
 以上のようなハードウェア構成によって、本実施の形態の文字認識装置10に係る処理機能を実現することができる。その場合、文字認識装置10が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
[0073]
 上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

符号の説明

[0074]
 10 文字認識装置
 11 制御部
 12 スキャナ制御部
 13 文字認識位置特定部
 14 手書き/活字判別部
 15 認識結果表示部
 16 文字認識処理部
 17 手書き文字認識辞書
 18 活字文字認識辞書
 19 階調分布解析部
 20 文字色解析部
 21 文字ストローク階調比解析部
 22 文字ストロークエッジ強度解析部
 23 文字サイズ/中心位置解析部
 24 文字サイズ/ピッチ解析部
 25 手書き/活字混在チェック部
 50 コンピュータ
 51 CPU
 52 RAM
 53 ハードディスクドライブ
 54 グラフィック処理装置
 55 入力インタフェース
 56 通信インタフェース
 57 バス
 58 モニタ
 59 スキャナ
 60 キーボード
 61 マウス

請求の範囲

[請求項1]
 帳票上の手書きの文字と活字の文字とを判別して認識する文字認識方法において、
 前記帳票のイメージデータから文字認識の対象となる項目を特定し、
 特定された認識対象項目のイメージ文字の位置およびサイズを算出し、
 前記イメージ文字の手書きおよび活字の特性を解析して手書きまたは活字の確からしさを数値化したスコアを算出し、
 前記スコアを基に前記イメージ文字が手書きか活字かを判定し、
 認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、
 各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じた文字認識エンジンを用いて文字認識を行う、
 ことからなり、
 前記スコアの算出は、
 前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出し、
 前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出し、
 前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出し、
 前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出し、
 前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出し、
 前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出する、
 ことを含み、
 前記イメージ文字が手書きか活字かの判定では、前記第1ないし第6スコアをそれらの重要度に応じて設定されたウエイトを考慮して前記スコアを集計している、
 ことを特徴とする文字認識方法。
[請求項2]
 前記階調分布の解析、前記文字色の解析、前記文字ストロークの解析、前記文字ストロークエッジ強度の解析、前記文字の縦サイズおよび中心位置の解析、および前記文字サイズおよびピッチの解析において、前記第1ないし第6スコアのいずれかが確実に活字と判断できる所定の閾値を超えている場合、当該イメージ文字に関する残りの解析をスキップして次の前記イメージ文字の解析に進めることを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項3]
 前記階調分布の解析は、前記イメージ文字のグレー画像を作成し、1文字単位の階調値のヒストグラムを作成し、前記ヒストグラムよりその半値幅を算出し、前記半値幅と所定の閾値との差を算出して前記第1スコアとすることを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項4]
 前記文字色の解析は、前記イメージ文字を色相、彩度および明度の成分からなる色空間に変換し、前記彩度および前記明度についてのヒストグラムを作成し、前記彩度および前記明度の分布値により無彩色か有彩色かを判断し、無彩色または有彩色に応じた値を前記第2スコアに設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項5]
 有彩色の中から特定の文字色を判別する場合、前記色相についてのヒストグラムを作成し、前記色相の分布値に応じた値を前記第2スコアに設定することを特徴とする請求の範囲第4項記載の文字認識方法。
[請求項6]
 前記文字ストロークの解析は、前記イメージ文字から抽出した文字ストロークのベクトルを求め、前記ベクトルの交点である変曲点を算出し、前記変曲点の平均階調値および前記変曲点以外の前記文字ストローク全体の平均階調値を算出し、前記変曲点の平均階調値と前記変曲点以外の前記文字ストローク全体の平均階調値との比に応じた値を前記第3スコアとして設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項7]
 前記文字ストロークエッジ強度の解析は、前記イメージ文字から文字ストロークを抽出し、前記文字ストロークのエッジの階調値の平均である第1階調値を算出し、前記文字ストロークの全体の階調値の平均である第2階調値を算出し、前記第1階調値と前記第2階調値との差と所定の閾値との差を前記第4スコアとして設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項8]
 前記文字ストロークエッジ強度の解析は、前記イメージ文字から文字ストロークおよびその背景を抽出し、前記文字ストロークのエッジの階調値の平均である第1階調値を算出し、前記エッジの周辺における前記背景の階調値の平均である第2階調値を算出し、前記第1階調値と前記第2階調値との差と所定の閾値との差を前記第4スコアとして設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項9]
 前記文字の縦サイズおよび中心位置の解析は、縦サイズが同一の文字を集めた文字列についての文字列中心位置を算出し、文字の中心位置と前記文字列中心位置との差と所定の閾値との差を前記第5スコアとして設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項10]
 前記文字サイズおよびピッチの解析は、認識対象項目にて判定対象となる文字およびその両隣の文字に対して縦サイズ差と文字間ピッチとを算出し、前記縦サイズ差および前記文字間ピッチが所定の関係にあるかどうかに応じた値を前記第6スコアに設定することを特徴とする請求の範囲第1項記載の文字認識方法。
[請求項11]
 帳票上の手書きおよび活字の文字を認識する文字認識装置において、
 前記帳票のイメージデータから特定された認識対象項目のイメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出する階調分布解析部と、
 前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出する文字色解析部と、
 前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出する文字ストローク階調比解析部と、
 前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出する文字ストロークエッジ強度解析部と、
 前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出する文字サイズ/中心位置解析部と、
 前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出する文字サイズ/ピッチ解析部と、
 認識対象項目内の各文字の前記第1ないし第6スコアの平均値を算出して手書きおよび活字の混在をチェックする手書き/活字混在チェック部と、
 を有し、前記第1ないし第6スコアを重要度に応じて設定されたウエイトを考慮して集計した集計スコアと、前記手書き/活字混在チェック部によるチェック結果とを基に、前記イメージ文字が手書きか活字かを判定する手書き/活字判別部と、
 各認識対象項目の文字について、前記手書き/活字判別部による判定結果に応じた文字認識エンジンを用いて文字認識を行う文字認識処理部と、
 を備えていることを特徴とする文字認識装置。
[請求項12]
 帳票上の手書きの文字と活字の文字とを判別する処理をコンピュータに実行させる文字認識プログラムであって、
 前記コンピュータに、
 前記帳票のイメージデータから文字認識の対象となる項目を特定し、
 特定された認識対象項目のイメージ文字の位置およびサイズを算出し、
 前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第1スコアを算出し、
 前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第2スコアを算出し、
 前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第3スコアを算出し、
 前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第4スコアを算出し、
 前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第5スコアを算出し、
 前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第6スコアを算出し、
 前記第1ないし第6スコアを重要度に応じて設定されたウエイトを考慮して集計することにより前記イメージ文字が手書きか活字かを判定し、
 認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、
 各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じて文字認識を行う、
 処理を実行させることを特徴とする文字認識プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]