Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020136778 - DOCUMENT CLASSIFICATION SYSTEM, DOCUMENT CLASSIFICATION DEVICE, DOCUMENT CLASSIFICATION METHOD, AND DOCUMENT CLASSIFICATION PRORAM

Document

明 細 書

発明の名称 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021  

発明の効果

0022  

図面の簡単な説明

0023  

発明を実施するための形態

0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085  

符号の説明

0086  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3  

明 細 書

発明の名称 : 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム

技術分野

[0001]
 本発明は請求書や領収書等の書類を分類する書類分類システム、書類分類装置、書類分類方法、書類分類プログラムに関する。

背景技術

[0002]
 近年は、請求書や領収書等の各種書類について画像データ等の電子データにより保存する機会が増えている。書類を画像データとして保存する場合、書類の種類に応じて分類する必要があるが、一つ一つの画像を人手で分類していては時間とコストがかかり効率が悪い。
[0003]
 そこで書類の画像データをOCR(Optical Character Recognition)によって文字を認識し、認識した文字をもとに書類の画像データの分類を行う画像処理装置が開発されている(特許文献1参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2017-69599号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、一般的に書類内には膨大な文字が記載されており、特許文献1に記載の技術のように、まずOCRにより書類の画像データから全ての文字を認識して、認識した文字から書類を分類していると長い時間を要するという問題がある。特に、請求書や領収書等の会計に関係する書類は、大量の書類を所定の期日までに処理する必要があるため書類の分類処理の時間の短縮が望まれる。
[0006]
 本発明はこのような問題点を解決するためになされたもので、その目的とするところは、書類画像の分類処理の効率を向上させることのできる書類分類システム、書類分類装置、書類分類方法、書類分類プログラムを提供することにある。

課題を解決するための手段

[0007]
 上記した目的を達成するために、本発明に係るシステムは、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、を備える。
[0008]
 上述のシステムにおいて、前記第2分類部による分類の信頼度である第2信頼度に応じて、前記第2分類部による分類を確定するか否かの判定を行う第2判定部を備えてもよい。
[0009]
 また、上述のシステムにおいて、前記第1分類部は、前記書類の画像データの文字以外の要素から書類を分類するための第1分類AIにより、前記書類の種類を分類してもよい。
[0010]
 また、上述のシステムにおいて、前記第2分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第2分類AIにより、前記書類の種類を分類してもよい。
[0011]
 また、上述のシステムにおいて、前記第1分類部又は前記第2分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第1分類AIの学習用データとするか否かを判定する学習用データ生成部を、さらに備えてもよい。
[0012]
 また、上述のシステムにおいて、前記学習用データ生成部は、前記第2判定部において分類が確定された画像データを前記第1分類AIの学習用データとしてもよい。
[0013]
 上述の判定システムにおいて、前記画像取得部は複数の書類の画像データを取得し、前記第1判定部及び前記第2判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備えてもよい。
[0014]
 上述のシステムにおいて、前記第1判定部は、前記第1信頼度が第1閾値以上である場合に、前記第1分類部による分類を確定し、前記第1閾値を調整する調整部を備えてもよい。
[0015]
 また、上述のシステムにおいて、前記第1閾値の値に応じて分類作業の課金額を算出する課金額算出部を備えてもよい。
[0016]
 また、上述のシステムにおいて、前記第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備えてもよい。
[0017]
 また、上述のシステムにおいて、前記第1分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれてもよい。
[0018]
 また、上述のシステムにおいて、前記第1分類部及び前記第2分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備えてもよい。
[0019]
 上記した目的を達成するために、本発明に係る装置は、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、を備える。
[0020]
 上記した目的を達成するために、本発明に係る方法は、コンピュータにより、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、を実行する。
[0021]
 上記した目的を達成するために、本発明に係るプログラムは、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、をコンピュータに実行させる。

発明の効果

[0022]
 上記手段を用いる本発明によれば、書類画像の分類処理の効率を向上させることのできる。

図面の簡単な説明

[0023]
[図1] 本発明の一実施形態に係る書類分類システムを示したシステム構成図である。
[図2] 管理サーバにより実行される書類分類処理の流れを示したフローチャートである。
[図3] 学習用データ生成部による学習用データ生成ルーチンを示したフローチャートである。

発明を実施するための形態

[0024]
 以下、本発明の一実施形態を図面に基づき説明する。
[0025]
 図1は本発明の一実施形態に係る書類分類システムを示したシステム構成図であり、同図に基づき本実施形態の構成について説明する。
[0026]
 図1に示すように、本実施形態に係る書類分類システム1は、情報端末2と管理サーバ3(書類分類装置)とが有線又は無線の通信手段を介して接続されて構成されている。なお、情報端末2と管理サーバ3とは、VPN(Virtual Private Network)、イントラネット、又はインターネット等の通信網を介して接続されていてもよい。また、説明の簡略化のため図1では管理サーバ3は一つの情報端末2と接続されているが、管理サーバ3は複数の情報端末2と接続可能である。
[0027]
 情報端末2を使用する者(ユーザ)は、例えば企業の経理担当者、税理士及び会計士等の専門家であったり、直接会計処理を行う法人や個人等である。
[0028]
 情報端末2は、例えばスマートフォン、タブレットPC、及び携帯電話のような携帯端末や、パーソナルコンピュータ(以下、PCという)であり、読取部10、表示部11、及び操作部12とを有している。
[0029]
 読取部10は、例えばカメラ等の光学機器であり、書類を画像データとして取り込み可能な部分である。書類としては、例えば、総勘定元帳、仕訳帳、現金出納帳、売掛金・買掛金元帳固定資産台帳、売上・仕入帳等の帳簿や、棚卸表、貸借対照表、損益計算書、その他決算に関して作成した書類等の決算関係書類や、領収書やレシート、その他の受領書、請求書、納品書、金融機関の通帳、会計上金銭授受の証明となる書類、電子マネー等のICカードによる取引情報を含む証憑類が含まれる。
[0030]
 表示部11は、例えばディスプレイであり、管理サーバ3からのメッセージ等の情報や、管理サーバ3に保存されたデータを視認可能に表示するものである。
[0031]
 操作部12は、例えばキーボードやマウスであり、情報の入力や操作が可能である。
[0032]
 情報端末2は、読取部10にて読み取った書類の画像データを管理サーバ3に送信可能である。また当該画像データには送信元の情報、つまり情報端末2の情報、当該情報端末2を使用している経理担当者の情報や国税関係書類の受領者等の情報(例えば個人ID)も紐づけされており、誰がどのような書類の画像データを送ってきたか認識可能となっている。
[0033]
 一方、管理サーバ3は、プログラムに基づき書類の画像データから書類の分類作業を実行する1又は複数のサーバ(コンピュータ)から構成されている。また本実施形態における管理サーバ3は、分類した書類の画像データから会計処理も実行可能である。さらに当該管理サーバ3は、ユーザに対し書類の分類作業をサービスとして提供可能であり、書類の分類作業の工数に応じた課金額を算出可能である。
[0034]
 管理サーバ3は各種演算部及び記憶部を有しており、例えば分類前画像データベース20(以下、データベースを「DB」と表記する)、分類処理部21、分類後画像DB22、課金額算出部23、会計処理部24、学習システム25、学習用データ生成部26を有している。
[0035]
 詳しくは、分類前画像DB20(画像取得部)は、情報端末2の読取部10にて読み取った書類の画像データを保存するデータベースである。当該分類前画像DB20にて保存される書類の画像データは、1つの画像データ内に少なくとも1つの書類が写り込んでいればよく、1つの画像データ内に複数の書類が含まれていてもよい。分類前画像DB20には、書類の種類が分類されていない複数の画像データが保存されているが、画像データの送信元の情報に応じてユーザ毎に領域を分けて保存することも可能である。
[0036]
 分類処理部21は、比較的低負荷で分類処理を行う第1分類部30及び第1判定部31と、第1分類部30よりも高負荷で分類処理を行う第2分類部32及び第2判定部33とによる2段階の分類作業が可能である。また、分類処理部21は第1判定部31及び第2判定部33における判定基準を調整可能な調整部34を有している。
[0037]
 詳しくは、第1分類部30は、書類の画像データの文字以外の要素から書類の種類を分類する機能を有している。この文字以外の要素としては、例えば、画像データ内の書類の形、色、模様等の書類の外観、及び書類内に含まれる図形(例えばロゴマーク、印影、その他企業を特定可能な図柄)等が含まれる。第1分類部30は、このような書類の画像データの文字以外の要素から書類を分類するための第1分類AIを有しており、当該第1分類AIにより書類の画像データから書類の種類を分類する。第1分類AIは、学習システム25において、機械学習(例えばディープラーニング)により、書類の画像データの文字以外の要素から書類を分類することを学習したAIである。
[0038]
 第1分類部30における書類の分類は、書類の画像データの文字以外の要素という、いわゆる書類の見た目による分類であり、第2分類部32における書類の分類よりも処理の負荷が小さく短時間で処理可能である。なお、第1分類部30は、少なくとも画像データ内の書類の形を認識することで、1つの画像データ内に複数の書類が含まれている場合に、1つの画像データに1つの書類が対応するよう、書類毎に画像データを分割する機能を有していてもよい。
[0039]
 また、第1分類部30は、書類の画像データの文字以外の要素による分類処理の信頼度(第1信頼度R1)を出力することも可能である。当該第1信頼度R1は、第1分類部30における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第1分類部30は画像データから領収書特有の外観や書類内の図形を特定できたときには、領収書としての第1信頼度R1が高くなる。一方、領収書や請求書等の書類特有の外観や書類内の図形を特定できないときには第1信頼度R1は低くなる。第1信頼度R1は、例えば、領収書である信頼度は60%、請求書である信頼度は30%、納品書である信頼度は10%、というように分類候補となる各書類に対応して出力される。
[0040]
 第1判定部31は、第1分類部30による分類の信頼度である第1信頼度R1に応じて、第1分類部30による分類を確定するか否かの判定を行う機能を有している。具体的には、第1判定部31は、第1信頼度R1に対応した第1閾値Raを設定し、第1信頼度R1が第1閾値Ra以上である場合に、第1分類部30による分類を確定する。なお、第1分類部30より複数の分類候補が出力された場合は、第1判定部31は、例えば最も数値の高い第1信頼度R1に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像DB22において分類に応じた領域に保存される。
[0041]
 第2分類部32は、第1判定部31により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する機能を有している。画像データ内の文字としては、例えば、書類に印字された英数字、ひらがな、カタカナ、漢字、記号が含まれる。なお、第1分類部30において文字以外の要素として認識されなかった印影等も文字として認識可能であれば、当該第2分類部32にて認識される。第2分類部32は、このような書類の画像データ内の文字を認識し、認識した文字から書類を分類するための第2分類AIを有しており、当該第2分類AIにより書類の画像データから書類の種類を分類する。第2分類AIは、学習システム25において、機械学習(例えばディープラーニング)により、書類の画像データ内の文字を認識し、認識した文字から書類を分類することを学習したAIである。なお、書類の画像データ内の文字の認識については周知のOCRを用いて、認識した文字から書類を分類する機能のみAIで行う構成としてもよい。
[0042]
 第2分類部32における書類の分類は、書類の画像データ内の文字による、いわゆる書類の内容による分類であり、第1分類部30における書類の分類よりも処理の負荷が大きく長時間の処理となる。
[0043]
 また、第2分類部32は、書類の画像データ内の文字による分類処理の信頼度(第2信頼度R2)を出力することも可能である。当該第2信頼度R2は、第2分類部32における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第2分類部32は画像データから領収書特有の文字を特定できたときには、領収書としての第2信頼度R2が高くなる。一方、領収書や請求書等の書類特有の文字を特定できないときには第2信頼度R2は低くなる。第2信頼度R2は、第1信頼度R1と同様に分類候補となる各書類に対応して出力される。
[0044]
 第2判定部33は、第2分類部32による分類の信頼度である第2信頼度R2に応じて、第2分類部32による分類を確定するか否かの判定を行う機能を有している。具体的には、第2判定部33は、第2信頼度R2に対応した第2閾値Rbを設定し、第2信頼度R2が第2閾値Rb以上である場合に、第2分類部32による分類を確定する。なお、第2分類部32より複数の分類候補が出力された場合は、第2判定部33は、例えば最も数値の高い第2信頼度R2に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像DB22において分類に応じた領域に保存される。一方、分類が確定されなかった書類の画像データは分類後画像DB22において分類不可に応じた領域に保存される。
[0045]
 調整部34は、第1判定部31における第1閾値Raと、第2判定部33における第2閾値Rbを調整する機能を有している。例えば、調整部34により第1閾値Raの値を高く設定すれば、第1判定部31にて分類が確定する書類は減少し、第2分類部32で処理する画像データが増加する。つまり、第1閾値Raの値によって高負荷な第2分類部32による分類処理の割合が変化するため、調整部34は、主に第1閾値Raを調整することで分類処理部21における書類の分類処理にかかる時間と精度を調整可能である。この調整部34における第1閾値Ra及び第2閾値Rbの調整は、管理サーバ3の操作手段を介してサービス提供者側で行ってもよいし、情報端末2の表示部11に操作バー等の表示を行い操作部12を介してユーザ側で調整可能としてもよい。
[0046]
 分類後画像DB22は、書類の種類に応じて記憶領域(例えばフォルダ)が設けられている。例えば、本実施形態では領収書の画像データを保存する領収書フォルダ22a、請求書の画像データを保存する請求書フォルダ22b、その他の画像データを保存するその他フォルダ22c(図1ではフォルダをFと表記する)の3つのフォルダが設けられているものとする。その他フォルダ22cは、分類の対象となっていない書類や、分類不可となった書類の画像データを保存する領域である。なお、本実施形態では説明の簡略化のため、フォルダを3つのみとしているが、フォルダの数や種類はこれに限られるものではない。
[0047]
 また、分類後画像DB22に保存される画像データには、分類された結果や分類経過を含む分類情報が付加されている。分類された結果は、例えば書類名であったり、書類の種類に対応する識別子であったりする。分類経過は、例えば当該画像データに対して第1分類部30が出力した第1信頼度R1や第2分類部32が出力した第2信頼度R2の情報が含まれる。
[0048]
 課金額算出部23は、ユーザに対し書類の分類作業をサービスとして提供する場合において、書類の分類作業量に応じた課金額を算出する機能を有している。この課金額の算出は、例えば、分類処理部21の調整部34における第1閾値Raに応じて算出する。つまり、第1閾値Raの値が低いほど、第1分類部30による分類のみで分類作業が完了することから、書類の分類作業量は少なくなり、課金額も低くなる。一方、第1閾値Raの値が高いほど、第2分類部32による分類が実行される割合が増え、書類の分類作業量は多くなり、課金額も高くなる。このような課金額の算出方法に基づく場合において、比較的第1閾値Raの値が低く設定された高速モードの課金額と、比較的第1閾値Raが高く設定された精細モードの課金額を予め設定しておき、ユーザが情報端末2を介してモード選択できるようにしてもよい。
[0049]
 会計処理部24は、分類後画像DB22から会計処理の対象となる書類の画像データを取得し、各画像データ内に記載された仕訳要素に応じた勘定科目を出力する機能を有している。この仕訳要素に応じた勘定科目の出力は、例えば仕訳AIにより行う。仕訳AIは、学習システム25において、予め機械学習により仕訳要素に対する勘定科目を出力することを学習した自動仕訳のAIである。当該仕訳部13において出力された勘定科目は、仕訳要素と共に、仕訳結果としてユーザの情報端末2に送信可能である。
[0050]
 学習システム25は、上述した第1分類AI及び第2分類AIや、仕訳AIとしての学習を行い、学習済みのAIを供給する機能を有している。詳しくは、学習システム25は、書類の種類が判明している書類の画像データの文字以外の要素を学習用データとして機械学習させることで第1分類AIを生成し、書類の種類が判明している書類の画像データ内の文字を学習用データとして機械学習させることで第2分類AIを生成する。また、学習システム25は、仕訳要素と当該仕訳要素に対応する勘定科目からなる学習用データに基づき機械学習させることで、仕訳AIを生成する。
[0051]
 学習用データ生成部26は、分類後画像DB23に保存されている書類の画像データを、学習システム25に学習用データとして自動的にフィードバックする機能を有している。
[0052]
 詳しくは、学習用データ生成部26は、分類後書類DB22に保存されている書類の画像データ及び当該画像データの分類情報を取得して、分類処理部21での分類経過に応じて学習用データとするか否かを振り分けた上で、学習用データを生成する。例えば、本実施形態における学習用データ生成部26は、第1判定部31において分類が確定せず、第2判定部33において分類が確定した画像データを学習用データとするよう振り分ける。
[0053]
 また学習用データ生成部26は、分類後画像DB23のその他フォルダ22cに保存されている分類不可であった書類の画像データについては、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して学習用データとする。
[0054]
 このように構成された書類分類システム1は、ユーザが情報端末2を用いて送信した書類の画像データを分類前画像DB20に蓄積し、分類処理部21にて分類して分類後画像DB22に保存する。分類後画像DB22に保存された書類の画像データは会計処理部24にて会計処理に用いられたり、情報端末2にて閲覧、ダウンロード等することが可能である。また、管理サーバ3がユーザに対し書類の分類作業をサービスとして提供する場合には、課金額算出部23にて算出された課金額がユーザに請求される。
[0055]
 ここで図2を参照すると、管理サーバ3の分類処理部21及び課金額算出部23にて実行される書類分類方法の流れを示したフローチャートが示されており、以下同フローチャートに沿って、電子分類方法について詳しく説明する。
[0056]
 まず、ステップS1として、第1分類部30は、分類前画像DB20から書類の画像データを取得し、第1分類AIを用いて書類の画像データの文字以外の要素から書類の種類を分類する(第1分類ステップ)。また、このとき、第1分類部30は、この分類の信頼度である第1信頼度R1を出力する。なお、1つの画像データ内に複数の書類が含まれている場合には、第1分類部30は、書類毎に画像データを分割し、これより先のステップにおいては1つの画像データに1つの書類が対応している状態で処理を行う。
[0057]
 続くステップS2において、第1判定部31は、第1信頼度R1が第1閾値Raより低いか否かを判定する(第1判定ステップ)。当該判定結果が偽(No)である場合、即ち第1信頼度R1が第1閾値Ra以上である場合は、ステップS3に進む。
[0058]
 ステップS3において、第1判定部31は、第1分類部30による分類を確定し、確定された書類の画像データを分類後画像DB22の分類に応じたフォルダに保存する。
[0059]
 一方、ステップS2の判定結果が真(Yes)である場合、即ち第1信頼度R1が第1閾値Raより低い場合は、ステップS4に進む。
[0060]
 ステップS4として、第2分類部32は、第2分類AIを用いて書類の画像データ内の文字を認識して、認識した文字から書類の種類を分類する(第2分類ステップ)。このとき、第2分類部32は、この分類の信頼度である第2信頼度R2を出力する。
[0061]
 続くステップS5において、第2判定部33は、第2信頼度R2が第2閾値Rbより低いか否かを判定する(第2判定ステップ)。当該判定結果が偽(No)である場合、即ち第2信頼度R2が第2閾値Rb以上である場合は、上述のステップS3に進む。そして、第2判定部33は、第2分類部32による分類を確定し、確定された書類の画像データを分類後画像DB22の分類に応じたフォルダに保存する。
[0062]
 一方、ステップS5の判定結果が真(Yes)である場合、即ち第2信頼度R2が第2閾値Rbより低い場合は、ステップS6に進む。
[0063]
 ステップS6では、第2判定部33が、分類を確定させずに書類の画像データを分類後画像DB22のその他フォルダ22cに保存する。
[0064]
 上記ステップS3又は上記ステップS6にて書類の画像データの保存が完了した後は、ステップS7に進む。
[0065]
 ステップS7において、課金額算出部23は、課金額を算出し、当該ルーチンをリターンする。ここでの課金額の算出の一例としては、調整部34において第1閾値Raに応じて高速モードと精細モードが設けられており、当該モードに応じた課金額を計上する。具体的には、高速モードが選択されている場合には、1つの書類の分類作業に対して第1課金額A1で計上する。一方、精細モードが選択されている場合には、1つの書類の分類作業に対して第1課金額A1よりも高い第2課金額A2で計上する。
[0066]
 分類前画像DB20内の画像データごとに上記ルーチンを繰り返すことで、分類後画像DB22に書類毎に分類された画像データが蓄積される。
[0067]
 また、学習用データ生成部26は、分類後画像DB22に蓄積された画像データを学習用データとして学習システム25にフィードバックさせる。
[0068]
 ここで図3を参照すると、学習用データ生成部26による学習用データ生成ルーチンを示したフローチャートが示されており、以下同フローチャートに沿って、学習システム25にフィードバックされる学習データの生成方法について詳しく説明する。
[0069]
 まず、ステップS10として、学習用データ生成部26は、分類後画像DB22から分類後の画像データと、当該画像データの分類情報を取得する。
[0070]
 続くステップS11において、学習用データ生成部26は、分類情報から取得した画像データが、その他フォルダに分類された画像データであるか否かを判定する。当該判定結果が真(Yes)である場合、即ち第1判定部31及び第2判定部33にて分類が確定されなかった画像データを取得した場合には、ステップS12に進む。
[0071]
 ステップS12として、学習用データ生成部26は、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して第1分類AI及び第2分類AIの学習用データを生成する。
[0072]
 一方、上記ステップS11の判定結果が偽(No)である場合、即ち第1判定部31又は第2判定部33にて分類が確定した画像データを取得した場合には、ステップS13に進む。
[0073]
 ステップS13において、学習用データ生成部26は、取得した画像データの第1信頼度R1が第1閾値Raより低く、且つ第2信頼度R2が第2閾値Rb以上であるか否かを判定する。つまり、ステップS13では、取得した画像データが第1判定部31においては分類が確定せず、第2判定部33において分類が確定した画像データであるか否かを判定する。当該判定結果が偽(No)である場合、即ち第1判定部31において分類が確定した画像データである場合は、当該画像データは学習用データとせず、当該ルーチンをリターンする。
[0074]
 一方、ステップS13の判定結果が真(Yes)である場合、即ち第2判定部33において分類が確定した画像データである場合は、ステップS14に進む。
[0075]
 ステップS14として、学習用データ生成部26は、取得した画像データにおいて第2判定部33で確定された第2分類部32により分類された結果を用いて学習用データを作成し、当該ルーチンをリターンする。なお、ここでの学習用データは、第2分類AIの結果に基づいて生成されるものなので、第1分類AIに対してのみの学習用データとする。
[0076]
 学習用データ生成部26は、上記ルーチンを繰り返すことで、分類後画像DB22から自動的に学習用データに相応しい画像データを振り分けた上で学習システム25にフィードバックを行うことができる。これにより、人手で学習用データを生成する作業を削減し、第1分類AI及び第2分類AIの学習を効率的に行うことができ、当該学習により第1分類AI及び第2分類AIの精度を自動的に向上させることができる。
[0077]
 以上のように、本実施形態における書類分類システム1では、第1分類部30において文字以外の要素での分類処理を行い、第1判定部31において分類が確定されなかった書類の画像データのみ第2分類部32における文字認識による分類を行う。つまり、書類の見た目から容易に種類を判別できる書類の画像データに対しては、低負荷な第1分類部30により短時間で分類作業を完了させることができる。一方で、容易に種類を判別できない書類の画像データに対しては、第2分類部32により画像データ内の文字まで考慮して分類を行うことで分類の精度を確保することができる。これにより、書類画像の分類処理の効率を向上させることのできる。
[0078]
 第1判定部31は、第1閾値Raにより第1分類部30による分類を確定するか否かを判定しており、当該第1閾値Raを調整部34により調整可能であることで、分類作業の速度と精度を調整することができる。
[0079]
 また、課金額算出部23により、第1閾値Raの値に応じて分類作業の課金額を算出することで、分類作業の負荷に応じた適正な課金額を算出することができる。
[0080]
 また、第1分類部30における分類の判断要素である書類の画像データの文字以外の要素として、画像データ内の書類の形を用いることで少ない処理負荷で容易に書類を分類することができ、且つ1つの画像データ内に複数の書類が含まれる場合に書類毎に画像データを分割することができる。
[0081]
 さらに、分類処理部21において分類された書類の画像データを用いて会計処理部24により会計処理を行うことが可能であることで、書類の分類から会計処理まで一貫して処理することができる。
[0082]
 また、第1分類部では書類の画像データの文字以外の要素から書類を分類するための第1分類AIを用い、第2分類部では画像データ内の文字を認識して認識した文字から書類の種類を分類するための第2分類AIを用いていることで、分類処理部21において複雑な演算処理を行うことなく、書類の分類作業を実行することができる。
[0083]
 以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。
[0084]
 例えば、上記実施形態の課金額算出部23は、課金額を第1閾値Raに応じて算出しているが、課金額の算出はこれに限られるものではない。例えば、第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった分類不可の書類の画像データの数に応じて算出してもよい。つまり、分類できた画像データは正規の料金で請求し、分類できなかった画像データは割引いた料金又は無料とする。このように分類できた数と分類できなかった数に応じて課金額を算出することで分類作業の結果に応じた課金額を算出できる。
[0085]
 さらに、分類できなかった画像データについて、ユーザが情報端末を介して正しい分類に修正して、学習システムにフィードバックした場合には、課金算出部において更なる値引きを行うよう設定してもよい。これにより、管理サーバ3による修正作業を軽減しつつ、分類の精度を向上させることができる。

符号の説明

[0086]
 1 書類分類システム
 2 情報端末
 3 管理サーバ
 10 読取部
 11 表示部
 12 操作部
 20 分類前画像データベース(画像取得部)
 21 分類処理部
 22 分類後画像データベース(記憶部)
 23 課金額算出部
 24 会計処理部
 25 学習システム
 26 学習用データ生成部
 30 第1分類部
 31 第1判定部
 32 第2分類部
 33 第2判定部
 34 調整部

請求の範囲

[請求項1]
 書類の画像データを取得する画像取得部と、
 前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、
 前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、
 前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、
 を備える書類分類システム。
[請求項2]
 前記第2分類部による分類の信頼度である第2信頼度に応じて、前記第2分類部による分類を確定するか否かの判定を行う第2判定部を備える請求項1に記載の書類分類システム。
[請求項3]
 前記第1分類部は、前記書類の画像データの文字以外の要素から書類を分類するための第1分類AIにより、前記書類の種類を分類する請求項1又は2に記載の書類分類システム。
[請求項4]
 前記第2分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第2分類AIにより、前記書類の種類を分類する請求項1から3のいずれか一項に記載の書類分類システム。
[請求項5]
 前記第1分類部又は前記第2分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第1分類AIの学習用データとするか否かを判定する学習用データ生成部を、さらに備える請求項3に従属する請求項4に記載の書類分類システム。
[請求項6]
 前記学習用データ生成部は、前記第2判定部において分類が確定された画像データを前記第1分類AIの学習用データとする請求項5記載の書類分類システム。
[請求項7]
 前記画像取得部は複数の書類の画像データを取得し、
 前記第1判定部及び前記第2判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備える請求項2に記載の書類分類システム。
[請求項8]
 前記第1判定部は、前記第1信頼度が第1閾値以上である場合に、前記第1分類部による分類を確定し、
 前記第1閾値を調整する調整部を備える請求項1から7のいずれか一項に記載の書類分類システム。
[請求項9]
 前記第1閾値の値に応じて分類作業の課金額を算出する課金額算出部を備える請求項8に記載の書類分類システム。
[請求項10]
 前記第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備える請求項8に記載の書類分類システム。
[請求項11]
 前記第1分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれる請求項1から10のいずれか一項に記載の書類分類システム。
[請求項12]
 前記第1分類部及び前記第2分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備える請求項1から11のいずれか一項に記載の書類分類システム。
[請求項13]
 書類の画像データを取得する画像取得部と、
 前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、
 前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、
 前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、
 を備える書類分類装置。
[請求項14]
 コンピュータにより、
 書類の画像データを取得する画像取得ステップと、
 前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、
 前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、
 前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、
 を実行する書類分類方法。
[請求項15]
 書類の画像データを取得する画像取得ステップと、
 前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、
 前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、
 前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、
 をコンピュータに実行させる書類分類プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]