用語集をすべて見る

技術と構成

文書分類とは何か:結合されたファイルを業務単位に分ける最初の関門の完全整理

Korea Deep Learning作成

文書分類とは、受け付けたファイルがどの様式かを判別し、複数の書類が1つにまとめられて届いた場合は文書単位に切り分けたうえで、各断片に種類を付与して後続の処理へ渡す処理です。

文書分類が必要な理由

ファイル1つが書類1枚とは限りません。

文書自動化を検討するとき、議論の大半は認識精度から始まります。しかし実際の受付フォルダを開くと、その手前に別の問題があります。FAXで届いた1つのファイルに、申請書、身分証の写し、通帳の写し、確認書が順序もなくつながっているのです。担当者はまずこのファイルを開き、どこまでが申請書で、どこから通帳の写しになるのかを目で分けてから、値を読み始めます。ある金融機関の実測では、この確認と分類の作業だけで1件あたり2分から4分かかっていました。

認識モデルがどれほど正確でも、この段階がなければ自動化は始まりません。どの様式かが分からないままでは、何を抽出するべきかも決まらないからです。文書分類は自動化の付属機能ではなく、入り口です。

文書分類の正確な定義:文書認識との違い

認識と分類の3つの軸の違い

第一に、対象が違います。認識はページの中の文字と表を対象にします。分類はページとページの境界や、ページ全体が与える印象を対象にします。ロゴ、様式の題名、表の配置、印刷された案内文といった、値ではない要素がむしろ判断の根拠になります。

第二に、目標が違います。認識の目標は、書かれている内容を正確に写し取ることです。分類の目標は、このファイルを何個の文書に分け、それぞれにどの種類を付けるかを決めることです。同じページについて、認識は何が書かれているかに答え、分類はこれがどの書類かに答えます。

第三に、成果指標が違います。認識は文字の正確度や項目の正確度で測ります。分類は種類の判定が正しかったかどうかで測ります。実際の検証では、文書種類の分類精度が高く確認された金融の事例と、それより低く確認された公共の事例が併存しています。種類体系の細かさや様式同士の類似度によって、この値が大きく変わるということです。

二つの処理は代替の関係にはありません。分類の結果が誤っていると、その後の抽出は誤った項目表を持って始まるため、認識が正確であるほど誤りがもっともらしく見えてしまいます。順序を守るほうが安全です。

業務に投入できる文書分類の5つの条件

実運用に入る文書分類の5つの条件

第一に、文書の境界を自ら見つけられる必要があります。複数の書類が1つのPDFに結合されて届く環境では、種類を判定する前にファイルを断片に分ける作業が先に必要です。ページごとに種類を付ける方式では、複数ページの書類がばらばらの1枚になってしまうため、連続するページが同じ文書に属するかを判断する能力も必要です。

第二に、種類の体系を業務の基準で設計する必要があります。あるカード会社の自動化では、初期の文書群を整理したうえで、分類コードの体系を先に立ててから抽出の段階へ進みました。コードの体系が粗すぎると、異なる様式が一つの種類にまとめられ、抽出の項目がずれてしまいます。細かすぎると判定の難度が上がり、精度が下がります。

第三に、似た見た目の様式を見分ける必要があります。新規加入申請書と情報変更申請書のように、レイアウトがほぼ同じで題名の数文字だけが異なる様式が、実際の業務には多くあります。全体の印象だけで判定すると、このような組み合わせで誤りが集中するため、題名や文書番号といった決定的な手がかりを合わせて確認する設計が必要です。

第四に、改訂された様式に対応する必要があります。官公庁や金融の様式は定期的に改訂されます。新しい様式が来るたびにモデルを学習し直す構造では、運用の負担が積み重なっていきます。種類の定義をデータとして管理し、変更の履歴をバージョンとして残す方式のほうが、保守のコストを抑えられます。

第五に、判定できなかった案件を別に取り出す必要があります。すべてのファイルを無理にどれかの種類に分類すると、誤りが静かに後工程へ流れていきます。確信度の低い案件は未分類のまま残し、担当者の検証の対象へ回す流れがあってこそ、自動化全体の信頼性が保たれます。

文書分類の実際の適用方法

受付の経路をさかのぼって設計します

分類の設計は、モデルではなく受付の経路から始まります。電子FAXで届くのか、営業店でスキャンされるのか、スマートフォンで撮影された画像がアップロードされるのかによって、ファイルの状態がまったく異なるためです。

実際の運用の流れを見ると、電子FAXの受付、結合PDFの分割、文書分類、項目抽出、後処理、検証、文書管理システムへの格納、自動化ツールとの連携、基幹系システムへの登録という順序でつながっています。分類はこの連鎖の三番目の環であり、ここで誤って判定された案件は、後続のすべての段階を通るうちに誤りを大きくします。そのため、分類の結果を検収画面で確認し、修正できる運用環境を合わせて用意するのがよいです。

分類と抽出を分けて構成します

分類と抽出を一つの処理にまとめると、様式が1つ増えるたびに全体を修正し直さなければなりません。二つの段階を分けておけば、分類の体系は種類の定義だけを修正し、抽出は種類ごとの項目スキーマだけを修正すれば対応できます。

技術的な方式としては、文書全体の視覚的な情報と文脈を合わせて解釈するモデルが有利です。特定の位置にある題名を読んで判定するルールベースの方式は、スキャンの角度が狂っていたり、上部が切れていたりする文書で、すぐに失敗します。実際の受付文書には、スキャンの際に折れた上部の黒い帯が様式の題名を隠してしまった事例さえ見られます。

国内環境での文書分類

国内の金融や公共の業務の受付経路には、今もFAXが残っています。何度も再送された文書では、異なる日付の表記が同じ行に重なって現れたり、解像度の低下によって様式の題名の画が潰れたりします。このような条件でも種類を判定するには、一か所の題名だけでなく文書全体の手がかりを総合する必要があります。

文書の形式も条件になります。ハングル文書作成ソフトの文書、スキャンされたPDF、画像ファイルが一つの業務の中に混在して届くため、形式ごとに異なる前処理が必要です。官公庁の様式に特有の多層の表構造や丸数字の項目番号は、種類の判定の手がかりであると同時に、判定を妨げる要素にもなります。

分類コードの体系を文書として管理します

分類の体系はモデルの中に隠しておくのではなく、担当者が読んで修正できる文書として管理する必要があります。種類が数百規模に増えると、どのコードがどの様式を指しているかそのものが業務の知識になるためです。

管理文書には、コードごとに様式の名称、発行機関、代表的なサンプルファイル、そしてその種類から抽出する項目の一覧を書いておきます。似た様式がある場合は、何によって区別するのかも明記します。たとえば、新規加入申請書と情報変更申請書を、様式の題名の二文字によって分けるという基準は、ここに書かれていなければなりません。

この文書があれば、担当者が代わっても体系が維持され、新しい様式が来た際に既存の種類に入れるべきか、新たに作るべきかを判断する根拠になります。

検収の結果を分類の基準に反映します

分類は一度作って終わりの処理ではありません。運用に入ると、想定していなかった様式が次々と届き、担当者が判定を修正する場面が生じます。

この修正の内容を蓄積しておくと、改善の根拠になります。特定の種類で修正が繰り返される場合は、その種類の定義があいまいであるか、似た様式と境界が重なっているというサインです。未分類に落ちる割合が高くなっている場合は、新しい様式が流入していることを意味します。

修正の内容を定期的に検討して種類の定義を見直し、その変更をバージョンとして残しておけば、時間の経過とともに分類の精度が下がることを防げます。

処理量と並列の構成をあわせて計算します

分類は全体の流れの前方にあるため、ここで滞ると後ろがすべて滞ります。月の平均の物量だけでなく、受付が集中する時間帯の偏りもあわせて見る必要があるのはこのためです。

ある運用事例では、月に約1万5千件の審査業務で、1件あたり平均6種類の文書が受け付けられ、平均15ページが届いていました。件数では1万5千件ですが、ページ数では20万枚を超えます。分類の段階の処理能力は、件数ではなくページを基準に見積もるほうが正確です。

あわせて、緊急の処理が必要な案件を先に流す構成も検討の対象になります。被害救済の受付のように、時間が結果を左右する業務では、優先の処理経路を別に設けるほうが良いです。

よくある質問

複数の書類が1つのPDFで届いても処理されますか?

はい。種類を判定する前に、文書の境界を見つけてファイルを断片に分ける段階が先に動きます。この機能がなければ、後続の抽出は誤った項目表で進んでしまいます。

分類の精度はどのくらい出ますか?

文書群によって異なります。金融文書を対象とした検証では高く確認された事例があり、公共文書を対象とした検証では、それより低く確認されました。自社の文書で測った値を基準にするほうが正確です。

新しい様式が追加された場合はどうしますか?

種類の定義を追加する方式で対応します。モデルのパラメータを学習し直す代わりに、分類の体系と項目スキーマを修正し、バージョンとして残せば、運用の負担を減らせます。

似た見た目の様式は区別できますか?

区別できます。ただし、レイアウトがほぼ同じ様式の組み合わせで誤りが集中するため、様式の題名や文書番号のような決定的な手がかりを判定の根拠に含める設計が必要です。

分類に失敗した文書はどうなりますか?

未分類として分けられ、担当者の検証の対象になります。確信度の低い案件を無理に分類しないことが、全体の誤りを減らす方法です。

1つのファイルに何種類まで混ざっていても大丈夫ですか?

制限は設けていません。実際の運用では、1件あたり平均6種類、15ページ程度の規模が届く事例が確認されています。種類の数よりも、様式同士の類似度が難度を左右します。

担当者が修正した分類結果はどのように使われますか?

修正の内容を集めて、種類の定義を見直す根拠として使います。特定の種類で修正が繰り返される場合は、定義があいまいであるか、他の様式と境界が重なっているというサインと見なします。

低解像度のFAX文書も分類できますか?

できます。様式の題名という一か所に頼らず、文書全体の手がかりを総合して判定するため、上部が損傷している場合にも対応できます。

複数の書類が結合された受付ファイルを1つ送っていただければ、分割と分類の結果をそのまま返信します。

お問い合わせ