技術と構成
ドキュメントパーシングとは何か:文書の骨格をデータに移す構造化の完全整理
Korea Deep Learning作成
ドキュメントパーシングとは、文書を構成する見出し、本文、表、リスト、図などの要素を一つずつ判別し、それらが作る階層と読む順序まで復元して、機械がそのまま扱える構造データに変換する作業です。
Document Parsingが必要な理由
文書をテキストにすると、骨格が消えてしまいます。
生成AIを導入した組織が文書資産をモデルに接続する際、最もよく行われるのは、ファイルからテキストを抽出して取り込むことです。速くて簡単です。問題は、その瞬間に文書が平らになってしまうことにあります。
見出しだった文と本文が区別できなくなり、表はセルの値が並んだだけのものに散らばり、脚注が本文の真ん中に割り込みます。返還手続きを説明する指針で、国費と道費、残高と利息に分かれた多層の表を文章に展開すると、どの口座がどの条件に該当するのかが分からなくなります。人が文書を理解する際に使う手がかりの多くは、文字ではなく配置と階層にあります。テキストだけを抽出すると、それらがすべて捨てられてしまうのです。
Document Parsingは、この骨格を内容とともに移す作業です。検索と生成の品質がモデルではなく、この段階で分かれるのも、このためです。
Document Parsingの正確な定義:OCRとの違い
OCRとDocument Parsingの3つの軸の違い
第一に、対象が違います。OCRは画像の上の文字を対象にします。Document Parsingは、ページを構成する要素全体を対象にします。実装で判別する要素を挙げると、見出しと節の見出し、本文、表、図、グラフ、数式、リスト項目、キャプション、ヘッダー、フッター、脚注、フローチャートにまで及びます。
第二に、目標が違います。OCRの目標は、書かれた文字を正確に写し取ることです。Document Parsingの目標は、文書と同じ形のデータを作ることです。そのため成果物も異なります。前者は文字列を出力し、後者は階層が生きたままのマークアップや構造化データを出力します。
第三に、成果指標が違います。OCRは文字単位の正確度で測ります。Document Parsingは、すべての要素を見つけたか、各要素の位置が正しいか、表の構造が原本と一致しているかを分けて測定します。ある公共文書の評価では、評価対象の要素はすべて検出され、位置も正確でしたが、表の構造の類似度は著しく低くなりました。要素を見つけることと、その内部を復元することでは、難度がまったく異なることを示す数値です。
両技術は代替の関係にはありません。文字認識が不正確であれば、構造をどれほどうまく復元しても内容は誤ったものになります。認識の上に構造化を重ねるのが正しい順序です。
業務に投入できるDocument Parsingの6つの条件
実運用に入るDocument Parsingの6つの条件
第一に、要素を漏れなく見つけなければなりません。一つでも見落とすと、その部分は後の検索や活用で存在しない内容になります。要素の検出精度は、表の復元精度とは分けて確認してください。
第二に、読む順序を正確に定める必要があります。複数段組で編集された文書や、表の中に表が入っている構造では、人でも順序を取り違えます。順序がずれると文章が混ざり、意味が変わってしまいます。
第三に、表を構造どおりに移す必要があります。結合されたセルや多層のヘッダーが生きていなければ、どの項目に属する値なのかを確認できません。この条件は、別の指標で測定しなければなりません。
第四に、複数の出力形式を提供する必要があります。検索と生成にはマークアップの形式が使いやすく、業務システムへの入力には構造化データが適しており、画面の表示にはまた別の形式が必要です。一度分析して複数の成果物を作っておけば、後で活用の仕方が変わっても、原本を処理し直す必要がありません。
第五に、さまざまな形式を原本のまま受け付ける必要があります。実際の文書資産はPDFや画像だけではありません。ハングル文書作成ソフトの文書、オフィス文書、表計算ファイル、テキストファイルが一緒に蓄積されています。変換の過程で構造が失われると、回復の方法がありません。
第六に、各要素の位置を一緒に返す必要があります。構造化された結果が原本のどこから得られたかを確認できなければ、検収も根拠の提示も不可能になります。
Document Parsingの実際の適用方法
成果物を先に決めます
設計の最初の決定は、何を作り出すかです。検索に使うのか、業務システムに入れるのか、画面に表示するのかによって、必要な形式が変わるためです。
実務でよく使われる組み合わせは、三つを同時に生成しておく方式です。階層を表現するマークアップ形式が一つ、プログラムが扱いやすい構造化データが一つ、そして表を正確に表現できる形式が一つです。ある広域自治体の構築事例でも、テキスト、表、図を分けたうえで、複数の形式と断片、キーワードを一緒に作成し、ナレッジリポジトリに格納する方式で設計されました。
要素の判別と内容の認識を分けます
パイプラインを二つの段階に分けると、改善がずっと容易になります。まず、ページ上の要素の種類、境界、読む順序を判別し、そのうえで各要素の内容を認識します。
このように分けておくと、問題が起きたときに原因を絞り込めます。表がそっくり抜けているなら要素の判別の問題であり、表は見つかっているのに値がずれているなら内容の認識の問題です。一つにまとめられた処理ではこの区別ができず、どこを改善すべきかが定まりにくくなります。
性能を項目ごとに分けて見ます
Document Parsingの性能を一つの数字にまとめると、実際の状態が隠れてしまいます。要素の検出、位置の正確度、テキストの認識、表の構造の復元、図の検出をそれぞれ確認してください。
実際の評価事例では、これらの値が互いに異なる動きをします。ある公共文書群では、要素の検出、位置の正確度、図の検出は漏れなくでき、テキストの認識も高かったものの、表の構造の復元だけが低くなりました。別の公共文書群では本文のテキストは高く、表の構造の復元は中程度でした。届出様式を対象とした検証では、表の構造の復元が高く確認されました。どの項目が性能の足を引っ張るかは、文書の性格によって異なるということです。
国内環境でのDocument Parsing
国内の公共機関や金融機関の文書資産は、ハングル文書作成ソフトの形式で蓄積されている割合が大きいです。この形式を原本のまま処理できるかどうかが最初の関門であり、別の形式へ変換する過程で表の結合セル情報が失われると、後から回復できません。
文書の構成も条件になります。公文書、マニュアル、法令、報告書が一つのリポジトリに混在し、それぞれ階層構造が異なります。官公庁の様式には、多層の表、丸数字の項目番号、記入方法の案内文が表の中に一緒に入っています。表の一つのセルが、データなのか案内なのかを区別できなければ、構造化の結果が汚染されてしまいます。
さらに、ネットワーク分離環境では、文書の変換から構造化までの全工程を社内ネットワーク内で実行する必要があります。外部の変換サービスを呼び出す構成は、この時点で検討の対象から外れます。
よくある質問
テキストだけを抽出して使ってはいけませんか?
お勧めしません。テキストだけを抽出すると、見出しと本文の区別、表の構造、脚注と本文の関係が失われます。検索の品質が低い原因の多くは、ここにあります。
どのような形式で結果を受け取れますか?
階層を表現するマークアップ形式、プログラムが扱いやすい構造化データ、表を正確に表現する形式を一緒に生成できます。用途に応じて分けて受け取るのがよいです。
どの構成要素まで判別されますか?
見出しと節の見出し、本文、表、図、グラフ、数式、リスト項目、キャプション、ヘッダー、フッター、脚注、フローチャートを区別します。文書の性格に応じて、必要な要素だけを選んで使うこともできます。
性能はどのように確認すればよいですか?
一つの数字ではなく、項目ごとに確認してください。要素の検出、位置の正確度、テキストの認識、表の構造の復元は、文書の性格によって異なる動きをします。
ハングル文書作成ソフトの文書も処理できますか?
できます。ただし別の形式に変換する過程で表の構造が失われやすいため、原本の形式のまま処理できるかを確認してください。
RAGにそのまま使えますか?
構造化された結果があれば、その後の作業がずっと容易になります。ただし、チャンクに分割してメタデータを付ける段階が別途必要になるため、前処理の設計もあわせて検討するのがよいです。
ネットワーク分離環境でも使えますか?
使えます。文書の変換から構造化まで全工程を社内ネットワーク内で実行する構成が可能です。
構造化が必要な文書を1種類送っていただければ、分析結果をそのまま返信します。
お問い合わせ



