抽出スキーマとは何か：文書から何をどの形式で抽出するかを定めた規格の完全整理

抽出スキーマとは、文書からどの項目を、どの名前と形式と条件で抽出するかを定めた規格であり、抽出結果を業務システムと後続の自動化がすぐに使えるデータ構造に合わせるための基準です。

抽出スキーマが必要になった背景

同じ値を、部署ごとに異なる名前で呼んでいました。

文書から値を抽出する技術が向上しても、結果をそのまま使えないことが多くあります。ある部署は代表者名と呼び、別の部署は代表者の氏名と呼びます。日付にはドットとハイフンが混在し、金額は円単位と千円単位が入り混じって届きます。業務システムに入力する前に人が形式を整え直さなければならないのであれば、自動化の効果は小さくなります。

文書ごとに抽出すべき項目が異なることも問題です。事業者登録証では登録番号と開業日が必要ですが、法人登記簿謄本では役員の氏名と変更日が必要です。どの様式から何を抽出するかという知識が特定の担当者の経験にだけ残っていると、結果を検証する基準もありません。

抽出スキーマは、この約束を文書として固定します。定義されたフィールドに従って必要な項目だけを抽出し、項目と値の組に正規化すれば、その結果が後続の処理と自動化の基盤になります。

抽出スキーマの正確な定義：座標テンプレートとの違い

座標テンプレートと抽出スキーマの3つの軸の違い

第一に、基準にするものが違います。座標テンプレートは、様式のどの位置にどの値があるかを定めます。抽出スキーマは、位置ではなく、どの意味の値をどの形式で受け取るかを定めます。

第二に、様式が変わったときの影響が違います。座標テンプレートは、欄の位置がわずかにずれても作り直さなければなりません。抽出スキーマは、項目の意味が同じであれば、様式が改訂されてもそのまま使い続けられます。

第三に、含む情報の範囲が違います。座標テンプレートは値を探す方法だけを含みます。抽出スキーマは、項目名、値の形式、必須かどうか、検証の条件まで一緒に含み、結果を確認する基準になります。

視覚言語モデルに基づく抽出が広く使われるようになり、位置を指定しなくても意味によって値を探せるようになりました。その分、何をどの形式で受け取るかを定めたスキーマの比重が大きくなりました。値を探す作業はモデルがより上手にこなせるようになりましたが、見つけた値を業務でどのように受け取るかは、依然として組織が決める必要があります。

抽出スキーマを構成する5つの要素

一つの項目を定義する際に記す5つの要素

第一に、項目名です。業務システムのフィールド名と合わせ、部署ごとに異なっていた呼び名を一つに統一します。同じ項目が様式によって商号、法人名、会社名と記載されていても、結果では一つの名前で受け取ります。

第二に、値の形式です。結果が従うべき形式を定めます。日付なら年月日の順序と区切り文字、金額なら単位とカンマの有無、番号ならハイフンを含むかどうかといったことです。

第三に、必須かどうかです。値がなければ例外として回す項目と、空でもよい項目を区別します。必須の項目が空だった場合に、補完を依頼するのか、別の書類から探すのかも合わせて記しておきます。

第四に、正規化の規則です。漢数字で書かれた金額を数字に変換したり、商号の前後にある法人表記を取り除いたりするように、原文の表記を標準の形式に変える規則を記します。

第五に、検証の条件です。事業者登録番号の桁数、日付の前後関係、他の書類と一致しなければならない項目など、値が正しいかどうかを確認する条件を一緒に定めます。

この五つの要素を一枚の表にまとめた文書が、一般にフィールド定義書と呼ばれる成果物です。この文書が、開発者と業務の担当者が同じ基準で結果を見るための出発点になります。

抽出スキーマの実際の適用方法

業務システムの入力項目から逆算して決めます

文書に見えるすべての項目を抽出するよりも、結果を入れる業務システムにどのようなフィールドがあるかを、まず確認します。システムが受け付けない項目まで抽出すると、検証すべき対象が増えるだけです。

反対に、システムにはないものの判断に必要な項目は、別に印を付けておく必要があります。後の条件判断の段階で見落とさないためです。システムのフィールドとスキーマの項目を一行ずつ対応させた表を作っておけば、連携の段階で形式のエラーを早めに見つけられます。

様式ごとに分け、共通の項目はまとめます

様式ごとにスキーマを作りますが、複数の様式に共通して出てくる事業者登録番号や代表者のような項目は、同じ定義を共有します。共通の定義があってこそ、書類同士の照合を規則として作れます。

共通項目の定義を変更すると、その項目を使うすべての様式に影響が及ぶため、変更の前に範囲を確認してください。

バージョンで管理します

法令の改訂や業務基準の変更によって項目が追加されたり形式が変わったりすると、スキーマも変わります。いつ何が変わったのかをバージョンとして記録し、変更後のスキーマを従来と同じ評価文書で比較したうえで、運用に反映します。変更を誰が依頼し、誰が承認したのかも、バージョンとあわせて記録します。

バージョンが残っていてこそ、過去に処理された結果がどの基準で作られたのかを説明できます。

国内環境での抽出スキーマ

国内の文書には、住民登録番号、事業者登録番号、法人登録番号のように形式が決まった番号や、漢数字で書かれた金額、ドットで区切られた日付がよく現れます。こうした項目は、正規化と検証の規則をスキーマに明示しておかなければ、結果が一貫しません。

住民登録番号のように個人情報に当たる項目は、抽出と同時に非識別化するのか、原文を保管するのかを、スキーマの段階で決めておく必要があります。そうして初めて、保存と権限の管理が揺らぎません。