導入と運用
BMTとは何か:自社の文書でソリューションを検証する方法の完全ガイド
Korea Deep Learning作成
BMTとは、Benchmark Testの略で、導入を検討する組織が、自社の実際の業務文書と事前に定めた評価基準を用いて、複数の候補ソリューションを同じ条件で処理させ、性能を比較して導入の可否を判断する検証手続きです。
BMTが必要な理由
公開されているスコアと、自社文書でのスコアは異なります。
ソリューションの検討の場で最も頻繁に挙がる数値は精度です。しかし、同じ製品でも、ある文書では高い値を示し、別の文書では大きく低い値にとどまることがあります。実際の検証事例を見ると、申告書類の書式では表構造の復元が高く確認されたものの、多層のヘッダーと結合セルが重なる行政文書では、同じ項目が大きく下がりました。文書タイプの分類でも、金融文書群では高く、公共文書群では低く出た事例が併存しています。
この差は製品の優劣ではなく、文書の性質から生じるものです。そのため、公開されたベンチマークスコアや提案書に記載された精度だけで導入を決めると、運用に入った後に予想と異なる結果に直面することになります。BMTは、このリスクを導入前に検証しておくための手続きです。
BMTの正確な定義:PoCとは何が違うのか
BMTとPoCの3つの違い
第一に、対象が異なります。BMTは複数の候補製品を対象とします。同じ文書を同じ条件で投入し、性能を並べて比較することが目的です。PoCは一つのソリューションを対象とし、実際の業務フローに組み込んだときに動作するかを確認します。
第二に、目標が異なります。BMTの目標は選定です。どの製品が自社の文書でより良い結果を出すかを判断します。PoCの目標は設計です。業務ルール、例外処理、システム連携の構成を確定させます。
第三に、性能指標が異なります。BMTは、文書タイプ分類の精度、項目単位の完全一致率、表構造の類似度など、製品間で比較できる指標を用います。PoCは、件あたりの処理時間、人が手を加えた割合、例外件の比率など、運用の観点の指標を用います。ある金融の事例では、BMT段階でまず完全一致率の目標を定め、文書分類と項目抽出の性能を測定したうえで、後の段階で運用基準を確定させる順序で進められました。
両者は代替関係にはありません。一般的には、BMTで候補を絞り込み、PoCで運用設計を確定させる順序です。ただし、文書群が単純で候補がすでに一つに絞られている場合には、両者を合わせて進めることもあります。
結果の信頼性を高めるBMTの6つの設計原則
実際のBMTで用いられる6つの設計原則
第一に、評価用の文書は業務の分布に合わせて抽出する必要があります。よく読み取れた文書だけを集めて評価すると、導入後にスコアが下がります。逆に難しい文書だけを集めると、製品間の差が見えません。実際の受付比率を反映して、文書の種類と状態を混ぜて構成してください。ある金融の事例では、初期の文書群を整理したうえで評価対象を選定し、ある公共の事例では、対象文書から評価要素を抽出して測定しました。
第二に、正解セットを先に作る必要があります。ある項目の正解が何かを人が確定させておかなければ、スコアを算出できません。この作業はBMTの中で最も時間がかかる部分であり、ここを曖昧に済ませると、以降のすべての比較が揺らぎます。
第三に、指標を事前に定義する必要があります。精度という言葉は、製品ごとに異なる計算を指します。完全一致で見るか類似度で見るか、表は構造の類似度で見るか、分類はどの単位で採点するかを、文書で確定させてから開始してください。
第四に、例外的な文書を必ず含める必要があります。表の上に押印がかかった文書、FAXのヘッダーが何重にも重なった文書、値が空欄で判断が必要な文書を入れなければ、製品間の差は現れません。正常な文書だけでは、ほとんどの製品が似たスコアを示します。
第五に、条件をそろえる必要があります。同じファイル、同じ解像度、同じ項目定義で進めてこそ、比較が成り立ちます。一方の製品にだけ抽出ルールを細かく設定すると、結果は製品の性能ではなく、準備時間の差を示すことになります。
第六に、処理環境も合わせて確認する必要があります。精度が同じでも、社内への設置ができない場合や、必要なアクセラレーターの規模が過大な場合には導入できません。性能指標と導入要件を同じ表に並べて判断してください。
BMTの実際の進め方
文書の収集と項目定義を先に終えます
BMTの最初の成果物は評価結果ではなく、文書の一覧と項目定義書です。どの書式をそれぞれ何件含めるか、各書式からどの項目を、どの形式で抽出するかを確定させて初めて、比較の基準ができます。
この段階で分類体系もあわせて整理しておくとよいでしょう。ある金融の事例では、文書群を整理する過程で分類コードの体系を立ててから、抽出の検証に進みました。分類が定義されていない状態で抽出性能だけを測ると、実際の運用で生じるボトルネックを見落とすことになります。
測定と解釈を分けます
測定は機械的に行い、解釈は別に行います。スコアが低く出た項目が、製品の限界によるものか、正解セットの定義が曖昧だったためか、元の文書自体に根拠がなかったためかを区別する必要があります。
実際には、空欄のセルが該当なしなのか、記入漏れなのか、スキャンの欠損なのかを、文書の中で判断できる根拠がない場合があります。こうした項目を誤答として計算すると、製品の評価ではなく、文書品質の評価になってしまいます。判断不能な項目は別に分類しておき、運用ルールで処理の方針を定めるのが適切です。
国内環境でのBMT
国内の金融や公共でBMTを進める際に最初にぶつかるのは、文書をどこで処理するかという問題です。ネットワーク分離の環境では、評価用の文書を外部に持ち出すことができないため、候補製品を社内に一時的に設置して検証を進められるかを、まず確認する必要があります。この条件を満たせない製品は、性能にかかわらず評価そのものができません。
文書の形式の条件も確認してください。ハングル文書処理ソフトの文書、官公庁の書式、FAXの受付文書が評価対象に含まれているかを確認してください。公開されている例示文書で測定した値と、自社の受付文書で測定した値は異なります。BMTが存在する理由は、まさにその差にあります。
よくある質問
公開されているベンチマークスコアだけでは判断できませんか?
参考にはなります。ただし、公開されている評価セットと自社の文書は構成が異なるため、順位がそのまま再現されるとは限りません。導入の判断は、自社の文書で測定した結果をもとに行ってください。
評価文書は何件あれば十分ですか?
文書群の多様性によって異なります。複数の書式を対象に進めた金融の事例もあれば、少数の文書から評価要素を抽出して進めた公共の事例もあります。件数よりも、実際の受付の分布を反映しているかどうかが重要です。
正解セットは必ず作る必要がありますか?
必要です。正解が確定しなければ、スコアを算出できず、製品間の比較も成り立ちません。BMTの中で最も手間のかかる作業ですが、省略することはできません。
どの指標を基準に見るべきですか?
業務によって異なります。値をシステムに入力する業務であれば項目単位の完全一致率を、表が本文の中心となる文書であれば表構造の類似度を、受付の自動化であれば文書タイプ分類の精度を、優先的な指標としてご検討ください。
ネットワーク分離の環境でもBMTはできますか?
可能です。候補製品を社内に一時的に設置して検証を行う方式であれば、文書を外部に持ち出さずに評価できます。
BMTが終われば、すぐに運用に入れますか?
通常は、その間にもう一段階あります。業務ルール、例外処理、システム連携を確定させる検証段階を経てから、運用への移行に進むのが一般的な流れです。
BMTの設計書式と項目定義書のサンプルをお送りします。文書の一覧だけお知らせください。
お問い合わせ



