データと品質
ファインチューニングとは何か: 自社文書にモデルを合わせる学習の完全ガイド
Korea Deep Learning作成
ファインチューニングとは、すでに大規模データで学習されたモデルに、特定の文書群と業務ルールに合ったデータを追加で学習させ、その領域での性能を引き上げる工程です。
汎用モデルが業務文書で揺らぐ理由
問題は平均ではなく、例外から生じます。
汎用モデルは一般的な文書では良い性能を示します。しかし実際の業務で問題が起きるのは、平均的な文書ではなく例外的な文書です。印影が表にかかるもの、取り消し線が行をまたぐもの、FAXのヘッダーが四重に重なったものがそれにあたります。
実測を見ると、この差は明確に表れます。公共行政文書から無作為に標本を抽出して測定したところ、項目名を探す精度にも差がありましたが、その名前に付いた値を取り出す精度では、差がはるかに大きく開きました。特定の文書群で学習させたモデルと、そうでないモデルとの差です。
ファインチューニングの正確な定義: 抽出基準の調整とどう違うのか
基準調整とファインチューニング、3つの軸の違い
第一に、変えるものが違います。抽出基準の調整は、モデルに何を探すべきかを指示する文章を変えます。ファインチューニングは、モデルの内部の値を変えます。
第二に、必要なものが違います。基準調整には業務知識と数件の例があれば足ります。ファインチューニングには正解の付いた学習データがかなりの量必要で、計算資源と時間もかかります。
第三に、元に戻す方法が違います。基準調整は文章を元に戻せば済みます。ファインチューニングでは、以前のモデルのバージョンを保管しておかなければ戻せません。
両者は代替関係にはありません。順序としては、まず基準調整で解決を試み、それでは解決しない領域にだけファインチューニングを使うほうが費用対効果に優れます。
ファインチューニングを判断する前に確認する4つの点
判断に用いる4つの基準
第一に、基準調整で解決できるかを先に確認します。項目の定義を見直し、抽出のヒントを変えるだけで多くの問題は解決します。この段階を省くと、不要な学習コストが発生します。
第二に、学習データを作れるかを確認します。正解の付いた文書が十分にある必要があり、その正解を作る作業にはかなりの時間がかかります。
第三に、文書群が安定しているかを確認します。様式が毎月変わる領域では、学習が終わるころには対象が変わってしまいます。
第四に、個人情報の取り扱い方針を確認します。実際の業務文書を学習に使うには、先に非識別化を行う必要があり、学習環境も統制された場所でなければなりません。
ファインチューニングの実際の適用方法
難しい事例を中心にデータを集めます
すでにうまく処理できる文書を大量に入れても、性能は上がりません。失敗した事例や、例外として振り分けられた案件を集めるほうがはるかに効果的です。
ここで確認履歴が資産になります。担当者が繰り返し修正した項目とその原本を集めれば、それがそのまま学習の対象になります。
評価セットを先に固定します
学習の前に、評価用の文書を分けて確保しておく必要があります。学習に使った文書で性能を測ると、実際より良い結果になってしまいます。
評価セットは学習データと混ぜないように管理し、モデルを更新するたびに同じ評価セットで比較してこそ、改善の有無を判断できます。
国内環境でのファインチューニング
国内の金融や公共分野では、学習データを組織の外に出せない場合がほとんどです。学習環境を社内に置くか、非識別化されたデータだけを持ち出す方式でなければなりません。
文書の条件もあります。韓国語(ハングル)ワープロの文書、官公庁の様式、FAX受付の控えが実際の対象になるため、そうした文書で学習した実績のあるモデルが出発点で有利になります。加えて、モデルを更新する際には検証と承認の手続きを設けてこそ、運用が安定します。
追加学習の代わりに基準を調整する方法もあります
様式が固定された企業文書では、追加学習には明確な効果があります。しかし新しい文書が入るたびに学習を繰り返す構造では、運用の負担が積み重なっていきます。部署が増えるたびに、データを集め、ラベルを付け、検証する工程を再び経る必要があるからです。
そのため実務では、2つの方式を使い分けます。文書群の性格そのものが異なる場合、たとえば特定業界の専門様式や別の言語圏の文書を扱うことになった場合には、追加学習が適しています。一方、同じ性格の文書で項目が増えたり様式が改訂されたりした場合には、抽出基準とスキーマを調整するほうが速く、元に戻すのも容易です。
判断の基準は変更の性格です。モデルが読めない問題なのか、何を読むべきかの指示が不足している問題なのかを見分ければ、どちらを選ぶかが決まります。
よくある質問
本当に必要ですか?
いいえ。抽出基準を調整するだけで解決できる場合が多くあります。その方法で解決できない領域にお使いください。
データはどのくらい必要ですか?
文書群と目標によって異なります。件数よりも、難しい事例が十分に含まれているかのほうが重要です。
学習に使った文書が外部に出ていくのですか?
社内環境で学習する構成であれば、外部に出ることはありません。導入を検討する際には、学習環境の場所をご確認ください。
性能がかえって下がることもありますか?
あります。特定の文書群に過度に合わせると、ほかの文書での性能が下がります。評価セットを固定して、比較を行うことが必要です。
更新はどのように管理しますか?
以前のバージョンを保管し、同じ評価セットで比較したうえで、承認の手続きを経て反映してください。
様式が変わるたびに追加学習が必要ですか?
通常は必要ありません。同じ性格の文書であれば、抽出基準とスキーマを調整するほうが速く、元に戻すのも容易です。
どのような場合に追加学習が必要になりますか?
文書群の性格そのものが変わった場合です。特定業界の専門様式や別の言語圏の文書を新たに扱うことになった場合は、検討の対象になります。
性能が物足りない文書群を教えていただければ、抽出基準の調整で解決できるかをまず検討いたします。
お問い合わせ



