用語集をすべて見る

業務とプロセス

Human-in-the-Loopとは何か: 人が確認する案件を絞り込む設計の完全ガイド

Korea Deep Learning作成

Human-in-the-Loopとは、AIが処理した結果のうち、確信度が低い項目や規則に抵触した項目だけを人が確認するように設計し、全件確認と無確認の間で運用上のリスクを管理する方式です。

確認の設計が自動化の成否を分ける理由

すべて確認するか、まったく確認しないか、のどちらかでした。

文書自動化を導入するとき、確認をどうするかは後から決められることが多くあります。その結果、2つの状態のどちらかに固まってしまいます。不安だからすべてを確認するか、信頼してまったく確認しないかです。

前者は自動化の効果を帳消しにします。後者では、誤りが業務事故につながるまで表に出ません。本当に必要なのは、その中間です。どの案件は安全で、どの案件は危険かを区別し、危険なものだけを人に回す設計です。確認は後から付け足す機能ではなく、最初から設計すべき構造として扱う必要があるのはこのためです。

Human-in-the-Loopの正確な定義: 全件確認とどう違うのか

全件確認と選別確認、3つの軸の違い

第一に、対象が異なります。全件確認はすべての案件を見ます。選別確認は、基準線を下回る項目を含む案件だけを見ます。案件単位ではなく、項目単位で抽出することが要点です。

第二に、目標が異なります。全件確認の目標は、誤りを見逃さないことです。選別確認の目標は、誤りを見逃さずに確認対象を絞り込むことです。2つ目の条件が付いた時点で、設計が必要になります。

第三に、成果指標が異なります。全件確認では、発見した誤りの件数を見ます。選別確認では、確認に回した割合と、そのうち実際に修正された割合の両方を見ます。回された案件の大半が修正なしで通過しているなら、基準線が高すぎるということです。

両方式は代替関係にありません。導入の初期には全件確認でデータを集め、そのデータを根拠に選別確認へ移行する道筋が安全です。

確認の設計に必要な5つの要素

実際の運用で用いる5つの要素

第一に、項目単位の信頼度です。文書全体に1つのスコアしかなければ、どの値を見るべきかが分かりません。

第二に、原文の位置の表示です。値を選択すると原本の該当箇所が表示されれば、確認者は文書を最初から読み直さずに済みます。

第三に、検証ルールの結果です。なぜこの案件が確認に回ってきたのかが、画面に表示されるべきです。信頼度が低いためなのか、合計が合わないためなのかによって、確認する箇所が異なります。

第四に、修正履歴です。誰が何をどのように修正したかを残しておけば、監査に対応できるうえ、基準線を調整する根拠としても使えます。

第五に、差し戻しの経路です。修正された値は再び処理の流れに乗ってシステムへ登録される必要があります。この経路がなければ、確認者は結果を別に入力し直すことになります。

Human-in-the-Loopの実際の適用方法

基準線をデータで定めます

基準線を最初から正確に設定する方法はありません。初期は保守的に設定し、実際の確認結果を集めながら調整します。

ほとんど修正が発生しない項目は、基準線を下げて自動処理へ回し、修正が頻繁な項目は、基準線を上げるか検証ルールを追加します。この調整を繰り返すことで、確認対象は次第に絞られていきます。

確認者の動線を短くします

確認画面の設計は、実際の処理時間を大きく左右します。問題のある項目だけを強調し、原本の該当位置をあわせて表示すると、案件あたりの確認時間は短くなります。

文書の種類ごとの抽出項目とスキーマを管理する画面をあわせて置けば、繰り返し修正される項目を見つけたときに、確認者自身が基準を直すこともできます。

国内環境でのHuman-in-the-Loop

国内の金融や公共分野では、確認の履歴が監査の対象になります。自動処理された案件と人が修正した案件は区別して記録し、修正前後の値をあわせて残しておく必要があります。

権限の分離も要件です。確認の権限と承認の権限を分けなければならない業務があり、個人情報を含む文書は閲覧範囲が制限されることも多くあります。確認環境と運用環境を分けておくと、こうした要件を満たしやすくなります。

確認画面が削減効果を左右します

確信度の低い案件だけを人が見るという設計は、確認画面に支えられてこそ成り立ちます。例外として切り分けても、担当者が結局文書を最初から読み直すのであれば、削減効果は大きくありません。

画面に必要なものは3つあります。まず、なぜ例外になったのかが表示されることです。信頼度が低かったのか、文書間の照合で食い違ったのかによって、確認すべき箇所が変わります。次に、値と原本がつながっていることです。項目を選択すると原文の該当位置が表示されれば、目で確認する時間が減ります。最後に、修正した内容が残ることです。

修正履歴が蓄積されると、それが改善の根拠になります。同じ様式の同じ項目が繰り返し修正されているのであれば、抽出基準や検証ルールを見直す時期だということです。

よくある質問

確認の割合はどの程度が適切ですか?

業務によって異なります。支払い審査や与信審査で確認の比重を定め、運用した事例があります。誤りの影響が大きいほど、保守的に設定してください。

最初から選別確認で始めてもよいですか?

全件確認で始めてデータを集めるほうが安全です。基準線を定める根拠がなければ、調整が勘に頼ることになってしまいます。

確認者が修正した内容はどのように使われますか?

基準線の調整や抽出基準の改善の根拠として使います。同じ項目で修正が繰り返されていれば、その箇所に規則を追加する合図と見なします。

確認の履歴はどの程度残すべきですか?

業務ごとの監査要件に従います。自動処理と手動の修正を区別し、修正前後の値を残す構成が一般的です。

確認の対象はどのように決めますか?

値の信頼度が基準を下回る案件、文書間の照合で不一致が出た案件、業務ルール上で人の判断が必要な案件に分けて、その区分で対象を決めてください。

確認者が複数いる場合、基準はどのようにそろえますか?

同じ文書を2人が確認したときに結果が分かれた項目を集め、判定基準を文書としてまとめます。この基準がなければ、確認履歴を基準の変更や追加学習の根拠として使うことは難しくなります。

現在の確認手続きを教えていただければ、選別確認への切り替えを含めた設計を一緒に検討いたします。

お問い合わせ