高影響AIとは何か：人の安全と基本権に影響を与えるAIと事業者の責務の完全整理

高影響AIとは、人の生命や身体の安全、基本権に重大な影響を及ぼす、または危険をもたらすおそれのあるAIを指す韓国AI基本法上の概念で、これを提供する事業者にはリスク管理や説明、人による管理監督といった責務が伴います。

高影響AIを知っておくべき理由

AIが人に関する決定に使われ始めました。

AIが文書の要約や検索の補助にとどまっていた頃は、結果が誤っていても人が正す余地が大きくありました。いまやAIは、採用や信用評価、融資審査のように一人ひとりの権利と機会に直接影響する判断にも使われています。こうした判断を誤ると、取り返しのつかない被害が生じることがあります。

韓国では、通称AI基本法と呼ばれる人工知能の発展と信頼基盤の造成に関する基本法が、施行令とともに2026年1月22日から施行されています。この法律はAIのうち人の安全と基本権に重大な影響を与えうるものを高影響AIとして区分し、採用や融資審査を含む10個の領域を定めて、これを提供する事業者に別途の責務を課しました。

モデルを自ら開発せず外部のAIを利用する企業も例外ではありません。業務にAIを組み込もうとする組織であれば、自社のサービスが高影響AIに該当するか、該当するなら何を準備すべきかをまず確認する必要があります。

高影響AIの正確な定義：一般的なAIサービスと何が違うのか

一般的なAIサービスと高影響AI、三つの軸の違い

第一に、区分する基準が違います。高影響AIは、どの技術を使ったかではなく、AIがどこで使われ、人にどのような影響を与えるかで判断します。同じモデルでも、社内の文書検索に使う場合と、人に関する審査の決定に使う場合とでは、判断が変わることがあります。

第二に、事業者の責務が違います。生成AIを使うサービスには、その事実を利用者に事前に知らせるといった義務があり、告知や表示の方法は科学技術情報通信部が公開した透明性の案内指針で扱われます。高影響AIではそれに加えて、リスク管理方案、説明方案、利用者保護方案を整え、人が管理し監督する体制を備えなければなりません。

第三に、残すべき記録の水準が違います。一般的なサービスは結果を提供することに重点があります。高影響AIでは、安全性と信頼性を確保するためにどのような措置をとったかを確認した文書を作成し保管しなければならないため、判断の過程と措置の内容が記録として残っている必要があります。

該当するかどうかが明確でない場合も多くあります。法律は、サービス概要書などの関連書類を添付して、高影響AIに該当するかの確認を科学技術情報通信部長官に求められる手続きを設けています。

高影響AIの事業者が備えるべき5つの責務

法律が定める5つの責務の内容

第一に、リスク管理方案を策定し運用します。AIが誤って判断したときに生じうるリスクを把握し管理する方案を定めておき、それが実際の運用で守られるようにしなければなりません。

第二に、説明方案を策定し実施します。AIが出した結果と、その結果に使われた基準を説明できる方案を整えます。

第三に、利用者保護方案を策定し運用します。AIの判断によって影響を受ける利用者を保護するための方案を整えて運用します。

第四に、人が管理し監督します。AIの判断を人が確認し、必要であればすぐに正せる体制を置きます。

第五に、安全性と信頼性を確保する措置を確認した文書を作成し、5年間保管します。

各責務の詳細な基準は施行令などの下位法令で定められるため、実際の準備は法令の原文を合わせて確認しながら進める必要があります。

高影響AIに備える実際の方法

業務ごとに該当するかをまず点検します

組織の中でAIを使っている、または使う予定の業務を一覧にし、それぞれの業務でAIの結果が人に関する決定に使われるかを記します。担当者が結果を参考にするだけなのか、決定にそのまま反映されるのかによって、影響の大きさが変わります。

判断が難しい業務は法律の専門家の検討を受け、必要であれば確認を求める手続きを活用します。点検の結果と判断の理由も記録しておけば、業務が変わったりAIの使い道が広がったりしたときに改めて検討する基準になります。

判断の根拠と履歴を残します

説明方案と文書保管の責務を果たすには、AIが結果を出した過程を後から示せなければなりません。文書審査にAI Agentを使うなら、判断の根拠となった原文の位置、適用したルール、使用したモデルとルールのバージョンを一件ごとに記録します。

記録は人が読める形でなければ、利用者からの説明の求めや異議申し立てに対応できません。モデルやルールを変更した場合は、変更前後の結果の比較と承認の記録も合わせて保管します。

最終決定には人の確認を置きます

人による管理監督は、形式的な署名だけでは満たしにくいものです。AIの判断結果と根拠を合わせて示す検収画面を設け、人が承認または修正した記録を残します。基準から外れた案件は自動的に担当者へ回るようにフローを設計します。

国内環境における高影響AI

韓国のAI基本法は、AIを開発して提供する事業者だけでなく、他者が作ったAIを利用して製品やサービスを提供する事業者も人工知能事業者とみなします。外部のモデルをAPIでつないで審査ツールを作った企業も、責務の対象になりえます。

政府は、実態調査と過料の賦課を最低1年以上猶予する啓発期間を設けると明らかにしています。ただし啓発期間は準備のための時間であって義務のない期間ではないため、記録の仕組みのように時間のかかる準備は早めに始めるほうがよいでしょう。

よくあるご質問