고영향 AI란 무엇인가: 사람의 안전과 기본권에 영향을 주는 AI와 사업자 책무 완전 정리

고영향 AI란, 사람의 생명과 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI를 가리키는 AI 기본법상의 개념으로, 이를 제공하는 사업자에게는 위험 관리와 설명, 사람의 관리 감독 같은 책무가 따릅니다.

고영향 AI를 알아야 하는 이유

AI가 사람에 대한 결정에 쓰이기 시작했습니다.

AI가 문서를 요약하거나 검색을 돕는 데 그칠 때는 결과가 틀려도 사람이 바로잡을 여지가 컸습니다. 이제 AI는 채용과 신용평가, 대출 심사처럼 한 사람의 권리와 기회에 직접 영향을 주는 판단에도 쓰입니다. 이런 판단이 잘못되면 되돌리기 어려운 피해가 생길 수 있습니다.

국내에서는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 흔히 AI 기본법이라고 부르는 법이 시행령과 함께 2026년 1월 22일부터 시행되었습니다. 이 법은 AI 가운데 사람의 안전과 기본권에 중대한 영향을 줄 수 있는 것을 고영향 AI로 구분하고, 채용과 대출 심사를 포함한 10개 영역을 정해 이를 제공하는 사업자에게 별도의 책무를 지웠습니다.

모델을 직접 개발하지 않고 외부 AI를 가져다 쓰는 기업도 예외가 아닙니다. 업무에 AI를 붙이려는 조직이라면 우리 서비스가 고영향 AI에 해당하는지, 해당한다면 무엇을 준비해야 하는지부터 확인해야 합니다.

고영향 AI의 정확한 정의: 일반 AI 서비스와 무엇이 다른가

일반 AI 서비스와 고영향 AI, 세 가지 축의 차이

첫째, 구분하는 기준이 다릅니다. 고영향 AI는 어떤 기술을 썼는지가 아니라 AI가 어디에 쓰여 사람에게 어떤 영향을 주는지로 판단합니다. 같은 모델이라도 사내 문서 검색에 쓸 때와 사람에 대한 심사 결정에 쓸 때 판단이 달라질 수 있습니다.

둘째, 사업자의 책무가 다릅니다. 생성형 AI를 쓰는 서비스는 그 사실을 이용자에게 미리 알려야 하는 등의 의무가 있고, 고지와 표시 방법은 과학기술정보통신부가 낸 투명성 안내 지침에서 다룹니다. 고영향 AI는 여기에 더해 위험관리방안과 설명 방안, 이용자 보호 방안을 마련하고 사람이 관리하고 감독하는 체계를 갖춰야 합니다.

셋째, 남겨야 하는 기록의 수준이 다릅니다. 일반 서비스는 결과를 제공하는 데 초점이 있습니다. 고영향 AI는 안전성과 신뢰성을 확보하기 위해 어떤 조치를 했는지 확인한 문서를 작성하고 보관해야 하므로, 판단 과정과 조치 내용이 기록으로 남아야 합니다.

해당 여부가 분명하지 않은 경우도 많습니다. 법은 서비스 개요서 등 관련 서류를 첨부해 과학기술정보통신부 장관에게 고영향 AI에 해당하는지 확인을 요청할 수 있는 절차를 두고 있습니다.

고영향 AI 사업자가 갖춰야 할 5가지 책무

법이 정한 5가지 책무의 내용

첫째, 위험관리방안을 수립하고 운영합니다. AI가 잘못 판단했을 때 생길 수 있는 위험을 파악하고 관리하는 방안을 정해 두고, 정해 둔 방안이 실제 운영에서 지켜지게 해야 합니다.

둘째, 설명 방안을 수립하고 시행합니다. AI가 낸 결과와 그 결과에 쓰인 기준을 설명할 수 있는 방안을 마련합니다.

셋째, 이용자 보호 방안을 수립하고 운영합니다. AI의 판단으로 영향을 받는 이용자를 보호하기 위한 방안을 마련해 운영합니다.

넷째, 사람이 관리하고 감독합니다. AI의 판단을 사람이 확인하고 필요하면 바로잡을 수 있는 체계를 둡니다.

다섯째, 안전성과 신뢰성 확보 조치를 확인한 문서를 작성하고 5년간 보관합니다.

각 책무의 세부 기준은 시행령 등 하위 법령에서 정하므로 실제 준비는 법령 원문을 함께 확인하며 진행해야 합니다.

고영향 AI에 대비하는 실제 방법

업무별로 해당 여부부터 점검합니다

조직 안에서 AI를 쓰고 있거나 쓰려는 업무를 목록으로 만들고, 각 업무에서 AI의 결과가 사람에 대한 결정에 쓰이는지 표시합니다. 결과를 담당자가 참고만 하는지, 결정에 그대로 반영되는지에 따라 영향의 크기가 달라집니다.

판단이 어려운 업무는 법률 검토를 받고, 필요하면 확인 요청 절차를 활용합니다. 점검 결과와 판단 이유도 기록해 두면 업무가 바뀌거나 AI의 쓰임이 넓어질 때 다시 검토하는 기준이 됩니다.

판단 근거와 이력을 남깁니다

설명 방안과 문서 보관 책무를 지키려면 AI가 결과를 낸 과정을 나중에 보여 줄 수 있어야 합니다. 문서 심사에 AI Agent를 쓴다면 판단의 근거가 된 원문 위치와 적용한 규칙, 사용한 모델과 규칙의 버전을 건별로 기록합니다.

기록은 사람이 읽을 수 있는 형태여야 이용자의 설명 요구나 이의 제기에 대응할 수 있습니다. 모델이나 규칙을 바꾼 경우에는 변경 전후의 결과 비교와 승인 기록도 함께 보관합니다.

최종 결정에는 사람의 확인을 둡니다

사람의 관리 감독은 형식적인 서명으로는 충족하기 어렵습니다. AI의 판단 결과와 근거를 함께 보여 주는 검수 화면을 두고, 사람이 승인하거나 수정한 기록을 남깁니다. 기준에서 벗어난 건은 자동으로 담당자에게 넘기도록 흐름을 설계합니다.

국내 환경에서의 고영향 AI

AI 기본법은 AI를 개발해 제공하는 사업자뿐 아니라 남이 만든 AI를 이용해 제품이나 서비스를 제공하는 사업자도 인공지능사업자로 봅니다. 외부 모델을 API로 연결해 심사 도구를 만든 기업도 책무의 대상이 될 수 있습니다.

정부는 사실조사와 과태료 부과를 최소 1년 이상 유예하는 계도기간을 두겠다고 밝혔습니다. 다만 계도기간은 준비할 시간이지 의무가 없는 기간이 아니므로, 기록 체계처럼 시간이 걸리는 준비는 먼저 시작하는 편이 좋습니다.

자주 묻는 질문