한국딥러닝, 초거대 AI 인체·객체 3D 데이터 구축 수행기관 선정

한국딥러닝이 2024년 11월 과학기술정보통신부가 주관하고 한국지능정보사회진흥원(NIA)이 추진하는 '2024년 초거대 AI 데이터 구축사업'의 '인체 및 객체 3D 데이터 구축' 수행기관으로 선정돼 사업을 진행하고 있다. 사람의 말과 표정, 몸짓을 담은 인체 데이터와 중대형 사물을 여러 각도에서 기록한 객체 데이터를 만들고, 데이터 품질을 검증하는 생성 모델까지 함께 개발한다.

이 사업은 초거대 AI 데이터 구축으로 AI 생태계를 조성하고 AI 일상화를 실현하기 위해 기획됐다.

약 1,000시간 분량의 자연발화와 72만 건 이상의 3D 스캐닝

한국딥러닝이 구축하는 인체 데이터는 사람의 말과 표정, 몸짓을 함께 담는다. 약 1,000시간에 해당하는 자연발화 동영상과 발화 음성 데이터 24만 건, 표정과 포즈 모션 데이터 2만 4,000건, 표정과 포즈를 입체로 기록한 3D 스캐닝 데이터 72만 건 이상을 만든다. 여기에 오디오 스크립트와 음성 해설을 포함한 데이터셋 12만 건이 더해진다.

다각도 2D 이미지 4만 3,200건으로 기록하는 객체 데이터

객체 데이터는 중대형 사물을 여러 각도에서 기록한다. 다각도 2D 이미지 4만 3,200건과 3D 모델링 애셋 800건, 텍스처 이미지 800건, 라벨링 통합 데이터 800건을 구축한다.

구축 데이터의 품질을 검증하는 생성 모델 3종

한국딥러닝은 데이터 구축과 함께 구축 데이터의 품질을 검증하는 AI 모델도 개발한다. 3D 얼굴과 포즈를 만드는 생성 모델, 다각도 2D 이미지로 3D 객체를 만드는 생성 모델, 3D 스캐닝 데이터의 오류를 보정하는 모델이다. 구축된 데이터는 모션과 포즈 기반의 실감형 디지털 콘텐츠와 3D 애니메이션 제작에 활용될 예정이다.

"이번 사업을 통해 구축되는 고품질 3D 데이터는 메타버스, 실감형 콘텐츠, 생성형 AI를 활용한 애니메이션 등 다양한 분야에서 활용될 수 있습니다."

— 김지현 한국딥러닝 대표

텍스트-3D 객체 쌍 데이터 주관에서 이어진 3D 경험

3D 데이터는 한국딥러닝이 오래 다져 온 영역이다. 한국딥러닝은 2023년 NIA 'AI 학습용 데이터 구축 지원사업'에서 AI 스타트업으로는 이례적으로 '한국형 텍스트-3D 객체 쌍 데이터' 과제의 주관기업을 맡아, 3D 객체와 그 특징을 설명한 텍스트를 짝지은 데이터 6,000쌍 이상을 구축하는 과제였다. 이 데이터셋은 텍스트 입력만으로 3D 모델을 만드는 생성형 AI TT3의 학습 기반이 된다. TT3는 2024년 5월 미국 에디슨어워드 엔지니어링 및 제조 도구 부문에서 금상을 받았다.

TT3로 만든 모델은 한국딥러닝이 운영하는 3D 애셋 마켓플레이스 '폴리그라운드(POLYGROUND)'에서 쓸 수 있다. 한국딥러닝은 2024년 1월 CES 2024에 폴리그라운드를 출품해 글로벌 무대에 처음 선보였다.

김 대표는 한국딥러닝이 B2G와 B2B 고객에게 맞춤형 비전 AI 솔루션을 제공해 왔다며, 생성형 비전 AI 기술력으로 디지털 콘텐츠와 3D 모델링 분야에서 새로운 가능성을 제시하겠다고 밝혔다.