KAIST KI-ITC 증강현실연구센터(ARRC)는 가상증강현실의 다양한 가능성을 탐색하고 대안을 모색하는 열린 R&D 플랫폼입니다. 지능공간에서 가상현실을 체험하는 유비쿼터스 가상현실 분야를 개척하였습니다. 시공간을 초월하여 사용자의 능력을 지적, 육체적, 사회적으로 확장하는 증강휴먼 연구를 수행해 왔습니다. 증강휴먼의 역량을 확대하는 증강도시 연구를 통해 증강사회의 가능성을 탐색하고 있습니다. 그동안 축적한 경험과 지식을 융합적으로 활용하여 언제 어디서나 서로 연결하여 소통하고 서로 협력할 수 있는 유택트(U-tact) 시대, XR 협력으로 선도하겠습니다.

• 사용자 협업 품질 향상을 위해 고품질 몰입감, 사회적 공존감을 높일 수 있는 개방형 XR 협업 플랫폼을 위한 요소 기술 개발◦ 협업지원
• 공유공간은 Scene Graph를 기반으로 디지털트윈 내부의 공간 모델, 정적/동적 객체, 음향, 손자세, 헵틱 요소들을 생성, 삭제, 이동, 변형하는 협업 저작 상호작용을 관리함

• 협업공간 생성을 위한 공유공간 디지털트윈 생성 및 관리
• 디지털 트윈 기반의 시각/청각/촉각 상호작용
• 원격 협업을 위한 디지털 트윈 기반의 아바타 재현 및 공존감 평가
• 개방형 플랫폼 API 및 저작 도구를 활용한 과학교육 체험 콘텐츠 개발 및 실증

• 과학·기술 : XR 공간에서 언제, 어디서나 협업 공존감을 느낄 수 있는 XR 협업 공간 서비스 컴퓨팅 플랫폼 기술 확보로 미래 환경 변화 대비
• 국가·사회 : 포스트 코로나 시대 언택트 환경에서 대면에 가까운 몰입형 경험을 구현함으로써 교육격차 해소, 효율적인 재택 협업 환경 제공 등으로 국민 삶의 질 향상
• 산업·경제 : 개방형 플랫폼 기술로 다양한 산업 분야에 XR 기술을 도입할 수 있는 플랫폼을 제공함으로써 급성장할 것으로 예상되는 XR 시장 선점

스마트 안경 사용자의 명시적 명령 외에도 묵시적 의도까지 이해하고 반영하는 지능을 포함하고 더 나아가 기기의 과의존을 줄이고 사용자의 능력을 발전할 수 있게 도와주는 ‘지혜로운 사용자 인터페이스’를 목표함

• Augmented Space-Time: 사용자 시점추정 및 주변환경의 객체단위 3D 복원과 추적
  • 스마트안경 사용자 전역 위치 추정 및 3차원 공간 상의 실시간 시점 추정
  • 주요 구조물의 다중 평면 정보를 추정하여 사용자 주변 3차원 복원
  • 영상기반 사용자 주변객체 추적 및 객체 단위 주변 공간 복원
• Wise Interface: 주변환경과 사용자 정보의 통합활용 주의 추정
  • 다수 기기에서 취득한 정보활용 사용자의 명시적 주의 추적 및 상호작용
  • 사용자 개별 특성을 포함하는 묵시적 주의 추적 및 활용 인터랙션
  • 사용자 상태와 주변 환경의 맥락에 맞는 정보와 콘텐츠 증강
• Mediated Experience: 주변 객체 이용 스마트 안경 입/출력 및 정보증강
  • 대상 객체의 의미와 사용자의 의도를 고려한 상호작용 방법 적용
  • 사용자의 손과 매개체를 활용한 가상 객체 물리적 조작
  • 매개체를 활용한 가상 객체 기능 (추가 속성) 제어

스마트폰에 이어 4차 산업혁명 시대의 새로운 스마트 디바이스로 대두되고 있는 스마트 안경의 기기 특성을 반영한 기술 연구개발을 통해 관련 분야 원천기술을 확보. 직접적으로는 증강현실을 위한 스마트 안경 산업의 기초 SW 기술에서부터 가상현실 스마트 안경과 같이 사용자가 착용하며 상호작용하는 모든 종류의 스마트 안경, 그리고 증강현실 기술에 활용 가능함

공존감 높은 XR 협업을 위해 사용자의 실제 공간에 대응하는 디지털 트윈 생성, 협업자간의 서로 다른 공간 정합, 사실적 사용자 아바타 생성 및 상호작용 기술 개발

현실 공간 구성을 반영한 XR 협업 공간의 디지털 트윈 연구를 위해 호스트 공간의 기본 기하를 기반으로 한 디지털 트윈을 생성하고, 생성된 호스트 공간의 디지털 트윈을 활용해 공간 내 영역을 의미론적 영역으로 분류하여 서로 다른 공간 정합에 활용함. 또한 사용자 실시간 아바타 구현 및 상호작용 방법 연구를 위해, 단일 RGB-D 이미지 기반 사용자 아바타 mesh 복원 연구 및 가상 객체와 상호작용하는 방법을 연구함

원격 교육/의료/산업 등 다양한 비대면 시스템에 활용될 수 있음. 또한 서로 다른 공간에서의 협업이 증진되어 더 다양한 사용자가 협업에 참여할 수 있게 되어 XR 협업에 대한 진입 장벽이 낮아질 것으로 기대됨. 또한 물리적 거리에 관계없이 서로 다른 공간의 사용자들이 상호작용할 수 있게 하는 요소기술을 제공하여 이동 경비를 절감하고 공존감 높은 협업을 가능하게 할 것으로 기대됨

본 과제의 목표는 임의의 실내외 환경에서 다시점 카메라를 이용하여 촬영된 영상을 기반으로 사용자가 자유롭게 가상공간을 움직이며 인터랙션을 할 수 있는 임의 시점을 생성하는 3차원 360도 가상현실 콘텐츠를 생성하는 기술을 개발.

동기화된 카메라영상 캡처방식의 고품질(4K이상) 360도 파노라마용 영상 획득 장치 개발. 다시점 영상 기반의 고성능(고정밀도/고밀도) 깊이정보(Depth map) 추정 기법 개발. 360도 VR 영상 정합(stitching) 정밀도 및 색상 보정을 통한 색균일성 향상 기술 개발. Image-based rendering기술 기반으로 한 실시간 6DOF 가상시점 생성 기술 개발. Hybrid(model+image) rendering기법을 통한 Refined 3D Scene Reconstruction 구현완료.

본 과제로 개발된 VR콘텐츠는 게임을 포함한 엔터테인먼트, 영화 교육, 전시 의료, 국방, 여행, 커머스 등 우리 생활 전반에 응용 될 것으로 예상됨, 또한 IoT, 웨어러블의 신기술과 접목한 새로운 VR관련 시장과 연계 가능. 경제적 파급효과: 360 비디오 콘텐츠가 VR시장 콘텐츠의 시작을 가져왔으나 본격적인 경제적, 산업적 시장창출을 위해 킬러콘텐츠 가능성이 높은 자유시점기반의 360 S3D 가상현실 콘텐츠에 대한 연구가 세계적으로 시작되고 있음. 개발 기술은 국내 가상현실 콘텐츠 시장이 향후 몇 년 뒤 세계적인 경쟁력을 가지기 위한 기반 기술로 국내 VR콘텐츠 시장의 성장동력으로 가치가 높음

본 과제의 목표는 도시환경 개선을 위한 디지털 트윈 기반 스마트 시민참여 플랫폼을 개발하고 시민들이 적극적, 지속적으로 지역사회 문제해결에 참여하게 하기 위한 인센티브 모형 디자인 및 적용

• 시민이 스스로 지역사회 문제를 발견하고 참여하여 해결하게 하기 위한 시민참여 플랫폼 디자인 및 구현 이를 위해 개방형 데이터 플랫폼, 디지털 트윈, 참여 플랫폼을 연동 및 활용
• 시민들이 스스로 참여할 수 있도록 지원하는 HQS(Holistic Quantified Self) 기반 에이전트 디자인
• 시민들의 지속적인 참여를 유도하는 인센티브 시스템 디자인

이러한 시민참여 플랫폼은 향후 스마트시티즌을 위한 핵심 플랫폼으로 활용 가능하며, 인류세의 도시환경 개선 노력에도 지속가능성을 더해줄 수 있을 것으로 기대

Geographic Augmented Control Tower (GeoACT)는 도시 디지털트윈 연구의 하나로, 가상 IoT를 사용하여 실제 IoT에서 제공하지 못하는 정보들을 시뮬레이션 해보고, 예측해보는 시스템 연구임

GeoACT는 하나의 도시 디지털트윈을 지향하는 데모 시스템으로 구성되었고, 게임 엔진의 물리 엔진에서 생성하는 실시간 생성 정보를 가상IoT 서버에서 수집하고, 실제 IoT에서 들어오는 정보들과 결합하여 실제 IoT의 부족한 부분을 채우고, 가상의 시뮬레이션을 진행함. GeoACT는 도시를 관리하는 관제센터를 위한 도구 형태로 제작되었고, Tabletop과 안경형 글래스를 사용하여 제작됨

스마트시티를 건설할 때, 동시에 스마트 서비스들을 디자인 할 수 있고, 그 서비스들의 가능성을 설명할 필요가 있다. GeoACT는 가상의 데이터로 미래 서비스를 미리 예측해 볼 수 있게 하여, 실제 IoT 하드웨어적인 비용 낭비를 최소화할 수 있게 함. 이러한 실제 및 가상의 데이터와 결합된 디지털트윈 기술은 미래 메타버스 산업이 확대되는데 중요한 영향을 끼칠것으로 전망됨. 또한, 다양한 산업과 결합되어 정보의 가시화를 필요로하는 사회 전반에 많은 영향을 미칠것으로 예상됨

본 연구에서는 현실 환경 내 공간 및 객체 등의 정적 요소들을 추정하여 복원하고, 이들의 의미론적 관계를 기반으로 움직이는 객체 및 카메라 등의 동적 요소들을 실시간으로 반영 할 수 있는 ‘동적 디지털 트윈’ 구축 방법을 개발함.

• 평면도 정보 및 객체 정보 기반 실내 공간 정보 추정
• 객체-공간 의미론적 관계 기반 객체 자세 추정 및 삼차원 모델 정합
• 객체 단위 포인트 클라우드 기반 디지털 트윈 업데이트
• 모바일용 경량 딥러닝 기반 실내 환경 변화에 강건한 위치 및 자세 추정
• 딥러닝 기반의 프레임간 일관성 있는 조명 정보 추정 기법 및 사실적 AR 렌더링

연구에서 제안하는 동적 디지털 트윈은 사람 사이의 상호작용을 넘어 실제 환경 기반의 원격 협업이 필요한 현장에 응용될 수 있음.

• 장비 유지 보수 및 설계를 위해 작업자와 원격의 전문가가 XR을 통해 협업하는 산업 현장,
• 실제 강의실에 있는 교육자와 원격의 학생들이 XR 환경에서 양방향으로 실험 도구를 조작할 수 있는 상호작용형 교육 현장,
• 박물관 및 미술관에서의 전시물 배치와 공간 기획/디자인을 위해 현장의 큐레이터와 원격의 작가 및 디자이너가 협업하는 문화 현장 등