홀로그램의 한계를 극복한다! 미래에 다가올 홀로그램의 응용은? 최첨단 홀로그램 2부! [한국과학기술연구원 강민구 박사]

안될과학 Unrealscience
147 팔로워
순간이동이 가능한 홀로포테이션!
홀로그램을 직접 만질 수도 있다?!
안경을 쓰고 막힌 공간에서 외부를 볼 수 있다는데?!
한국과학기술연구원 강민구 박사님과 함께 알아봅니다
◆ 2024 신상 굿즈 블록 피규어 키링 + 포스터 출시
모어사이언스 스토어에서 만나볼 수 있습니다!
https://smartstore.naver.com/morescience
#순간이동 #홀로포테이션 #홀로그램 #한국과학기술연구원 #강민구
◆ Thanks to
Editor: 최용환
Studio: 서울스트리밍 스테이션
Guest: 한국과학기술연구원 강민구 박사
◆ 안될과학-모어사이언스 스마트스토어 (과학굿즈)
https://smartstore.naver.com/morescience
◆ 안될과학 인스타그램
https://www.instagram.com/unreal.science
◆ 안될과학 커뮤니티
https://cafe.naver.com/unrealscience
◆ 안될과학 문의
E-MAIL : [email protected]
이름 짓기를 텐저블 홀로그램이라고
해서 만질 수 있는 홀로그램 질감이
느껴진다고 질감이라고까지는 하기 아직
힘든데요 뭔가 있구나라는 초실감
느낌을 줄 수 있는 기술을 개발하고
있습니다 그럼 저렇게 나비가 날개짓을
하면은 바람도 느껴져요 바람 정도는
묘사할 수
있어요 인사할 시간도 봤습니다
여러분의 시간을 낭비해 드릴 느리지만
쿨랑과 랩 미팅입니다 반갑습니다
교수님들 반갑습니다
반갑습니다 오늘 또 진짜 재밌는
이야기 하려고 키스트의 강민구
박사님을
모셨습니다
반갑습니다 이제부터는 재밌을 거예요
왜냐면 지금까지 제가 설명드릴 내용은
아마 좀 아시는 분들도 계실 텐데요
지금부터 제가 설명드리는 내용은
대중들을 잘 모르는 내용이에요 그
제가 말씀드렸던 각 기술의 태생적
한계이 한계를 돌파하는 연구에 대해서
좀 설명을 드릴 거고요 한계 돌파를
할 수 있으면 우리가 어떻게 활용할
수 있는지 이걸 통해서 우리 삶이
앞으로 어떻게 바뀔 수 있는지 이제
말씀을 드릴 건데요네 먼저 무안경
3,000원 디스플레이의 한개 돌파
연구 및 활용 분야에 대해서 먼저
설명을 좀 드리겠습니다 좋습니다 오토
스트로스 픽 디스플레이 같은 경우에는
다 좋은데 시청 범위가 제 안된다라는
단점이라 걸 말씀드렸잖아요 그래서
오른쪽에 작도한 그림에서처럼 사용자가
저 빨간색 영역 내에서만 자연스럽게
입체 영상을 보고 물체 측면도 볼
수가 있는 거예요네 근데 빨간색
영역을 벗어나게 되면 어떻게 보일까요
그 영상이 왼쪽에 있는 영상들 있데요
실제로 저희가 개발한 오토
스테레오스코픽 디스플레이를 스테레오
카메라로 이렇게 찍은 거예요
흔들리거나 깨지는 느낌이 나 그렇죠
그죠 그래서 빨간색 영역 내에서
움직일 때는 비행기의 측면이
자연스럽게 보이는데 빨간색 영역을
벗어나게 되면이 중상이 보이게 되
이중상 보이 중상이 보이는데 왼쪽으로
갈 때는 왼쪽 것만이 중상이 보이고
오른쪽으로 가게 되면 오른쪽 것만이
중상이 보이는 특성이 있고 그렇게
되면 입체감이 갑자기 깨져 보이게
되는 문제가 발생합니다 시청 범위가
제한되는게 단점인데 그러면 시청
범위를 확장할 수 있는 방법이 있을
텐데요 어떤 방법이 있을까요 시청
범위를 범위를 넓히려면 앞 페이지에서
제가 작도한 이미지 한번 다시 볼까요
여기서는 다섯 개 시점을 가지고 오토
스테로 코픽 디스플레이의 시청 범위를
표현을 한 건데요 저을 늘리면 되나요
그렇죠 그죠 아 다섯 개 시점을
쓰는게 아니고 열 개 열 개를 시점을
쓰게 되면 볼 수 있는 공간이 두개로
늘어나겠죠 그런데 이렇게 하지 않는
이유가 있어요 왜요 시점 수로 늘리면
좋은데 시점 수로 늘리게 되면 3차원
영상의 해상도가 줄어듭니다 그 이유는
실제로이 제한적인 디스플레이 패널에
해상도가 존재하는데요이 해상도를
나눠서 시점을 표현을 하는 거예요
그래서 지금 보는 이미지는 실제로
오토 스테로 코픽 디스플레이 앞에
시점 영상을 독립적으로 분할하는 광학
소자를 제거한 이미지 든요 픽셀
정보를 이렇게 보시게 되면요 시점
수에 해당하는 픽셀 정보가 표현되고
있는 거예요 보네요 진짜로네 시점
수로 늘리게 되면 볼 수 있는 측면의
범위가 늘어나고 시청 범위도 늘어날
수 있지만 그 3차원 영상 자체
해상도가 그만큼 줄어 되는 거죠음
예를 들어서 풀 HD 개 시점을 풀
HD 패널을 써서 개 시점을 가지는
무한 3차원 디스플레이를 만들면
3차원 이미지 자체는 해상도가 열배로
감소하는 거예요 근데 실제로는 이게
정비를 하지 않습니다 그래서 이거를
해소하는 방법이 전통적인 광학계를
개발하거나 렌더링을 새로 하는게
아니고요 오히려 다른 분야 인공지능을
접목을 해서이 문제를 극복할 수가
있어요 처음에 오토 스테로 코피
디스플레이 설계할 때 시청자가 위치한
공간을 할당을 해서 공간의 시점
영상이 분할해서 제공되 도 학기를
설계한다고 말씀드렸잖아요 이러한
패러다임을 완전히 깨는 거예요
시청자는 언제든지 움직일 수 있다라고
가정을 하고요 시청자의 위치에 맞춰서
그 디스플레이 패널에 그렇죠 시점
정보를 담고 있는 화소 픽셀을 바꿀
수가 있습니다 아 그래서 왼쪽에는
원래 나오는 화면을 시점을 바꾸면
저렇게 깨져 보이는게 우리가 움직임에
따라서 화소를 바꿔 가지고 깨짐이 안
보이게
와 어 그러게요 그럼 시청자가 다
수면은 이런 인공신 트래킹을 쓴다는
거 자체가 1인용 모바일 디스플레이로
정되는 문제가 있고요 보통 이제
모바일 디스플레이 같은 경우는
혼자서만 보기 때문에 그렇게 해서라도
오히려 고상으로 보는게 더 나은 거죠
보통 우리가 지금 보는 방식이 다
같이 보는 방식이 거의 없잖아요 극장
아니고는 근데 극장은 또 움직이지가
않으니까 굳이 이런 걸 적용 안 해도
모바일 같은 경우에는 이런 거를
적용할 수 있지 나만 보니까
일반적으로이 기술은 모바일 디스플레이
장치에 적용하는게 맞는 거고요 사실은
여러명에서 야 된다 회의실에 사용하는
디스플레이 장치나 사이니지 광고판
같은 경우에는 트래킹 기술을 적용할
수가 없고요 시점 수를 늘려서 시점
범위를 확장하는 수밖에 없습니다 아
어차피 화소를 버려야 된다 근데
이것도 자연스러워요 왜냐면 우리가
광고판이나 대화면 디스플레이를
가까이서 보는 일은 없잖아요 화질이
떨어져도 멀리서 보게 되면 인지되는
해상도는 높아 차피 맞아요 그거를
표현하는 방식이 픽셀 퍼 디그리
ppd고 해서 1도에 몇 개의 픽셀이
보이는가 해상 편하는 저이기도
하거든요 맞아 맞아요 멀리서 보면은
우리가 구분 수 있는 픽셀들이 커지는
거죠 세세한 픽셀을 못 보는 거죠
픽셀이 커도 같은
각도이다 넓어지니까 거기 안에
들어가는 픽셀 수는 동일한 거죠
아까는 제가 인공 지능을 적용해서
트래킹을 적용하면 시청 범위를 확정할
수 있다라고 했는데 시청 범위는 가로
방향으로도 확정할 수가 있고요 상화
방향 그리고 전후로도 확정을 할 수가
있 그렇죠 그렇죠 반대로 말씀드리면
기존의 기술은 좌우는 제한적으로
이동할 수 있지만 상하는 이동을 해도
아무런 차이가 없고요 전후 방향으로
움직이면 안 되는 한계가 있었는데요
좌우로 이동할 경우에 보시는 것처럼
위에는 오리지널 무안경 3,000원
디스플레이 그요 밑에는 트래킹이
적용된 어 디스플레이입니다 그래서
위에는 이동산 보이는데 아래는 이제
그런게 없죠 선명하게 보이죠 그래서
위에는 아래위로 움직여도 물체에
변화가 없는데 아래는 탑 뷰랑 바탄
뷰를 다 볼 수가 있어요 이거는
디지털 방식으로 수직의 운동 시차를
주는 경우라고 설명드릴 수가 있습니다
그리고 마지막으로이 앞뒤로 움직여서
을 때 조금 더 다가가면이 중상이
이제 보이는 거거든요 조금 더 가면
지금 이중상 보이죠 이중상 두 개가
숫자가 7이 두 개가네 2도 뭐
그렇게 보이고네네 아래에는 이제 그런
거 없이 그래서 트래킹 기술을
적용하게 되면 사용자가 태생적으로
설계해 놓은 시청 범위를 초월해서
자유롭게 전후 좌우 상하로도 다
움직일 수가 있는 거예요 이러한
방식으로 이제 한계를 돌파를 할 수가
있습니다 그래서 오토 스테레스 픽
디스플레이가 가지고 있는 유일한
단점이라고 할 수 있는 시청 범위
제한 문제를 어느 정도 해소를 할
수가 있고요 한 가지 아쉬운 점이
제가 그래프 보여 드리면서 말씀드리게
했는데 오토스 테스코 p 디스플레이
같은 경우는 디스플레이 패널에
스크린을 기준으로 앞뒤로 입체감을
표현할 수가 있고 실세계 떠 있는 거
같은 그 실제감을 제공하기는
힘들거든요 그런데 실제감을 제공하는
가장 손쉬운 방법이 아까 제가
말씀드린 것 중에 플로팅 디스플레이를
쓰면 그렇게 할 수 있다라고 했잖아요
왜냐면은 실세계와 밑에 위에 숨겨져
있는 영상을이 반사에서 보기 때문에
그러는 건데요 이렇게 위치 추적
기술과 플로팅 기술을 다 접목을 하게
되면 무 3차 디스플레이인데 이런
형태로 볼 수가 있 그 왼쪽에
스타워즈에서 모사된 홀로그램이
있는데요 영화보다 훨씬 더 실감나는
홀로그램이 볼 수가 있죠 오른쪽
영상이 실제로 저희가 개발한
디스플레이 장치인데요 뒤에 실물이 시
형태로 보이거든요 디스플레이를 돌리고
있는게 아니고요 이것도 마찬가지로
디스플레이는 고정되어 있고 자연스럽게
카메라로 움직이면 물체 측면이 이제
보이는 거죠 해상도도 충분히이 정도면
수용할 만하고 보데 크게 불편함이 없
없고 우리가 상상력을 더 발휘해서
비교적 최근에 나왔던 영화 중에
아이언맨서 유사 홀로그램을 보면
로다주가 홀로그램을 그냥 보는게
아니고 홀로그램을 가시고 노는 장면이
나오는데요네 설마네 가능하죠 이것도
마찬가지로 요즘에는 AI 기술로
제스처 인식을 하는 건는 요즘에는
어려운 일도 아니에요 그 오픈 소스도
많고 API 많이 나와 있는데요
저희도 간단하게 제스처 인식 기술을
추가를 해서 다음과 같은 효과를
구현을 하였습니다 홀로그램으로
제한되는 무안경식 3,000원 영상을
이런 식으로 손에 제스처 동작에
연동을 해서 자유롭게 내비게이션 해
보는 장면을 촬영한 것인데요 완전히
영화 같은 느낌은 아니지만에서
추구하는 장면들이 현재 기술로 어느
정도 교현이 될 수 있다라는 걸 알
수가 있죠 저희가 이렇게 진보된
형태의 무안경 3차원 디스플레이를
가지고 실용화를 하기 시작했는데
저희가 실용화를 한 이제 분야는
메디컬 분야예요 메디컬 분야에서도
홀로그램 기술에 대한 니지가 굉장히
강하거든요 전통적인 의료 영상을
그대로 보는게 아니고 이거를 이렇게
3천 모델로 복원을 하고 복원된
3,000원 모델을 저희가 개발한
홀로그램 장치에 넣게 되면 안경
없이도 지오메트리가 다 지각되는 입차
영상을 볼 수가 있고요 아까
설명드렸던 제스처 인식 동작을 통해서
접촉식 디바이스나 그런 장비 없이도
플로그램 영상을 내비게이션 할 수
있는 거죠 그 의사 같은 경우에는
예를 들어서 수술실에서 쓴다고 했을
때 이런 장비를 만질 수가 없잖아요
그런데도 이렇게 활용할 수 있는
기술입니다 저희는이 기술이 조금 더
실용화 된다면 경험이 부족한
의사들한테 크게 도움이 될 거라고
생각 아네 기존의 의료 책에는 단층
의료 영상을 가시고 경험하는 의사가
지오메트리를 자기가 해석을 하고
병변을 탐색하는 시기였는데요 이제
이런 기술을 쓰게 되면 그런 경험을
줄일 수가 있겠죠 왜냐면 직관적으로
환부 같은게 눈 앞에 펼쳐지기
때문인데요 오른쪽이 실제 내 종력
환자의 MRI 영상이에요 기존의 의료
기술이라면이 영상을 보면서 의사가
본인의 능력에 의해서 수술 계획을
세워야 되는 건데요 저희 홀로그램
장치를 쓰게 되면 의료 영상을
홀로그램으로 보면서 탐색해 볼 수가
있습니다 그래 내 수술 같은 경에는
의사가 머리를 열기 전에 신경이
어디에 있는지 혈관 정보가 어디에
있는지 그 위치를 정확히인지를 하고
들어가야 수술 시간도 줄일 수가 있고
수술의 정확도도 올릴 수가 있다라고
해요 저희가 이런 기술을 통해서 이걸
보고 가게 되면 그런 노력들을 줄일
수가 있는 거죠 이거는 이게 유사하게
부정 교합
아 있는 그 시티 이미지인데요 이걸
가지고 마찬가지로 홀로그램으로 이렇게
변환한 예시입니다 지금까지도 이미
새로우 텐데 여기서부터 정말 상상 을
발휘하셔서 우리가 기대하는
홀로그램은이 스타즈에서 묘사된 원
장면 있잖아요 뭔 로보트 같은게 딱
나와서 자기가 이제 위치하 공간상의
무안경 형태의 홀로그램을 제언하는
거예요네이 장면을 현재의 기술로
표현을 하면 무안경 혼합 현실 정도가
되는 거거든요네 그런데 빛이 아무런
매질 없이 가운데 허공에 시각화 되는
거는 불가능하다 해서 저희가 실
공간에 무안경 형태의 3차원 영상을
가시화할 수 있는 무안경 Mr
프로젝터를 만들 수만 어떻게 맺혀요
신기하시죠 헐 그러면은 공간의 어떠한
세팅이 없이 저 프로젝터만 있어도
제가 되는 거예요네 여기서 보이는
나비는 홀로그램이 그요 저기 식물은
실제 식물입니다 그래서 식물이 위치한
실 공간에 홀로그램 아 이거 뭐
이렇게 유리 통이나 이런게 있는게
아니고요 아니요 이거 보시면 알 수
있는데요 눈앞에 고글의 카메라로 찍은
것도 아니고요 현장에서 보여주 있는
홀로그램을 카메라로 촬영한 겁니다
이런 천재들 신기하시죠 와 이렇게까지
된다고요 생각보다 컬레네 너무 좋아요
스타워즈 저리 가는데요 다음 보실까요
아까 디지털 휴먼을 만들 수 있다는데
디지털 휴먼을 만들면 이런 식으로
제가 처음에 소도에 말씀드렸던 홀로
포테이션이 실제로 구현이 될 수가
있습니다 이게 어떻게 가능하지 저기
보시면 피규어하고 실제로 홀로그램이
같은 공간에 존재하고 있는 거고요
이걸 입체감을 표현하기 위해서
카메라를 이렇게 좌우로 이동하면서
운동시차 물체 측면을 이제 찍어서
입체감을 이제 표현하고 있는 겁니다이
정도 수준까지 개발이 되었 고요
이거를 조금 더 대형화 시켜서 실제
사람의 크기로 만든다면 정말로 우리가
홀로포테이션이 되는 거죠 순간 이동
홀로그램으로 할 수가 있는 겁니다
사실은 실 공간에 홀로그램이 시각화
한다라는 것은 그 제가 무학교
Mr이라고 말씀드렸었는데 단순히
무학교 Mr 구현한다는게 끝이
아니고요 저희가 생각할 때는 굉장한
의미가 있습니다 예를 들어서
홀로그램이 구현되는 실 공간에 아무런
간섭 요인 제한 요인이 없지 않습니까
학기가 없으니까 홀로그램을 이렇게
만질 수 있는 환경이 제공되는 거예요
그요 그래서 지금 보는 영상처럼
나비에 위치한 공간에 손이 다가갈
수가 있거든요 그렇다고 해도 내가
만져지는 건 없겠지만서도 그래서
만지고 싶지 않요 아 있죠 있죠 너무
만지고 싶죠네 그래서 저희가 무안경
Mr 프로젝트를 만들고 있다라고
했는데 그다음 프로젝트로 이제
개발하고 있는게 이름 짓기를 텐저블
홀로그램이라고 해서 만질 수 있는
홀로그램 질감이 느껴진다고
질감이라고까지는 하기 아직 힘든데요
뭔가 있구나라는 초실감 느낌을 줄 수
있는 기술을 개발하고 있습니다 와
신기하긴 하다네 저렇게 나비가
날개짓을 하면은 바람도 느껴져요 바람
정도는 묘사할 수 있어요 그것만
묘사해서 대박인데요 어 제가 생각할
때는이 기술이 정말 완성만 된다면
위래 자동차에 필요한 차세대 터치
인터페이스가 될 수 있을 것 같아요이
그림에서 묘사된 거 같은 건데요
요즘에는 전기차 시대로 넘어가면서
센터페시아가 간소화되고 있거든요
디지털 방식으로 이제 바꿔 나가고
있는데요 아쉬운 점은 디지털이다
보니까 실감 효과가 없잖아요 실제로
만지는 느낌도 있고 좀 더 그 도
화려하고 그림에서 묘사되는 거 같은
장면을 원하는데 아직은 이런 기술이
실용화가 안 됐기 때문에 못 하고
있는 거죠 만약에 텐저 홀로그램이
가능하다면 저 생각에는 미래 자동차
센터페시아의 기존의 인터랙션 장치를
대체하는 기계적인 버튼을 다 대체하는
용도로 사용될 수 있지 않을까
생각하고 있습니다 실제로 자동차
업계에서는 차세대 인터페이스 장치를
개발하기 위한 노력을 하고 있고요
지금 영상은 DS 오토 오피스라는
자동차 회사에서 이런 초음파 해택을
이용해서 공기 중에 에어 터치가
가능한 인터페이스 장치를 를 만드는
거예요 근데 아쉬운 점은 디스플레이는
전통적인 2d 디스플레이라 2d
디스플레이를 보면서 공기 중에이
버튼이 있구나 상상하면서 만져야
되는데 초음파 해틱 센서를 이용해서
실제로 공기주의 저항을 만드는
거거든요 그 저항은 또 사용자가
개발자가 설계를 할 수 있습니다 아까
바람 효과 말씀하셨는데 바람도
가능하고요 어느 정도 형상 뭐
동그라미 네모 세모 이런 것도 만들
수가 있습니다 여기까지 왔는데 저희가
어떻게 했을까요 모르죠 알면 재미없어
실제로 저희가 총 틱 선을 부착해서
저희 Mr 프로젝터고 직접 만질 수
있는 홀로그램 초기 모형까지
만들었거든요 그래서 아까 제가
말씀드렸던 차세대 미래 자동차에 쓸
수 있는 차재 인터페이스 장치를 다음
동영상으로 보여 드리겠습니다 홀로그램
버튼이 오브젝트라고 붙여져 있는
편말단 허공에 실제로 구현이 되고
있는 장면이고요 저거를 터치를 하게
되면 저런 식으로 실제로 터치감도
느껴지고 터치감이 느껴져요네 만지면
로그램이 있구나라는 촉감을 제공하는
방식입니다 눌러 보고 싶다 저도
경험을 보고 싶어요 상당히 사실 안
가요 이렇게 눌렀는데 뭔가 꾹 하는
느낌이 드는 거잖아요 저 가면 할 수
있나요네 저도 되로 거 황성 님은
무조건네
가능하죠 신기하죠 저희가 계속 발전된
형태의 이제 무안경 홀로그램 설명을
드렸었는데 현재 여기까지 와 있습니다
계속 말씀드리는게 지금은 미전 프로
같이 뭔가 쓰고 보는게 아니고요
맨눈으로 실 공간에 제한되는
3,000 홀로그램을 보면서 맨손으로
만지면 만지는
촉감까지지 시야각 문제 시야각 문제는
아까 제가 말씀드렸 어떤 방법으로
트래킹을 쓰면 조금 확장할 수가
있고요 만약에 트래킹을 쓸 수 없는
환경이면 어쩔 수 없이 점수를 늘려서
시야가 넓히 수밖에
없습니다네 이렇게 3차원 디스플레이의
그 한계 그리고 한계를 돌파하는 연구
한계 돌파가 가능하면 어떻게 활용
가능한지에 대해서 말씀을 드렸었고네
이제는 AI VR hmd 넘어가시죠
그렇죠 이제 무한 경이었습니다 이제
arvr 쓴 것들은 어떻게 더 발전을
하는지 그렇죠 비전 프로 얘기를 안
할 수가 없는데요 비전 프로가
나오면서 다른 기업도 아니 애플이
만들어서 굉장히 주목을 많이
받았거든요 네네 방향을 많이
일으키기도 했지만 애플 비전 프로가
나오고 나서 얼마 안 지나서
안타깝게도 이렇게 환불 사태가
발생했어요 미국에서는 엄청나게 많은
부정적인 뉴스가 많이 나왔는데요
이처럼 AI V hmd 대중화가 힘든
이유가 사실은 영상 멀미 때문이에요
그죠 눈앞에 디스플레이를 되기 때문에
실세계에서 우리가 실제 물체를 볼
때는 양안이 화 물체를 이렇게 보게
되면 수렴하게 되는데요 이때 형성되는
수렴 각을 통해서 수렴 가 나오고요
동시에 수용체 두께가 바뀌어서 초점을
맞추게 되는데 이때 초점 거리가
나오게 됩니다이 초점 거리와 수렴
거리가 항상 일치하게 되거든요 지금
그림에서 가장 왼쪽에 있는 이제
우리가 일반적으로 보는게 맨 왼쪽에
있는 거고 그런데 리얼라이
디스플레이를 보게 될 경우에는 어쨌든
눈이 그 양안에 의해서 양한 시차
영상을 제공함으로써 입체감을 느끼게
되면 수련 과금 바뀌거든요 사실 그
영상을 제공하는 디스플레이는 눈앞에
그대로 고정되어 있는 거죠 입체감이
바뀌면 수 거리는 계속 바뀌는데 초점
거리는 거기에 맞춰서 바뀌는게 아니고
고정되어 있습니다 아 초점 거리가
고정되어 있다 보니까 멀미가
생기는구나 그래서 실세계에서 발생하는
기재와 다른 기재가 발생하는데 사람은
어쨌든 적응하는 동물이고 이상한
기재에 적응하기 위한 노력을 하게
되는데요 스트레스가 발생하는데이
스트레스가 사실 멀미로 들어오게 되는
거죠 왼쪽은 실세계에서 발생하는
음식점 이동이 멀리 있는 물체를 보나
가까이 있는 물체를 보나 수영 차의
두께가 바뀌어서 초점 거리가
자연스럽게 바뀌게 되는데요이 VR
제공하는 영상을네 게 될 경우에는
만약에 vrs 쓰고 있는 초점 거리가
원거리에 맞춰져 있다면 가까이 있는
물체는 양하 시차에 의해서 가까이
있는 물체를 볼 수 있는데 초점은
계속 멀리 아 멀리 있는 걸로 맞춰져
있구나 초점 거리가 문제가 되는구나
그래서 여기서 발생하는 감각적인
부작용 때문에 어지럽기도 하고 사실
이게 VR이 아니고 AR 오게 될
경우에는 더 큰 문제가 되는게
무엇이냐면은 가상 영상과 실물 객체를
동시에 보는 환경이 아아 그래서 가상
영상 볼 때는 뭐 그렇게 오케이라고
쳐도 실물 객체는 다행한 깊이에
존재하는데 네 그 다한 깊 있는
객체를 볼 때 가상 영상을 동시에 볼
수가 없는 거예요 자동차 HUD 같은
경우에도 우리가 쉽게 경험할 수
있는게 계기판 정보를 받다가 실제
세계 바깥 세계를 봤다가 그
불필요하게 시선 이동이 발생합니다
그래서 AI 같은 경우는 어지러움
증도 있지만 초점 거리 가변이 안
되면 긴박한 영력에 쓸 수가 없는
거죠 운이 왔다 갔다 해야 되기
때문에 그래서 한계가 있습니다 그러한
이유로 사실 AI VI 기술이
아직까지는 대중화가 되기는 어려워요
그래서 게임이나 체험하는 정도에
새로운 경험 하고 하고 싶다 하는
용역에서 제한적으로 쓸 수 있는
환경인 것이죠네 초점 조절을 할 수
있는 기술에 대한 많은 연구가
시도되고 있는데요 보시는 것 좀 세
가지가 대표적인 방식입니다 사실 더
많은 방식이 있는데 세 가지가
대표적이라고 할 수가 있고요 베리
포컬 방식이라고 하는 거는 아까 제가
수렴 거리에 맞춰서 초점 거리가 가변
되어 된다라고 했는데요 우리가이 수렴
거리를 알면 수렴 거리에 맞춰서
실제로 초 거리 정확히 초점 거리를
가변시키는 방식이고요 멀티포컬 방식은
모든 초점 거리를 가변시키는게 아니고
여러 개 의 초점 거리를 강화해서
제공을 하고 응시 거리가 정해지면
가장 가까운 초점 거리를 스위칭해서
제공하는 방식입니다 라이트 필드
방식은 한쪽 눈으로도 초점을 맞출 수
있는 깊이 단서를 여러 개 시점
영상을 동공 하나에 제공함으로써
초점이 형성되도록 하는 방식인데요
보시는 것처럼 여러 개 시점 영상을
제공해야 되기 때문에 영상의 해상도가
감소되는 그런 문제 단점이 있습니다
지금은 베리 포컬 방식을 설명을
드리고자 합니다 아직까지이 방식들은
상용화된 제품에는 적용되지 않았고요
연구진 들이나 학교에서만 연구하고
있는 상황입니다 메타가 구
페이스북인요 페이스북에서 오큘러스를
인수를 했죠 그래서 메타에서 SNS
같은 거 운용하기도 하지만 이런
식으로 레스도 만들거든요 보시는
방식은 전자식으로 초점을 가변시키는
방식이에요 저기 앞에 있는 렌즈
하나가 GP 렌즈라고 해서 지오메트릭
페이즈 렌즈예요 이거는 전압을 가하게
되면 굴절율을 가변시킬 수 있는
복굴절 렌즈고 렌즈 하나당 초점
거리를 두 개를 가지는 거예요네
보시는 것처럼 렌즈를 여섯 개를
적층으로 하게 되면요 2의 6승 64
개인데요 64개의 초점 거리를 저런
식으로 GP 렌즈를 선형 조합을 해서
이게 제공할 수가 있습니다 이게
적용된 VR 기기의 화면을 보게
되면요 왼쪽은 아까 제가 말씀드렸던
것처럼 그 이게 64개의 다양한
초점을 만들어 낼 수 있는 거죠 2의
6승으로 그래서 다양한 초점을
만들어지는게 오른쪽에 보고
계십니다네네 그래서 이거를 실제로
적용을 하면은 어떻게 보이는지가
이렇게 나오는 거죠네 그래서 왼쪽이
그 베리 포커를 적용하지 않았을 때
구체는 가까이 왔는데 초점은 그대로
있기 때문에 흐리게 보이는데 오른쪽
영상 같은 경우는 관심 객체가 가까이
오게 되면 양한 시차에 의해서
입체감이 느껴져서 가까이 오지만
초점도 앞에 치이 돼서 선명하게
보이는 그런 경험을 제공할 수가
있습니다 이거를 Al hmd 적용할
수가 있는데요 ari 부분은 아직까지
이러 연구가 많이 소개된게 없어서
저희가 직접 연구하고 있는 걸 가지고
왔습니다 어 앞서게 제가 메타 방식은
전자 식이라고 말씀드렸었는데 저희는
기계식 방식을 쓰고 있습니다 그래서
AR 부분이 다른 점은 눈앞에 가변
초점 렌즈를 달 수가 없어요
왜냐면은은 실수로 광학계를 통해서
실물도 봐야 되는데요 초점 가변식
렌즈를 달게 되면 실물도 이상하게
보이겠죠 가상 영상만 초점이 혀
되는데요 그래서 그 투명 과학계는
그대로 그 투명하게 유지를 하고요
저희 같은 경우는 마이크로
디스플레이를 저 장치의 상단에 배치를
하고 이거를 이제 버드 베스
방식이라고 하는데 가운데 하프 미러가
존재합니다 위에 있는 마이크로
디스플레이 에서 제공되는 가상 영상이
하프 미러를 통해서 눈앞에 보이는
방식인데요 플로팅 디스플레이
방식이라고 보셔도 되는데요 저
마이크로 디스플레이를 실체로 매우
종교한자 써서 기계식으로 초점 거리를
바꾸는 장치를 만들고 있습니다 그래서
이걸 하기 위해서 중요한 점은 아까
수렴 거리를 알아야 된다라고 했는데
그렇기 위해서 이런 장치 아래에 매우
작은 아이 트래킹이 가능한 카메라가
들어가 있어요 그네요 사실 돈이 좀
있으신 우리 교수님들께서 만약 고가의
AI vii 장치를 사셨으면 이미 그
아이 트래커가 들어가 있다는 거 아실
거예요 지금 나와 있는 상용품 쓰고
있는 아이 트래킹은 가상 영상과 그
인터랙션을 하기 위해 쓰고 있거든요
근데 사실은 그 목적만을 위한게
아니에요 저희가 하는 것처럼 사용자의
수렴 거리 정보를 추적을 해서 수점
거리를 바탕으로 초점 거리를
가변시키는 멀미가 안 나게 하기
위한네이 가변 초점 기술을 적용하기
위해서 아이트래킹 기술이 필요하고
그게 먼저 들어가 있다라고 생각하셔도
좋을 것 같습니다 그래서 매우 작은
카메라를 통해 에서 동공을 촬영하게
되고요 동공의 중심에 위치를
추적하거나 법선 벡터를 그려서
교차하는 지점을 수렴 거리로 계산을
하게 되고요 좌측 상단의 응시점이
맺히는 거 이제 표현한 영상이
있는데요 원거리 타겟 가까이 있는
타겟을 바라볼 때 이처럼 응시점이
저기 있다는 걸 알 수가 있고 응시
거리를 동시에 알 수가 있는 거죠
그다음은 아까 기계식 베리 포컬
모듈이 있다라고 말씀드렸는데 그것과
응시 거리 아이트래킹 모듈을 연동해서
사용자가 보는 위치에 증강 영상을
이런 식으로 제공할 수가 있는 겁니다
그래서 저 화분과 타겟은 실물 객체에
가까이 있는 화분을 봤을 때 화분
위에 꽃에 증강 영상을 제공할 수가
있고요네 저 멀리 있는 타겟을 보게
되면 저 위치의 지도를 저희가
띄었는데요 이러한 이제 경험을 제공할
수가 있습니다 이렇게 되면 영상
멀미도 저감이 되고 더 좋은 점은
실물 객체와 가상 영상을 동시에 볼
수가 있어서 정말 긴박한 영역 예를
들어서 레이턴시가 발생하면 안 되는
영역에 쓸 수가 있는 거죠 전쟁 이런
데서 뭐 불필요한 시선이 발생하면 안
되잖아요 그래서 이런 기술이 조금 더
이렇게 실용화되면 그다음 것들이
가능해지게 됩니다 그래서 그다음
것들이 어떤 것들이 있는가 한번
볼까요 이렇게 가변 초점이 가능해지게
되면 이러한 기술을 다과 같이
활용하려고 전 세계에 많은 그런
연구자들이 생각하고 있습니다이 영상은
미군에서 만든 영상인데요 개인 병사
책에 적용해서 개인 병사가 볼 수
없는 것을 볼 수 있게 만들고 인지할
수 없는 것을 인지할 수 있게 해주는
스카우트하고 거 유사하다고 볼 수가
있죠 중앙에서지도 를 제공해 주게
되면요 눈앞에 증강 현신 정보로 어
진짜 가는구나 어디로 가야 되는지를
이렇게 알려줄 수가 있고요 길 칠
수도 있잖아요 근데이 어두울 때
테러범이 이제 인질 구하러 갈 때 아
말씀 잘하셨는데 그 밝기 조도 같은
것도 보상이 됩니다 우와 야시경 같은
것도 증강해 줄 수가 있거든요
마지막에 저 보시면 타겟이 나오는데
타겟을 발견하게 되면 저게 정말
타겟이다 거를 또 알려주는 그러니까요
타겟이라고 딱 떴어 그런데 가변
초점이 되면 저 타겟 위체 정말 그
가상 증강 현실 도움 정보가 제공될
수가 있는 거죠 지금 영상은 사실
컨셉 영상이에요 그래서
컨셉이어서 같네요 깜박 이렇게
하겠다라고 하는 개념을 묘사한 그래픽
영상이고요 실제로 미군에서 만들고
있는 스카우터 할 수 있는 아이바스
장치인데요 보시면 아시겠지만 사실은
마이크로소프트 사이의 홀로 레인지를
계량해서 이런 아이바스 장치를 만들고
있고요 저게 지금은 이제 고글
형태예요 아직 글래스 형태는
아니고요네 그래서 저게 VR 아니고
마이크로소프트 홀로 렌즈를 계획했기
때문에 Mr 장치 그든 그래서 시스루
형태의 광학계를 통해서 실 세계도 볼
수가 있고 가상 영상도 중간 현치
형태로 볼 수가 있고 그 위에 이제
무수히많은 여러 가지 센서가 탑재되어
있는 거죠 아직은 아이바스 구동되는
장면이 공개되지 않아서 많이 궁금하실
텐데요 이거는 이제 그 아이바스
이전에 미군에서 공개한 ari 타입의
야간 투시경이에요 그래서 아바스는이
Al 야간 투시경 기능을 다 포함하고
있고요 추가적으로 지금이 Al
야간투시경은 이투 시경과 함께
스마트폰을 함께 쓰는 구조예요 어
스마트폰으로 어떤 정보를 보고 야간
투시 경으로 네트워킹을 통해서이
정보를 여기에 올려서 보는 식인데요
아바스는 이제 스마트폰도 필요가 없는
거죠 이미 거기 안에 컴퓨터가
탑재되어 있기 때문인데요 AR
야간투시경은 실제 영상이 있습니다
이거 한번 보실까요네 자 어떠세요 오
실제로 야간투시경 화면에 열화상
카메라로 이제 인지되는 정보를
오버레이 해서 증강 현실로 보여 주는
것이고
능어 정광 그 처 보여는면 보는겁니다
실제 게임에서 묘사된 이런 장면이
실제로 미군 개인 평사 체계에는
제공되고 있고요 이런 식으로 아까 그
스마트폰 기능을 네트워킹을 통해서
증강 영상으로 제공할 수 있다라고
했는데 그 방위 정보나 여러가지 배틀
매니지먼트 정보 같은 경우도 증강
영상으로 제공 받을 수가 있는 것이죠
그래서 지금 이제 이게 스마트폰을
보면서 야간투시경 동시에 이제 보고
있는 장면인데요 바스에 실제 구동되는
장면이 공기가 안 됐지만 스마트폰도
필요가 없는 거죠 이것도 굉장히
애들하고 어떻게 싸워 진짜 심한데요네
그 아이바스 이미 스카우터와 거의
유사하다는 거 알 수가 있는데이
기술은 이스라엘 군에서 이제 만든
기술인데요 탱크에서 증간 현실 hmg
착용해서 탱크 안에서 탱크 밖에 넘어
상황을 탱크의 벽을 투시를 해서 볼
수 있는 자체예요 오 투시를 한다고요
탱크 안에 들어가면은 창문이 없어서
박을 볼 수가 없잖아요
아할 예 길를 알려준다고 근데 그게
아니라 그냥 저 안경을 끼 앞이
보인다는 거예요 그래서 그 탱크를
운용할 때 전장이나 조종수가
상황인지를 위해서 해치를 열고 나가서
볼 수밖에 없는 환경인데요 그때 꼭
피격 당할 확률이 이제 올라가는 거죠
그런데이 첨단 AI V hmd 장치를
써서 탱크 안에서 탱크 바깥 나가지
않고도 탱크 벽 너머의 바깥 세계를
볼 수 있는 기술을 개발하고
있 hmd 장치를 쓰게 되면 이런
식으로 탱크 안에서 바 오 이거
진짜예요이 장면 자체는 진짜일 거예요
뒤에 가면은이 여러가 합성 영상도
나오긴 하거든요 추가적으로 투심
하는게 아니고 인공지능으로 인식한
객체 식별 정보를 제공받을 수도 있는
거 와 저기가 타겟이다 뭐 여기긴
아군이다 이런 그 아군이다 뭐
적군이다 이런 걸 알려줄 수도 있는
거죠 와 그래서 이거를 로컬
시츄에이션을 웨니 시스템이라고 해서
엘사스 혹은 사스라 부르기도 하는데요
hmd 기술이이 용해서 마치 탱크
안에서 바깥을 보는 거 같은
자연스러운 실제감 있는 영상을 볼 수
있는 시대가 되었다 그래서 되게
신기하고 정말 대는 기술인가 아마
궁금하실 텐데요 예 그래서 저희
키스에서 실제이 기술을 개발해서
저희가 촬영한 영상을 가지고 왔거든요
저 헬멧이 저희가 국내 기업하고 같이
만든 탱크 안에서 탱크 바깥의 상황을
투시해 볼 수 있는 스 기술 적용된
AR hmd 헬멧이 그요 저희는
탱크가 없기 때문에 용 차량에다 이런
장치를 세팅을 했고요 사용자가 헬멧을
쓰고 보게 되면 안에의 장면이
보이시죠 사람이 지나가는데 헬멧을
쓰면 이런 식으로 마치 차 벽을
넘어서 투시해 바깥 세계를 보는 거
같은 장면을 제공해 줄 수가
있겠습니다 추가적으로 인공 지능이 전
지나가는 객체가 바람이라고 알려주고
있죠 어 그러네요 그리고 다음 영상
보시면요 정지된 상황이었는데 당연히
기동 중에도 운영할 수가 있습니다
그래서 차 안에서 이런 식으로
자연스럽게 바깥을 볼 수가 있고요
우와 이게 지금 다 막힌 거죠 막힌
거로 보는 거죠 그렇죠 이렇게 볼
수가 있고 자동차뿐만 아니고 비행기나
다른 모빌리티에 당연히 적용할 수가
있고요 나중에는 무인으로 다 대체가
될 건데 무인기 드론 무인 로봇 같은
거에도 이런 걸 다 탑재를 해서네
자기는 몸은 안 가지만 무인기가 가서
활동하게 되면 그 주변 상황을
360도를 실제감 있게 볼 수 있는
기술로도 활용할 수가 있습니다 오늘
랩 미팅에서는 첨단 기술이 이렇게
개발되고 있고 활용되고 있다이 얘기를
말씀드리고 싶어서 최대한 저희가 직접
수행하고 있는 연구 위주로 그 실사
영상 위주로 오늘 랩미팅을 준비를
했고요 어떠신가요 제가 처음에 괜히
이렇게 드래곤볼을 말씀드린 거 같긴
한데 드래곤볼에서 묘사된 순간 이동
스카우터 같은 기술을 홀로그램 기술로
어느 정도 만들 수 있다라고
말씀드렸었는데 동의하시나요 저는 어느
정도 된 거 같아요 예 진짜로
스카우터는 이미 넘은 거 같은데
스카우터 정도는 그래서 처음 제가
드래곤볼 속에서 순간 이동 능력이
굉장히 부러웠다고 말씀드리면서 플로
포테이션 기술이 순간 이동의 기 에
대신 할 수 있다라고 말씀드렸었는데
오늘날 저희 캐스트가 개발한 거 같은
이러한 식의 홀로 포테이션이 완벽하지
않지만 이미 이제 구현이 되어서 계속
발전시켜 나가고 있는 상황이고요
스카우터 같은 경우에는 아이바스
엘사스 같은 기술을 통해서 실제로
군에서 거의 유사한 수준에 기술을
이미 개발 완료하고 있고 이제 이거를
좀 더 경쟁적으로 고도화시키고 있는
상황이다라고 말씀드릴 수 있겠습니다
인내심을 가시고 아저시 교수님들께
정말 감사드립니다 아네 아 오늘
홀로그램 하면은 사실은 이렇게 좀
나와 있고 그냥 보고 이런 것들이
다였는데 생각보다 연구를 해 가지고
활용되는 분야도 많고 그다음에
활용하는 목적도 명확하고 생각보다
훨씬 더 그 기술이 지금 발전되어
있다 물론 상용화가 안 돼서 많은
사람들이 경험하고 있지는 못하지만 그
정도 기술이 있다는 걸 오늘 새롭게
알게 됐습니다 어떠셨습니까네 이렇게나
훌륭한 연구를 하고 계신지도 사실
몰랐지만 저희가 이렇게 이런 소중한
기미를 알아도 되는 건지 싶을만큼
너무 대단한 연구였습니다 근데 되게
신기한게 출시도 시였습니다 제일
신기한 건 그 나비 떠 있는 거 진짜
막막 옷디 맺히지 않는데 현실에 그냥
우리가 흔히 보는 홀로그램 유리 틀이
아닌 와 고기에 매치는 거 저 한번
키스에 가보도록 하겠습니다
느낌으로네네 오시면 언제든지 저희가
체험할 수 있도록 제 준비해
놓겠습니다 아네 너무 감사합니다 오
연락드릴게요 최구다 박사님
어떠셨습니까 이렇게 처음 나와서
이렇게 해보니까 너무 생경한
경험이었는데 한편으로는 저희들끼리 늘
하던 얘기를 이렇게 속시원하게
대중들을 통해서 할 수 있는 기회를
주셔 가지고 너무 감사하고요 이걸
통해서 일반 대중들이 이게 첨단
홀로그램 기술을 너무 어렵게만
생각하지 마시고 조금 이해를 바탕으로
홀로그램 기술이 우리 삶에서 어떻게
활용될 수 있구나 어 이런 생각을
가지고 가셨으면 좋겠습니다 와
홀로그램을 솔직히 말해서 우리나라에서
이렇게 따로 연구를 하고 있다는 것
자체도 몰랐는데 이미 여기서 연구를
하고 있는 내용 내용들이 엄청나다
기술이 너무 생각보다 발전돼 있다
특히 그 나비는 충격이었습니다네 오늘
조금 길어졌는데 길어진만큼 또 엄청난
기술력이라는 새로운 경험들을 우리가
접할 수 있었고 우리나라의 홀로그램의
기술이이 정도까지 되어 있었다라는 거
오늘 여러분들 세삼 느끼셨을 겁니다
그래서 엄청나게 중요한 연구를 하고
계신 강민구 박사님 다시 한번
감사드리고 그럼 오늘 여기서 마치도록
하겠습니다 인사할 시간도 많습니다
여러분의 시간을 낭비해 드려요
느리지만 쿨한과 랩 미팅이었습니다
감사합니다
교수님들 감사합니다
