하지만 위 기능을 위해서는 손의 제스처를 인지하고 처리할 수 있는  별도의 처리가 필요했는데 이를 위해 카메라 영상을 통해 공간좌표까지 얻어올 수 있는 3D  Depth camera 인 TOF(time of flight) camera 를 사용하여 이미지 처리를 하였다.

FOTONIC-B70 by Fotonic

SwissRanger 4000 by MESA Imaging

PMD CamCube by PMDTechnologies

.

.

.

.

.

.

from Wikidipedia

이 장비는 고유의 illumination wave 를 송출하여 반사되어 나오는 파장의 시간을 계산하여 정확하게 거리를 측정할 수 있다. 고유의 주파수를 사용하기 때문에 할로겐 조명과 같은 외부광원의 영향이 거의  없는 것과 빠른 FPS  지원이  장점이다. 하지만 상대적으로 2D camera 에 비해 상당히 고가인점이 단점으로 작용한다. 이런 TOF camera 로 부터 depth 정보가 담겨져 있는 영상을 이용해 CV(computer vision) 처리를 하여 특정 제스쳐를 검출하거나 추적할 수 있다.

이 솔루션이 검출할 수 있는 제스쳐는 기본적으로 주먹(Rock),가위(Sissors),보(Paper) 의 형태를 기본으로 한다. 손을 이용하는 제스쳐일 경우 이 세가지 형태의 제스쳐 사인이 가장 사용자가 이용하기에 편하고 인지하기 쉽기 때문에 모든 제스쳐의 구성은 이 세가지를 기반으로 설계되었다.

처음부터 이전 버전의 문제점에 대해 파악하고 같은 문제점을 일으키지 않기 위해 다각도로 고민하고 노력했지만 어느 프로젝트와 마찬가지로 결과물 그자체로서는 참 아쉬움이 많이 남았다. 아직까지 사용자가 제스쳐로 무언가를 조절한다는 생각이 조성되지 않았을 뿐더러 아무리 센서 작동이 정밀하더라도 컴퓨터는 사람만큼 인지능력이 뛰어나진 않다. 누구나 다 아는 직관적인 제스쳐 하나를 구현할려고 하더라도 절대 그것이 생각만큼 제작이 쉽지 않을 뿐더러 단지 개발자의 룰에 갇혀 간과하는 점이 무척 많다는 점이다.

사용자를 고려해 쓰기쉽게 제작하면 이 솔루션의 장점인 다양한 제스쳐를 보여줄수 없고, 그렇다고 다양한 제스쳐를 적용할려고 하니 사용자는 무엇을 어떻게 작동시켜야 할 지 모르는 상황이 반복되는 것이다.

참 어려운 문제였다. 어쩌면 영원히 풀 수 없는 문제일 수도라는 생각도 들었다. 단지 재미있고 신기한것은 기술이 발전하면 만들 수가 있다. 하지만 그것이 돈이 될 수 있는냐는 질문에는 항상 머뭇거리게 만든다.

3d sensing hologram installation from vkimone on Vimeo.

2009.3 ~ 2009.7

R&D Project – 3D Sensing Hologram Installation  (J4 ver 2.0)

Project manager : 김기정,김정헌
Planning : 김정헌,양희수,김기정,김정빈
Visual / UI Design : 김기정,김정빈
Interaction Design : 김기정,김정빈
Product Design : 박진이
3D Modeling : 신백호

view detail

거의 4개월동안 정말 미친듯이 만들고 부수기를 반복하고 수많은 시행착오를 거쳐 만들어진 Swing H…결국은 단지 R&D 성과물로서 의미를 부여할 수 밖에는 없었다. 상업적인 용도로는 이용하지 못했고 그럴만한 하드웨어및 소프트웨어 기술적인 완성도가 부족했었다. 그래도 나름대로 첫 R&D 성과물로서 그당시에는 사람들의 눈을 한번쯤은 돌아보게 만들만한 것이였으니 개인적으로 많이 의미를 둘 수 있었다.

위 타이틀에서도 알 수 있듯이 이 솔루션은 hologram 과 interaction 을 결합한 매장설치물로 만들어진 것이였다. 그 당시 hologram 이라는 디스플레이는 많이 있었다. 또한, reflection 원리의 hologram 은 그리 어려운 기술은 아니였고  단순히 2D 동영상 플레이어로만 작동되는 것이 대부분의 결과물이였다. 반면 Swing H 는 hologram 의 특징을 최대한 살릴 수 있는 3D 컨텐츠로, 그것을 또한 사용자가 원하는 대로 제어할 수 있게 User interaction 을 추가한 형태로 제작이 되었다.

엄밀히 말하자면 완벽한 hologram 이 아니기 때문에 느껴지는 이질감을 최대한 없애기 위해  컨텐츠 뿐만아니라 여러가지 하드웨어적인 설정이 골치아팠다. 기존에 익숙한 마우스와 키보드 인터페이스에서 벗어나 제스쳐를 이용한다는 점도 미쳐 생각치도 못했던 큰 벽으로 다가왔었다. 비록 마우스 형태를 대신한 반지형태의 인터페이스 였지만 그걸 사용하는 사용자는 그 차이를 전혀 인지하지 못했고, 당황하는 경우가 적지 않아 최대한 간단한 형태로 인터랙션 모델을 수정하는걸로 개선하였었다.

위 순서는 개략적인 컨텐츠 구동방식인데 최종결과물로서 보여지는 컨텐츠가 Flash 의 형태로 작업이 되었다. 필자의 주업무가 플래시 개발자이다보니 당연하겠지만 Flash 가 이러한 형태로까지 쓰일 수 있다는 점에 상당히 놀라웠었다.

개발초기에는 Processing 과 같은 인터랙티브 개발툴도 고려했었지만 그 당시에 Flash 만큼의 인터랙티브한 개발 편의성을 제공해 주는 툴도  없다는 판단하에 Flash 로 작업하게 되었다. 3D 오브젝트는 Maya 를 이용하여 제작한 후 Papervision3D 를 사용하여 구현하였다. 지금보면 어려운 구현이 아닐 수 있지만 2년전만해도 실무에서 사용하기란 쉽지 않았기에 그냥 만든것을 바라보는 것만으로도 기분이 좋았던 기억이 난다.

되돌아 보면 내가 진행했던 프로젝트중에서 가장 재미있었고 스릴넘치게 진행했던 것 같다. 마우스와 키보드에서 벗어나 새로운 인터페이스로 컨텐츠를 만든다는 것 …. 내가 늘 고민하던 것에서 벗어나 새로운 것에 눈 돌린다는 것…..이런것들이  내 가슴을 뛰게 만들었던 것 같다.

Swing H from d’strict on Vimeo.

2008.7 ~ 2008.11

R&D Project – Swing H (J4)

Project manager : 김기정
Planning : 김기정,김정빈,김주희
Visual / UI Design : 김기정,김정빈
Interaction Design : 김기정,김정빈
Product Design : 남성규
3D Modeling : 전인규

View detail