안녕하십니까? 저는 UNIST 전기전자컴퓨터공학부의 신재영입니다.

오늘 저희 연구진이 최근에 수행한 연구결과에 대해서 브리핑하도록 하겠습니다.

저희가 이번에 수행한 연구는 실세계에 대한 3차원 공간정보, 영상정보를 어떻게 손쉽게 취득하고 처리할 수 있는가에 대한 연구를 수행하였습니다.

먼저, 본 연구와 관련해서 배경지식으로 '라이다(LiDAR) 스캐너'라는 장비에 대해서 먼저 소개를 해 드릴 텐데, 우리가 실세계에 대한 3차원 공간정보를 얻는 다양한 기술들이 있습니다.

대표적으로 카메라 영상을 이용해서 이제 정보를 추정하는 컴퓨터 비전 기술이 있는데 최근에는 라이다 장비라는 것이 활용이 되고 있습니다. 이 장비의 원리는 센서에서 레이저 펄스를 피사체에 조사하고 피사체에서 돌아오는 레이저 펄스의 시간을 계산한 다음에 빛의 속도와 시간을 알 수 있으니까 피사체까지의 거리를 측정하는 그런 장비가 되겠습니다.

그래서 이러한 라이다를 활용을 하면 우리가 실세계에 대한 아주 정교하고 정확한 대용량의 3차원 포인트 정보들을 얻어낼 수 있다는 장점이 있습니다.

그래서 그림에 보이시는 이 데모가 저희 UNIST 캠퍼스를 라이다 스캐너로 취득해서 3차원으로 visualize하는 경우를 보실 수가 있겠는데요. 보시는 것처럼 우리가 일반적인 2차원 사진과 달리 임의의 시점에서 사용자가 볼 수가 있고 내비게이션을 할 수가 있고 그런 특징들이 있습니다.

그런데 이렇게 내 주변 공간에 대한 3차원 정보를 손쉽게 얻을 수 있는 기술이기는 하지만 이 기술에는 치명적인 문제점이 하나 있습니다.

어떤 문제가 있냐면 우리가 요즘에는 이제 건물이나 여러 가지 구조체들이 내외벽면을 유리로 하는 경우가 많이 있는데 이 유리를 통해서 피사체를 촬영할 때 반사돼서 나타나는 상의 왜곡을 발생시킨다는 겁니다.

그래서 2차원 영상 같은 경우에도 보이시는 것처럼 내가 유리창 너머의 나무를 찍고 싶은데 유리창 건너편의 사람이 같이 찍혀서 영상의 왜곡을 발생시킬 수 있는 겁니다.

그런데 2차원 영상에 대해서는 이런 왜곡을 제거하는 연구들이 많이 이루어졌습니다. 그런데 저희 연구진 같은 경우는 '이 라이다 스캐너도 빛의 원리를 이용하는데 그러면 유리를 통해서 3차원 정보를 취득할 때는 어떤 왜곡이 발생할까?'에 초점을 두고 한번 관찰을 시작했습니다.

그랬더니 보시는 것처럼 이렇게 까맣게 색칠된 게 실세계에 실제로 존재하는 피사체라고 할 때 여기에 유리가 존재하게 되면 레이저 펄스가 유리에 반사돼서 되돌아가서 반대편에 있는 상을 찍어오기 때문에 그림에서 보시는 것처럼 이렇게 회색형태의 거짓된 허상을 공간상에 생성한다, 라는 이런 단점이 있습니다.

그런데 이런 경우는 내가 실세계에 대한 정확한 3차원 정보를 얻고자 할 때 왜곡으로써 굉장히 심각한 문제가 되는 것이고 실제 저희가 데이터를 취득을 했을 때도 보시는 것처럼 실제 건물이 이렇게 파란색으로 색칠된 유리면 반대편에 허상으로 새로운 건물이 하나 생겨 있는 이런 것을 보실 수가 있습니다.

그래서 '이런 것을 어떻게 효과적으로 검출하고 지울 수 있을까.' 이런 부분에 착안을 해서 연구를 시작하였습니다. 그래서 수행되는 연구에 대해서 전반적인 플로어를 저희가 동영상으로 만들어서 한번 보여드리면.

일단은 라이다 스캐너가 360도 돌아가면서 나를 주변으로 한 주변 환경에 대한 3차원 정보를 취득하는 장비입니다. 그래서 여기에는 유리가 존재할 수도 있고 존재하지 않을 수도 있기 때문에 먼저 유리가 어떤 부분에서 존재하는가 이거를 판단해야 됩니다. 그런데 유리가 존재하지 않는 피사체는 정상적인 데이터가 취득이 되기 때문에 유리가 존재하는 영역만 선별적으로 판단을 해야 됩니다.

그런데 보시는 것처럼 일반적인 피사체는 반사가 한 번 정도 일어나지만 유리는 빛이 투과도 하고 반사도 이루어지기 때문에 하나의 레이저 펄스가 다수의 산란광을 발생시킨다는 정보에 착안할 수 있고 그래서 이러한 특성을 확률적으로 모델링을 해서 유리 영역을 자동으로 검출하는 알고리즘을 개발했습니다.

그리고 저희 알고리즘의 특징은 복수의 유리면이 존재를 하는 경우에도 각각 유리면을 인식해서 검출을 할 수 있다, 라는 특징이 있고 그림에서 보시는 것처럼 다양한 형태의 벽면의 유리가 이렇게 검출돼서 색칠로 표현되어 있는 것을 보실 수가 있겠습니다.

그러면 이제 이렇게 유리가 검출이 되고 났을 때 이제 실제로 그 해당 유리면에 대해서 반사된 왜곡 포인트를 검출을 해서 자동으로 제거하는 알고리즘을 개발해야 되는데 이제 다음과 같은 사례를 예를 들어 보시면 실제 검은색 화분이 여기 있는데 두 개의 유리면에 반사가 일어나서 회색 형태의 거짓된 상이 생성됐다고 가정을 할 수가 있습니다.

그러면 우리가 이것이 거짓된 상인지 거짓되지 않은 상인지를 판단을 해야 되는데 그래서 유리면에 의해서 우리가 발생할 수 있는 모든 반사패턴들을 다 계산을 합니다.

그래서 그림에서 보시는 이 경우에는 총 4개의 반사 경로가 발생을 하는데 이 4가지 반사경로 중에 이것이 허상이라고 하면 대칭되는 유리 위치에 비슷한 형태의 진상이 존재해야 되고 그 비슷하다, 라는 개념이 영상처리 관점에서는 형상적인 특징이 비슷하다는 것입니다.

그래서 우리가 대칭성과 기하적인 대칭성과 그다음에 형상적인 유사성을 근간해서 각각의 경로에 대한 스코어를 매기고 최적의 스코어를 나타내는 경로를 추정함으로써 각각의 포인트에 대해서 허상 여부를 판단할 수가 있습니다.

그래서 그림에서 보시는 이 빨간색이 허상이다, 라고 detect된 그런 점들이라고 보실 수 있겠습니다.

그래서 실험결과를 한번 보시면, 이 위에 있는 것이 실제 내가 촬영한 영상영역에 대한 파노라마뷰라고 보시면 되겠고요. 이렇게 파란색으로 색칠된 부분이 3차원 영상에서 검출된 유리영역이 되겠고, 붉게 표시된 영역이 반사돼서 나타내는 왜곡영상입니다. 그래서 왜곡영상을 자동으로 찾아서 검출해서 제거하는 기술이 되겠고.

이렇게 식물원 같은 경우에도 식물원 외관이 다 유리로 되어 있습니다. 그러니까 밖에 있는 나무가 식물원 안에, 또 밖에 있는 건물이 식물원 안에 이렇게 들어가 있다고 나타나고, 이런 것을 역시 자동으로 찾아서 검출하는 그런 결과를 보실 수가 있습니다.

이 경우도 스포츠센터인데 건물 외벽에 바깥쪽에 자동차나 사람들이 많이 다니고 있는데 그런 경우에 반사돼서 건물 안쪽에도 자동차가 있고 이렇다, 라고 거짓된 정보를 나타내는 경우가 되겠죠. 그래서 이 경우도 자동으로 찾아서 이렇게 반사되는 왜곡을 제거할 수 있다. 그래서 3차원 영상에서 왜곡 제거를 할 수 있다, 라는 결과를 보여드리고 있습니다.

그러면 저희가 이렇게 수행한 연구가 어떤 기술적인 의의를 갖는가? 라고 말씀드리면, 일단 아시겠지만 ICT 분야 연구라고 하는 것은 많은 부분의 연구주제들이 있고 그 주제를 서로 많은 경쟁, 연구기관들이 서로 경쟁하면서 더 좋은 성능을 나타내는 기술을 개발하고 이런 식의 연구가 많이 이루어져 있습니다.

그런데 저희가 이번에 수행한 연구는 라이다라는 장비를 통해서 얻을 수 있는 대용량의 3차원 영상에서 유리로 인해서 발생할 수 있는 왜곡이 문제가 된다는 것을 최초로 그 문제를 규명을 했고, 그러다 보니까 기존에는 이것을 해결하는 연구 사례가 없었던 겁니다. 그래서 저희가 최초로 이것을 자동으로 검출해서 제거하는 알고리즘을 제안을 하였습니다.

또한, 이게 처음 저희가 셋업해서 진행하던 문제이다 보니까 기존에 이런 문제를 풀 수 있는 실험 데이터가 하나도 없습니다. 그래서 저희가 라이다를 가지고 직접 여기저기 다니면서 유리반사가 일어나는 실험 데이터도 찾아서 구축하고, 알고리즘의 성능을 평가하는 방법론도 직접 다 셋업을 하였습니다.

그래서 이런 측면에서 보면 앞으로 활용 가능성이 높은 3차원 영상의 왜곡을 보정하는 원천기술을 확보했다는 데 큰 의미를 둘 수 있을 것 같습니다.

그리고 저희가 수행한 연구결과가 작년과 올해에 이어 2개의 논문으로 지금 나가게 됐는데, 기본적으로는 과기정통부 연구재단을 통해서 중견 연구자 지원사업으로 본 연구를 수행하였고요.

작년에 IEEE 컴퓨터 비전은 Pattern Recognition이라는 학술대회 논문을 발표했는데 이 경우는 인공지능 분야에 거의 탑 콘퍼런스로 랭킹이 되어 있습니다.

그리고 지난달에 온라인으로 발표한 논문이 ‘IEEE Transactions on Pattern Analysis and Machine Intelligence’라는 저널인데 이 저널 같은 경우에도 지금 JCR의 전기전자공학 265편의 논문 중에서도 1위에 랭크되어 있고, 컴퓨터 과학과 인공지능 분야 133편의 논문 중에서도 1위에 랭크되어 있는 저널이 되겠습니다. 그래서 저희 연구의 독창성을 인정받았다고 평가하고 있습니다.

본 연구는 약간 원천기술 성격이기 때문에 3차원 영상을 활용하는 다양한 분야에 적용 가능할 거라고 생각하고 있습니다. 그런데 몇 가지 사례를 생각해 보면, 요즘 많이 관심 받고 있는 자율주행자동차를 위해서 실세계와 정확하게 실세계 3차원 공간정보를 표현할 수 있는 그러한 3차원 영상을 쉽게 왜곡 없이 취득해서 활용할 수 있다, 이런 부분에 적용 가능할 거라고 생각되고요.

그다음에 실내에서도 우리가 증강현실이나 이런 어플리케이션을 위해서 실내에 대한 정확한 공간정보를 나타내는 지도를 생성해야 될 필요가 있는데 역시 이런 부분에도 활용이 가능할 거라고 생각을 하고 있습니다.

그리고 요즘에는 여러 가지 많은 가상현실이나 혼합현실 이런 어플리케이션들을 보면 기존에는 컴퓨터그래픽 기술이나 디자이너들이 직접 작업을 해서 많은 시간과 노력을 들여서 가상현실 콘텐츠를 제작하고 하는 이런 번거로움들이 있었는데, 이제 이런 기술을 활용하면 실세계에 대한 정확한 3차원 정보를 비교적 손쉽게 취득을 할 수 있기 때문에 이런 다양한 3D 콘텐츠 확보에도 활용이 가능할 것이라고 예상을 하고 있습니다.

발표 들어주셔서 감사합니다.


[질문·답변]
※마이크 미사용으로 확인되지 않는 내용은 별표(***)로 표기하였으니 양해 바랍니다.

<질문> 그 방금 마지막에 실내 말씀하셨는데요. 실내 이제 실내 GPS라고 할까요? 그런 내비게이션을 만들고 싶어 하는 시도도 많은데 사실 유리반사를 잡는 것만으로 가능한 것인지 다른 종류의 반사나 이런 게 많이 있을 거 같은데 그런 것들로 전환이 손쉽게 될 거라고 예상을 하시나요?

<답변> 물론 이제 많은 기술들이 필요합니다. 이 기술만 필요한 것이 아니고요. 실내에서 정확한 지도를 취득하기 위해서는 현재 기존에 있는 라이다 장비 자체도 이미 quality의 한계는 있습니다.

그래서 그러한 왜곡이나 또는 노이즈나 이런 것도 다 잡아야 되는데 유리면이 일어났을 때 반사라는 게 필연적으로 발생하는데 그거 자체가 기존에는 고려가 되지 않았다는 거고 저희가 이거를 문제점으로 정의하고 해결하는 연구를 최초로 수행을 한 거고 그래서 저희의 기술이 다른 어떤 노이즈 제거나 이런 기술들과 융합돼서 최종적인 결과물은 더 좋은 quality의 영상이 나올 거라고 예상하고 있습니다.

<끝>