3D 포인트 클라우드의 얼굴 정규 벡터들에 기반한 RGB-D 융합

Abstract

다양한 얼굴 인식 알고리즘이 개발되고 독립형 시스템으로 사용할 수 있도록 개발되었다. 그러나 전 세계에서 강인한 얼굴 인식 시스템은 모든 보안 및 정보기관에서 여전히 꿈으로 여겨지고 있다. 2D 얼굴 인식 시스템은 조명, 다양한 얼굴의 자세, 노화와 얼굴 노출의 차단 등의 문제로 성능에 문제가 있다. 위의 문제뿐만 아니라, 2D 시스템을 사용한 실제 얼굴 존재의 입증은 불가능하다. 이러한 문제점들로 인해 얼굴인식 연구자들은 2.5D와 3D 얼굴 인식 시스템의 개발에 대한 연구를 진행하여 왔다. 이러한 시스템은 광원에 의한 실제 얼굴에서의 명암, 얼굴 윤곽, 깊이 정보 등을 사용하기 때문에 실제 얼굴 대신에 사진으로 얼굴 인식을 시도하는 것은 불가능하다. 현재까지 이미 많은 2.5D와 3D 얼굴 인식 시스템이 시장에 존재하지만, 실시간 동작의 어려움과 센서의 매우 높은 가격은 여전히 주된 문제점이다. 3D 얼굴 모델의 렌더링 과정은 처리과정이 매우 복잡하고 요구되는 하드웨어가 많다. 이러한 문제점으로 인해 2.5D와 3D 얼굴 인식 시스템을 실생활에서 사용하는 것은 쉽지않다. 본 논문에서는 키넥트 센서의 RGB-D 데이터의 알파 블렌딩의 융합을 위한 새로운 방법을 제안한다. 제안된 방법은 2D나 3D 얼굴에서 성능이 잘 나오지 않는 상황에서 유용하며, 특별히 손상된 데이터의 경우에 좋은 성능을 보여 준다. 제안된 방법은 2D 와 3D 얼굴의 모든 정보를 사용고 있으며, 데이터 수집을 위해 마이크로소프트사의 키넥트 센서를 사용한다. 키넥트 센서는 다른 센서들에 비해 매우 저렴한 가격으로 이용 가능하기 때문에 응용 제품을 개발하는 측면에서 매우 유용하다. 본 논문에서는 2D-3D 데이터 융합과 Fisherfaces 알고리즘을 기반으로 하여 알파 블렌딩과 연계하여 특정한 상황에 강인한 얼굴 인식 방법을 제안한다. 이를 위해 알파 블렌딩 융합 방법과 EURECOM의 Kinect의 얼굴 데이터베이스를 사용하였으며 깊이 데이터의 3 차원 클라우드의 법선 벡터는 융합을 위한 알파 마스크 변수를 만드는 데 사용된다. 이러한 알파 블렌딩 융합 방법과 EURECOM 데이터베이스를 바탕으로 회색조, 제안 방법, 제안 방법 후 가우스함수 적용 등의 3가지 실험데이터를 합성하였다. 또한 조명 환경에 대한 변화를 측정하기 위해서 4가지 조명 조건에서 인식 결과를 평가하였다. 또한 얼굴 정규화 과정에서의 두가지 관심 영역(ROI)을 설정하여 인식 결과를 비교하였다. 이러한 다양한 설험 데이터를 통하여 실험한 경과 제안된 방법은 정상적인 경우에는 기존 방법에 비해 유사한 결과를 보여주었으며, 특히 눈썹이 가려지거나 조명에 의해 일부 영역이 가져지는 등의 가려진 얼굴 데이터의 경우에는 상대적으로 좋은 성능을 보였다.|Various face recognition algorithms have been developed and become available as standalone systems. However, a robust face recognition system is still a dream of all the security and intelligence agencies around the globe. 2D face recognition systems fail to perform well in certain cases due to the effect of illumination, various face poses, aging and different type of occlusions. In addition to above mentioned problems, verification of actual face presence is also impossible by using 2D systems, therefore, researchers move towards the development of 2.5 and 3D face recognition systems. It is harder to forge these systems by using photograph instead of the actual face because they utilize multimodal features such as optical flow, curvature profile and depth information etc. which cannot be acquired by conventional 2D sensors. Many 2.5 and 3D face recognition systems are already available in the market, but lack of real time operation and very high sensor cost are the main issue with most of them. Further, rendering of a 3D face model is computationally very expensive and require immense hardware resources. Due to these issues its acceptance for being deployed in common use become undesirable. We have developed a new method for the alpha blending based fusion of RGB-D data of Kinect sensor. Our fusion approach gives us promising results in situations where the performance of only 2D and 3D is not well; specially in the presence of corrupted data. Our system relies both on the 2D and 3D information of the face. We have used the state-of-the-art Kinect sensor from Microsoft for the data acquisition. Since this sensor is available in very low price as compared to the other 2.5 and 3D sensors, its utilization is highly desirable for this application. A robust face recognition system is implemented in this research that works with alpha blending based 2D-3D data fusion and Fisherfaces algorithm. We have utilized the EURECOM Kinect face dataset with a new alpha blending fusion method. Normal vectors of 3D point clouds of depth data are used to create alpha mask for fusion. With the help of this mask we have created three different dataset, namely; grayscale, fusion and fusion with Gaussian smoothing dataset. We have evaluated the recognition results with four different illumination conditions. Two regions-of-interest (ROI) for size normalization are also used to evaluate the recognition results. This system can work either offline with our custom made variants of fusion dataset or online by using RGB-D data acquisition from Kinect sensor. Our method mainly insist on the robustness of the fusion data. In case of corrupted RGB information, fusion dataset set gives us up-to 64% recognition rate. The other advantage of using this fusion method is its requirement of low computational power. It makes this method desirable for use in realtime environment on ordinary machines without any graphical processing unit (GPU).