증강현실 환경에서 적외선 센서를 이용한 하이브리드 추적 방안

Abstract

Recently, computer vision-based augmented reality (AR) has been widely used in various academic and industrial fields such as advertisement, education, medical treatment, and product development. Object tracking, which has been studied since more than the last two decades, is a core technology of AR because it significantly affects the interaction performance and immersion level of most AR applications. In general object tracking, the method of tracking markers or image feature points in RGB images is mainly used. However, it cannot provide robust and accurate tracking performance since RGB image-based tracking reacts sensitively to image noise and lighting conditions. In order to solve this problem, many studies have been conducted on hybrid tracking using various sensors. In particular, infrared (IR) images obtained from IR sensors are widely used for hybrid tracking since they have fewer noises and are less sensitive to lighting changes than RGB images. In this paper, we propose a novel approach to object tracking that is robust and accurate for ambient lighting changes and marker occlusion by using invisible markers utilizing IR sensor technology in AR environments. The proposed approach uses IR markers composed of IR LEDs and a stereo camera consisting of an RGB camera and an IR camera. It makes good use of two essential methods for feature point detection and for IR marker recognition from an IR image. We propose a method of feature point detection based on multi-layer thresholding, which finds the center points of the IR LEDs by using the image contours obtained at multiple thresholds in an IR image. This method converts an IR image into a contoured image, classifies each contour region into simple region, expanded region and complex region, finds the center points of simple regions, and uses these as the candidate feature points of the IR LEDs. We also propose two methods of recognizing IR markers by utilizing the geometric property that feature points are invariant on projection and affine transformation. First, we propose an IR marker tracking method using the geometric property of a planar shape composed of two simple planar polygons. The IR marker consists of IR LED dots corresponding to the vertices of the planar shape. This method finds the correspondence between the candidate feature points and the vertices of the planar shape and determines the feature points corresponding to the IR marker by using the geometric property that the area ratio of two triangles is invariant on affine transformation. Second, we propose an IR marker tracking method using an enhanced locally likely arrangement hashing (LLAH) descriptor. The IR marker consists of IR LED dots corresponding to the points that are randomly placed on a plane. In case of using the original LLAH descriptor, many (more than 40) feature points are required because erroneous recognition frequently occurs due to feature noise. In this study, we investigate how to improve recognition performance by making good use of the LLAH descriptor with fewer feature points even when feature noise occurs. We implemented the proposed approach and confirmed its usefulness by conducting a comparative performance evaluation between the proposed approach and the conventional image-based tracking approach. We highly expect that the proposed approach for hybrid tracking can be usefully utilized for various fields in which the image-based tracking approach does not work well due to image noise and lighting conditions.|최근 컴퓨터 비전 기반의 증강현실(AR)은 광고, 교육, 의료, 제품 개발 등 다양한 학술 및 산업 분야에서 널리 활용되고 있다. 객체 추적은 증강현실 애플리케이션의 상호작용(interaction) 성능 및 몰입(immersion) 수준에 상당한 영향을 주기 때문에 지속적으로 연구되는 증강현실의 핵심 기술이다. 일반적인 객체 추적에서는 RGB 영상에서 마커 또는 이미지의 특징점(feature points)을 추적하는 방법이 주로 활용되고 있지만, RGB 영상 기반 추적은 영상 잡음(noise)과 조명 변화에 민감하게 반응함에 따라 강건하고 정확한 추적 성능을 제공하지 못하는 실정이다. 이를 해결하기 위해 센서를 활용한 하이브리드 추적 기술에 대한 많은 연구들이 이루어지고 있다. 특히, 적외선 센서로부터 획득되는 적외선 영상은 RGB 영상보다 잡음이 적고, 조명 변환에 둔감함에 따라 하이브리드 추적에 널리 활용된다. 본 논문에서는 증강현실 환경에서 적외선 센서 기술을 활용한 비시각(invisible) 마커를 활용하여 주변 조명 변화 및 마커 가림 현상에 대해 강건하고, 정확한 객체 추적 방안을 제안한다. 제안된 방안은 IR LEDs로 구성된 IR 마커와 적외선 카메라가 포함된 스테레오 카메라를 활용하며, 기술 개발에 필요한 두 가지 요소 기술로 적외선 영상의 특징점 검출과 IR 마커 인식 방안을 제안한다. 제안된 방안들에 대한 주요 내용은 다음과 같다. 적외선 영상에서 여러 임계값에 대해 얻어진 영상 윤곽선(contour)을 활용하여 IR LEDs 광원의 중심점을 찾는 다층 이진화(multi-layer thresholding) 방안을 제안한다. 이 방법은 적외선 영상을 등고선 영상으로 변환하고, 각 등고선 영역에 대한 단순(simple region), 확장(expanded region), 복합 영역(complex region)으로 분류하여 IR LEDs 광원에 대한 중심점을 찾고, 이를 적외선 영상 특징점으로 활용한다. 영상 특징점 간의 투영 변환 및 아핀 변환에 불변하는 기하적(geometry) 성질을 활용하여 IR 마커를 인식하는 두 가지 방안을 제안한다. 첫째, 두 개의 단순한 모양의 다각형으로 구성된 평면 다각형들(plane polygons)의 정점들(vertices)에 대한 기하적 관계를 이용한 IR 마커 추적 방법을 제안한다. 이 방법은 평면 다각형에 대한 기하적 관계를 정의하여 평면 다각형의 대응점 후보군들(candidate correspondence)을 찾고, 두 개의 삼각형의 면적비가 아핀 변환에 보존되는 특성을 이용하여 IR 마커와 대응되는 영상 특징점을 결정하였다. 둘째, 개선된 LLAH(locally likely arrangement hashing) 서술자를 이용한 IR 마커 추적 방법을 제안한다. LLAH 서술자를 이용할 경우, 특징 잡음(feature noise)으로 인해 오인식이 자주 발생함에 따라 다수(40개 이상)의 특징 정보가 요구된다. 본 연구에서는 이러한 문제점을 개선하여 특징 잡음이 발생되는 상황에서도 식별 성능을 향상시켰다. 본 연구에서 제안된 추적 방안들을 구현하고, 기존 마커 추적 방안과의 성능 평가를 수행하여 제안된 방안들에 대한 유용성을 확인하였다. 제안된 하이브리드 추적 방안은 기존 영상 기반 추적 방안의 단점을 보완함에 따라 주변 조명 환경 제약으로 인해 적용하기 힘든 다양한 분야에 유용하게 활용될 수 있으리라 사료된다.