근전도 스펙트로그램 기반 사용자 인식을 위한 잡음 제거 및 데이터 생성에 관한 연구

Abstract

최근 모바일 디바이스를 이용하여 전자상거래와 같은 높은 수준의 보안이 요구되는 인터넷 서비스가 제공됨에 따라 사용자 인식 방법이 주목받고 있다. 기존의 패스워드를 입력하는 방식에서 신체 일부를 이용한 인식 방법이 사용되고 있지만 신체정보 역시 해킹의 우려가 있으며 변경이 불가능한 문제점이 있다. 따라서 신체 내부에서 발생하는 전기적 신호로 개인의 고유한 특징을 가지는 근전도 신호는 차세대 사용자 인식 방법으로 연구되고 있다. 근전도 신호는 시간 변화에 따라 개인의 활성화되는 고유한 근력 세기를 디지털 신호로 측정하기 때문에 서로 다른 신호의 패턴을 생성하는 장점이 있다. 그러나 기존에 오픈되어 있는 근전도 데이터베이스는 행동패턴인식을 기반으로 취득된 데이터로 인원수가 매우 부족하다. 또한 각 동작을 취득함에 있어 일정하게 반복하여 취득하기 어려우며 각 동작에 대한 반복횟수가 충분하지 않아 근전도 신호를 사용자 인식에 적용하기에 문제점이 있다. 따라서 근전도 데이터의 수가 부족한 문제와 불규칙한 신호 문제를 해결하고 시간 변화에 따른 주파수 특징을 포함한 다차원 특징 변환 연구가 필요하다. 본 논문에서는 잡음과 같은 휴식상태 신호 제거 및 데이터 생성 방법을 제안한다. 먼저 근전도 신호를 각 프레임으로 나누고 프레임의 평균 에너지를 임계값으로 설정하여 임계값보다 작을 경우 휴식상태로 판단하여 근전도 신호에 포함된 불규칙한 휴식신호를 제거한다. 다음으로 부족한 데이터의 수를 증가시키기 위해 적은 데이터 수로도 다양한 신호를 생성할 수 있으며 간단한 연산으로 빠르게 신호 생성이 가능한 Matching pursuit을 이용하여 근전도 신호를 생성한다. 끝으로 사용자 인식 성능을 확인하기 위해 1차원 근전도 신호를 다차원 특징 추출이 가능한 스펙트로그램으로 변환한 후, 컨볼루션 뉴럴 네트워크에 적용한다. 제안한 시스템은 데이터 구성 과정, 데이터 전처리 및 정규화 과정, 스펙트로그램 변환 과정, 최종 분류 과정으로 구성된다. 실험결과, 본 논문에서 제안하는 휴식신호를 제거 한 사용자 인식 성능은 85.4%로 원본신호를 이용한 성능과 비교하였을 때 6% 이상 향상되었으며, 데이터 생성을 통해 부족한 데이터의 수를 증가시켰을 때 96.1%로 10% 이상 높은 성능을 보였다. 이는 1차원 신호에 비해 시간-주파수를 포함한 다차원 특징을 사용하고 근전도 신호에 포함된 휴식신호와 부족한 데이터를 증가시킴으로써 향상된 사용자 인식 성능을 확인하였다.|Recently, user recognition methods have been attracting attention amidst the rise of Internet services that require a high level of security, such as e-commerce using mobile devices. Among existing password input methods, recognition methods that utilize a part of the physical body are being used; however, they are limited in that body information is vulnerable to hacking and cannot be changed. Accordingly, as a next-generation user recognition method, researchers are studying electromyography (EMG) signals, which are electrical signals generated inside a human body that possesses unique individual features. EMG involves measuring an individual’s unique muscular strength activated over time as digital signals, thus giving it the advantage of generating different signal patterns. However, the previously opened EMG database consists of data obtained based on behavior pattern recognition, with a highly insufficient number of people. Moreover, it is difficult to repeatedly obtain consistent signals for each movement and there are not enough repetitions for each movement, thereby limiting the application of EMG signals to user recognition. Therefore, the problems of insufficient EMG data and irregular signals must be solved, and research on multidimensional feature transformation, including frequency features over time, is required. This study proposes a method of removing rest state signals such as noise and generating data. First, the EMG signal are divided into each frame and the average energy of the frame is set as the threshold. If less than the threshold value, then it is determined to be a rest state and the irregular rest signal included in the EMG signal is removed. Next, to supplement the insufficient data, various signals can be generated from a small quantity of data, and EMG signals are generated using matching pursuit, which can quickly generate signals through simple operations. Finally, to verify the user recognition performance, the one-dimensional EMG signals are transformed into spectrograms from which multidimensional features can be extracted, which are then applied to a convolutional neural network. The proposed system consists of a data composition process, data preprocessing and normalization process, spectrogram transformation process, and final classification process. According to the experimental results, the user recognition performance after removing rest signals as proposed in this study was 85.4%, an improvement of over 6% compared to using the original signals, and the performance after supplementing the insufficient data through data generation was 96.1%, an improvement of over 10%. As opposed to one-dimensional signals, the proposed method uses multidimensional features including time-frequency, supplements the insufficient data, and removes rest signals included in the EMG signals, thereby improving the user recognition performance.