독립성분분석기반 딥 네트워크 설계 및 사용자 인식의 응용

Abstract

In this paper, we propose a systematic structure of ICANet1, a deep network based on independent component analysis, and develop it into ICANet2 model. The proposed PCANet has smaller computational complexity and faster speed than deep learning. However, there is a disadvantage in that the performance is lowered according to the modification of data. The ICANet algorithm is proposed to solve the problem. There are two structures for the ICANet algorithm. The first stage of the ICANet1 algorithm is a step of mean removal and obtaining a central image. Next, the covariance is obtained by using the center image, the Eigenvector is obtained through the value, and finally, the Eigenvector is used as the input of the independent component analysis filter. Here, centering and whitening steps are performed, and an optimal independent component matrix ​​ is obtained by updating the weights. Using this matrix, a padding image obtained through the averaging step and convolution are calculated. This is the first step in ICANet2. ICANet2 does not use Eigenvectors but uses PCA feature vectors. To remove the correlation among the PCA feature vectors, the ICA algorithm is used to find that are statistically independent. The use of statistically independent vectors can help overcome the disadvantages of the PCA and improve the performance. The second stage of the ICANet is almost identical to the first stage, and because it uses the data from the first stage, only the number of dimensions is reduced. It is used as an input to the output stage using the resultant product data from Step 2. Here, the feature values ​​of the independent component analysis network can be obtained by using the hashing code step and the histogram. The feature values ​​ obtained from the final histogram are vectorized and used as an input to the classifier. By using ICANet, the performance is lower than that of deep learning, but it is expected to be superior to recognition speed, especially for mobile. The classifier shows performance using Euclidean distance, squared Euclidean distance, city block distance, Minkowski distance, cosine distance, correlation distance, and Spearman distance, SVM. To verify the performance of the proposed method, we used the FERET face, the CU-FACE, the CU-ECG, and the noise ECG database. Experimental results show that ICANet1 and 2 have better performance than PCANet for Dup1 and Dup2 data affected by time. In addition, when noise ECG data were used, it showed better performance than PCANet. This proved the validity of the ICANet algorithm. |본 논문에서는 독립성분분석기반 딥 네트워크인 ICANet1의 체계적인 구조를 제안하고, ICANet2 모델로 발전시킨다. 기존에 제안된 PCANet은 deep learning의 비해 계산량이 작고, 속도가 빠르다. 하지만 데이터의 변형에 따라 성능이 낮아지는 단점이 있다. 문제점을 해결하기 위해 ICANet알고리즘을 제안한다. ICANet알고리즘에는 2가지 구조가 있다. ICANet1 알고리즘의 첫 번째 단계는 평균제거단계이고, 중심영상을 구한다. 그 다음은 중심영상을 이용하여 공분산을 구하고, 그 값을 통해 고유벡터를 얻고, 마지막으로 고유벡터는 독립성분분석 필터의 입력으로 사용된다. 여기서 센터링 (centering) 과 화이트닝 (whitening) 단계가 실행되고, 가중치 업데이트를 통해 최적 독립성분 행렬이 얻어진다. 이 행렬을 이용하여 평균제거단계를 통해 얻어진 패딩영상과 합성곱이 계산된다. 이것이 바로 ICANet2의 첫 번째 단계이다. ICANet2의 경우에는 고유벡터를 사용하지 않고, PCA의 특징벡터를 이용한다. PCA 특징벡터의 상관관계를 제거하기 위해, ICA알고리즘을 이용하여 통계적 독립인 벡터를 찾는다. 통계적 독립 벡터를 이용함으로써 PCA의 단점을 개선 할 수 있고, 이를 통해 성능을 개선할 수 있다. ICANet의 2번째 단계는 1단계와 거의 동일하며, 1단계에서 얻은 데이터를 사용하기 때문에 차원의 수만 감소된다. 2단계에서 얻은 합성곱 데이터를 이용하여 출력 단계의 입력으로 사용된다. 여기서 해싱코드 단계와 히스토그램을 이용해서 독립성분분석 네트워크 특징을 얻을 수 있다. 최종 히스토그램에서 얻어진 특징 값은 벡터 화하여 분류기의 입력으로 사용된다. ICANet을 사용함으로써, 딥러닝 보다 구조가 얕기 때문에 성능은 떨어 질 수 있으나, 인식속도에서 월등한 면을 보여주고, 특히 모바일에서도 사용이 가능 할 것으로 기대된다. 분류기는 유클리드 거리, 제곱유클리드 거리, 도시블록 거리, 민코프스키 거리, 코사인거리, 상관관계 거리 그리고 스피어만 거리, SVM를 이용하여 성능을 나타낸다. 제안된 방법의 성능을 검증하기 위해 FERET 얼굴데이터, CU-FACE 데이터, CU-ECG 데이터, 노이즈 ECG 데이터베이스를 사용하였다. 실험결과 시간에 영향을 받은 Dup1, Dup2데이터의 경우 ICANet1, 2가 PCANet보다 좋은 성능을 가져왔다. 또한 잡음 심전도 데이터를 사용했을 때 PCANet보다 향상된 성능을 나타냈다. 이로써 ICANet알고리즘의 유효성을 증명하였다.