Classification of Imaging Modalities with Alzheimer's Disease using Modified Parametric Layers in 3D CNN

Abstract

합성곱신경망(CNN)은 MRI 이미지와 피상적으로 작용하여 환자의 의학적 상태와 관련될 수 있는 영상 특징을 학습한다. 이에 따라, 더 높은 정확도와 과적합 문제를 해결하기 위해 알츠하이머의 영향을 받는 MRI의 분류에 CNN을 사용하려고 시도했다. CNN은 MRI 분류를 위해 특별히 설계된 몇 가지 새로운 매개변수 레이어와 함께 사용한다. 초기에 'divNet'이라는 아키텍처는 증가되는 필터 크기와 깊이에 따라 넓은 범위로 발산되는 수신 영역을 제안한다는 아이디어로 개발되었다. 이는 차례로 기능이 감소된 낮은 수준에서 높은 수준의 특징 추출 프로세스를 진행하며 중복된 특징을 낮춘다. 이 아키텍처는 정확한 최종 결과를 위해 일부 다른 기본 아키텍처 및 가변 하이퍼 파라미터와 비교한다. 또한, 데이터 크기 효과 및 데이터 유형(즉, MRI 또는 PET)도 이 아키텍처를 사용하여 분석한다. CNN 분류에서 베이스라인 아키텍처는 레이어 간 연구수행에서 압도적인 결과를 얻었다. 이에 CNN의 초기 레이어는 낮은 수준의 특징 추출에 관여한다는 사실을 알 수 있다. 이러한 프로세스는 정규화 기술에 크게 의존한다. 따라서 정규화 프로세스를 연구하고 학습이 용이한 고유한 정규화 계층을 제안한다. 이를 위해 기존의 일괄된 정규화 계층을 대체하기 위해 CNN을 위한 새로운 GAP(Gaussian Activated Parametric) 계층을 제안한다. 제안된 방법의 목표는 심층 CNN의 초기 및 중간 특징 레이어를 정규화하고 활성화하여 맞춤형 학습이 가능한 매개변수 레이어를 사용하여 특징을 구별할 수 있도록 한다. 이후 계층은 대상 도메인 의 분류를 위해 조정한다. 기존의 GAP레이어는 MRI의 특징 벡터 정규화를 위해 설계되었다. 그러나 CIFAR-10, Caltech-256, 5-animals dataset 와 같은 자연적인 영상 데이터 셋에서 테스트했을 때에 몇 가지 경우 유사하거나 약 개선된 결과가 관찰되었다. 정규화 기술에서 얻은 몇 가지 이해를 바탕으로, 매개변수 계층을 활성화 함수로 사용하고 기준 모델의 ReLU 활성화를 대체하는 것으로 목표를 변경했다. 이를 위해 SGT 활성화라고 하는 스케일 감마 보정과 쌍곡선 탄젠트 함수의 조합을 기반으로 하는 새로운 활성화 함수를 제안한다. 제안된 SGT 활성화 함수는 ReLU, Leaky-ReLU 및 tanh와 같은 다른 활성화 함수와 비교하여 분석한다. 또한 기울기의 소실/폭주 문제에 대처하는 역할로 분석된다. 이전 연구와 유사하게 모든 결과는 히스토그램 분석, 가중치/편향 상관 분석 및 T-SNE 객관화로 내용을 보완한다. 이와 같은 방법으로 CNN 아키텍처 설계에서 단일 레이어 자체 설계를 진행한다. 이를 위해 레이어의 미세 작업을 이해하고 더 나은 결과를 위해 조정한다. 수행된 작업은 독립형 MRI 분류이지만 3D CNN을 사용하여 기본 분류 작업 내에서 미세 조작을 자세히 연구를 진행한 것이 좋은 결과를 얻었다. pooling layer, flattening layer, convolutional layer와 같이 아직 연구할 수 있는 레이어가 많기 때문에 더 많은 레이어를 사용자 정의 및 향상된 방식으로 풀 수 있다|A Convolutional neural network (CNN) works superficially with magnetic resonance image (MRI) to learn its image-attributes, which may be correlated with the medical condition of the patient. This thesis work is an attempt to utilize CNN for the classification of Alzheimer’s affected MRI to achieve higher accuracy and lesser overfitting issue. For which CNN was employed along with some novel parametric layers that were designed specifically for MRI categorization. Initially, a baseline architecture called ‘divNet’ was developed with the main idea of presenting diverging reception area by increasing the filter size and stride along with depth. This helped from a low level to a high-level feature extraction process with reduced feature redundancy. This architecture was compared with some other basic architectures and variable hyperparameters for the final accuracy result. Meanwhile, the effects of data size and datatype (i.e., MRI or PET) were also analyzed using this architecture. With the overwhelming results from this baseline architecture in CNN classification, the layer-to-layer study was performed. Later, it was noticed that the early layers in CNN were responsible for low-level feature extraction. These processes were heavily dependent on the normalization technique. Hence the research was shifted to study the normalization process and propose a unique normalization layer with ease of training. For this, a novel Gaussian activated parametric (GAP) layer specifically for CNN to replace the traditional batch normalization layer was proposed. The goal of the proposed method was to normalize and activate the initial and intermediate feature layers of a deep CNN so that a customized learnable parametric layer can make the feature more distinguish. Later the layers were smoothly tuned for the target-domain classification. Originally the GAP layer was designed for MRI features vector normalization. However, when tested in natural image datasets like CIFAR-10, Caltech-256, and 5-animals dataset, similar or slightly improved results was observed in a few cases. With some insights from the normalization technique, the new concern was to use a parametric layer as an activation function and replace the traditional ReLU like activation layers from the baseline model. For this, a novel activation function was proposed based on the combination of scaled gamma correction and hyperbolic tangent function, named Scaled Gamma Tanh (SGT) activation. The behavior of the proposed SGT activation function was analyzed against other popular activation functions like ReLU, Leaky-ReLU, and tanh. Additionally, their role to confront vanishing/exploding gradient problems was analyzed. Similar to the previous studies, all of the findings were supported by histogram analysis, weights/bias correlation analysis, and T-SNE projection. In this way, the research commenced from designing a CNN architecture till designing a single layer itself, so that micro-operation in layers can be understood and tweaked for better results. Though the performed task is a standalone MRI classification, with 3D CNN, it was beneficial to minutely study the micro-operation within the fundamental classification task. Since still there are many more layers to be studied like the pooling layer, flattening layer, and convolutional layer itself, many layers can be customized and unraveled in better ways. Considering deep neural network, a black box to uncover, this thesis might provide some insight and enthusiasm for those interested to study CNN working mechanism step by step.