Aggregated multiscale self-supervised denoising

Abstract

일반적인 지도 또는 비지도 학습 이미지 노이즈 제거 접근법에서는 개별 이미지의 특정 prior이나 이미지 특정 노이즈 통계를 고려하지 않는다. 노이즈 없는 이미지로 학습된 네트워크에서는 학습 이미지에서의 노이즈 통계가 테스트 이미지와 크게 상이할 수 있기 때문에 본질적인 domain 격차 문제로 어려움을 겪는다. 따라서, 깨끗한 이미지만을 가지고 노이즈 제거를 훈련하는 것에는 다양한 어려움이 따른다. 게다가, 일부 이미지는 내재적으로 상당한 노이즈(먼 은하의 위성, 의학에서의 MRI, CT, X-ray 사진 등)을 발생시키며, 훈련하기 위한 깨끗한 이미지가 존재하지 않는다. 그리고 이런 노이즈는 주로 데이터 전송 시스템에 의해 발생한다. 제안하는 접근법은 노이즈가 많은 이미지를 취하여 특정 사전 처리를 통해 학습에 필요한 새로운 psudo-clean 이미지를 만드는 것이다. 우리는 집합체를 사용하여 이러한 노이즈가 많은 이미지의 여러 psudo-clean버전을 생성하고 네트워크가 이미지 노이즈 정보를 학습할 수 있는 범위까지 네트워크를 학습한다. 구체적으로는 노이즈가 많은 사진들은 세 가지 다른 척도로 smoothing을 하고. 이처럼 smooth 버전과 원래 노이즈가 많은 이미지가 결합하여 하나의 샘플 세트를 만들어낸다. 이 집합은 네 개의 그룹 모두에서 필수적인 정보를 캡처한다. 네트워크 아키텍처는 모듈 개념의 연결을 사용함으로써 다목적 관점에서 선명한 이미지를 학습한다. 그 이후 일반적인 노이즈 이미지에서 훨씬 깨끗한 이미지를 예측하기 위해 메인 노이즈 세트를 입력으로 사용하여 새로 생성된 세트를 대상으로 모델을 교육시켰다. 이 방법은 구조 무결성 이미지가 유지되고 노이즈 요소가 이미지에서 제거되는 이미지를 생성한다.|In typical image denoising approaches, both supervised and unsupervised learning methods does not take account of individual image's particular image prior, the noise statistics, or both. The networks learned from external images inherently suffer from a domain gap problem as the image priors and noise statistics can be significantly different from the training and test images. So, it is difficult if the methods primarily requires clean images to train denoising. Furthermore, some images inherently generate significant noise (satellite images of distant galaxies, medical images like MRI images, CT scans, X-Ray images, etc.), and there are no clean images for training. Here the problems dominantly lie with the data delivery system. Our approach takes the noisy images and creates a new version of them with specific pre-processing; by doing so, we make the target pseudo clear image for the deep neural network. We generate multiple versions of these noisy images using interpolation of arrays and train the network to the extent where the network can learn the information on the images without the noises. In practice, the noisy pictures are blurred on three different scales. These blurred versions and the original noisy images are combined together to create a single set. This set captures all the necessary information from all of the four groups. The network architecture uses the concatenation of the module concept to learn the clear images from a versatile perspective. Then we trained the model using the main noisy set as input and the newly created set as the target to predict a much cleaner image from a regular noisy image. This method creates an output image where the structural integrity image is sustained and the noise component is removed from the image.