A study on old image and video artifact and noise generation using generative adversarial network (GAN)

Abstract

In an early age, a large number of images as well as videos were taken and stored in unfavorable conditions. As a result, the old images and videos have uncertain and different noise patterns compared to the modern ones. Denoising for old images is an effective technique that helps to reconstruct a clean image containing crucial information. However, it is difficult and challenging to obtain noisy-clean image pairs for supervised learning, and preparing such a pair is exorbitant and burdensome even if existing denoising approaches require a considerable amount of noisy-clean image pairs. To address this issue, this study proposes a robust noise-generation generative adversarial network (NG-GAN), which utilizes unpaired datasets to replicate the noise distribution of degraded old images based on the CycleGAN model. In the proposed method, the Perception-based Image Quality Evaluator (PIQE) metric to effectively control noise generation is utilized. An unpaired dataset is generated by selecting clean images with matching features from old images to train the proposed model. Experimental results show that the dataset generated by the proposed NG-GAN can better train the state-of-the-art denoising models through denoising the old videos effectively. The difference in terms of the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) are 0.37 dB and 0.06 in average, respectively. |수십년 전에는 사진뿐만 아니라 수많은 동영상을 촬영해 불리한 조건에서 오랜 기간 동안 보관했다. 결과적으로, 오래된 영상과 비디오는 현대의 것과 비교하여 불확실하고 다른 노이즈 패턴을 가지고 있다. 오래된 이미지에 대한 노이즈 제거는 중요한 정보를 포함하는 깨끗한 이미지를 재구성하는 데 도움이 되는 효과적인 기술이다. 그러나 지도 학습을 위한 노이즈-고화질 이미지 쌍을 얻는 것은 어렵고 도전적이며, 기존 노이즈 제거 방법이 많은 양의 노이즈-고화질 이미지 쌍을 요구하더라도 이러한 쌍을 얻는 것은 많은 어려움이 존재한다. 이 문제를 해결하기 위해 본 학위 논문에서는 성능이 저하된 오래된 이미지의 노이즈 분포를 복제하기 위해, 쌍을 이루지 않는 데이터 세트를 활용하는 CycleGAN 모델을 기반으로한 강력한 노이즈 생성 적대 네트워크(Noise Generation Generative Adversarial Network, NG-GAN)를 제안한다. 제안된 방법에서는 노이즈 생성을 효과적으로 제어하기 위한 PIQE (Perception-based Image Quality Evaluator) 메트릭을 사용한다. 제안된 모델을 훈련시키기 위해 오래된 이미지에서 특징이 일치하는 깨끗한 이미지를 선택하여 쌍을 이루지 않은 데이터 세트를 생성한다. 실험 결과는 제안된 NG-GAN에 의해 생성된 데이터 세트가 이전 비디오의 노이즈를 효과적으로 제거하여 최신 노이즈 제거 모델을 더 잘 훈련시킬 수 있음을 보여준다. 평균적으로 제안 방법으로 생성한 데이터셋은 PSNR (Peak Signal-to-Noise Ratio)과 SSIM (Structural Similarity Index Measure) 각각 0.37dB와 0.06의 성능 향상을 보였다.