A study on brightness enhancement of old images by estimating and combining curve maps and attention-guided illumination maps

Abstract

In this paper, a novel deep-learning network for the brightness enhancement of old images is proposed. Although the task for brightness enhancement of old images is similar to the low-light enhancement problem of modern images, the cause of darkness and image characteristics are significantly different. The bright degradations in old images are mostly due to low-quality camera sensors and the harsh environment where the photos/films were stored. In contrast, the low-light condition occurs in modern images when the image is taken in dark places, or the camera’s International Organization for Standardization (ISO) values are set very low. Even though the state-of-the-art low-light enhancement networks show good reconstruction capabilities in any light conditions, they produce overexposed, color-distorted outputs if applied to old images and videos. A novel deep-learning network which is a combination of image-specific curve estimation and attention-guided illumination network is introduced to overcome the above-mentioned problem. The image-specific curve estimation network estimates a curve map that automatically enhances the given input image by adjusting the dynamic range of the given input image. In addition to the curve map estimation, the illumination network with the attention module preserves the texture and color of the given input image and adjusts the given input’s illumination. The attention module utilized in the illumination network helps to eliminate noises and restricts the image from getting over- or underexposed. Both networks perform in parallel to enhance the brightness of the image and preserve the inherent colors and texture details. Experimental results show that the proposed method outperforms state-of-the-art methods in terms of visual quality for brightness enhancement on old photo/video datasets.|본 논문에서는 오래된 이미지의 밝기 향상을 위한 새로운 딥 러닝 네트워크를 제안한다. 오래된 이미지의 밝기 향상을 위한 과제는 현대 이미지의 저조도 향상 문제와 유사하지만, 밝기 열화의 원인과 이미지 특성은 서로 크게 다르다. 오래된 이미지의 밝은 열화는 대부분 낮은 품질의 카메라 센서와 사진/필름이 저장되었던 가혹한 환경 때문이다. 반면, 현대 이미지의 밝기 저하는 어두운 곳에서 촬영되거나 카메라의 국제 표준화 기구(ISO) 값이 매우 낮게 설정될 때 주로 발생한다. 최근 발표되고 있는 최신 저조도 향상 딥러닝 네트워크는 어떤 조명 조건에서도 우수한 복원 성능을 보여주지만, 오래된 이미지 및 비디오에 적용할 경우 과도한 노출 노출과 색상이 왜곡된 출력을 발생시킨다. 위의 문제를 극복하기 위해 본 학위 논문에서는 이미지별 곡선 추정과 attention-guided illumination map의 조합인 새로운 딥 러닝 네트워크를 제안한다. 이미지별 곡선 추정 네트워크는 주어진 입력 이미지의 동적 범위를 조정하여 주어진 입력 이미지를 자동으로 향상시키는 곡선 맵을 추정한다. 커브 맵 추정 외에도, attention-guided illumination map은 주어진 입력 이미지의 텍스처와 색상을 보존하고, 주어진 입력의 조도를 조절하는 기능을 수행한다. attention-guided illumination netowrk에서 사용되는 guided-module 노이즈를 제거하는 데 도움이 되며 이미지가 과노출되거나 과소노출되는 것을 제한한다. 두 네트워크는 이미지의 밝기를 향상시키고 고유한 색상과 텍스처 디테일을 보존하기 위해 병렬로 수행된다. 실험 결과는 제안된 방법이 오래된 사진/비디오 데이터 세트의 밝기 향상을 위한 시각적 품질 측면에서 기존 최신 방법을 능가한다는 것을 보여준다.