A Study on Image Colorization using Transformers

Abstract

트랜스포머를 이용한 이미지 컬러화에 관한 연구 샤피크 무함마드 함자 지도교수: 이범식 정보통신공학과 조선대학교 대학원 이미지 컬러화는 그 다양한 응용으로 인해 연구자들의 만은 관심을 끌고 있다. 컬러화 신경망 네트워크는 각 이미지의 색상 값을 추정하여 그레이스케일 이미지를 컬러화하는 역할을 수행한다. 기존 방법은 대부분 의미론이나 단서를 사용하여 이미지를 색상화하는 방법을 사용하고 있으나 이러한 기존 컬러화 방법은 색상 블리딩 및 저채도 영상의 결과를 생성하는 문제점을 가지고 있다. 최근, 트랜스포머 기반 접근법은 다양한 이미지 생성 및 영상처리 분야에서 좋은 성능을 보여 주고 있다. 본 학위 논문에서는 트랜스포머를 사용하여 주어진 그레이스케일 이미지를 색상화하는 적대적 접근법을 제안한다. 특히, 제안 방법에서는 지역 및 전역 정보를 모두 추출하기 위해 생성기의 트랜스포머 레이어에 컨볼루션을 수행한다. 또한 경량 멀티헤드 셀프-어텐션이 트랜스포머 레이어에 적용되어 이미지를 컬러화를 보다 잘 수행하고 셀프-어텐션 레이어의 복잡성을 감소시킨다. 트랜스포머 레이어의 사용으로 인해 네트워크는 자연스럽고 생생한 컬러화 결과를 생성합니다. 또한 제안 방법에서는 더 나은 시각적 품질을 얻기 위해 적대적 손실과 함께 지각 손실을 사용한다. 실험 결과는 제안 방법이 최근 발표된 기존 방법보다 우수한 결과를 얻었다는 것을 보여주고 있다. 또한 실험에서 다양한 모델 아키텍처와 하이퍼파라미터가 제안하는 컬러화 신경망 네트워의 성능에 미치는 영향을 분석하였다. 본 학위 논문에서는 트랜스포머를 이용한 이미지 컬러화에 대한 포괄적인 연구 및 최첨단 성능을 달성하는 새로운 접근법을 제안한다. 제안된 접근 방식은 영화 산업의 이미지 복원 및 색상화와 같은 다양한 실제 응용 프로그램에 폭넓게 적용될 수 있다.|Automatic image colorization has attracted the attention of researchers due to its diverse applications. The colorization neural network colorizes given grayscale images by estimating the color values of the respective image. Conventional methods mostly use semantics or clues to colorize the image. However, color bleeding and unsaturated results are the problems of automatic colorization methods. Recently, transformer-based approaches have shown promising results in various image generation and processing tasks. In this thesis, an adversarial approach is proposed to colorize given grayscale images using transformers. Specifically, convolution in the transformer layer of the generator is introduced to extract both local and global information. In the proposed colorization architecture, light-weight multi-head self-attention is proposed in the transformer layer to better colorize the image and reduce the complexity of the self-attention layer. Furthermore, information from the encoder is passed to decoder layers for better reconstruction of the image. Moreover, perceptual loss in conjunction with an adversarial loss is used for better visual quality. Finally, experiment results show that the proposed method shows superior results over state-of-the-art methods. In addition, the impact of different model architectures and hyperparameters is analyzed on the performance of the proposed colorization architecture. Overall, the thesis presents a comprehensive study on image colorization using transformers and proposes a novel approach that achieves state-of-the-art performance. The proposed approach has the potential to be applied in various real-world applications, such as image restoration and colorization in the film industry.