A study on coding complexity reduction of Low Frequency Non-Separable Transform (LFNST) for Versatile Video Codec (VVC)

Abstract

비디오코덱에서 변환은 픽셀 영역의 잔차 신호를 주파수 영역의 변환계수로 변환시키는 중요 툴 중의 하나이다. VVC (Versatile Video Codec) 비디오 표준 코덱에서, 1차 변환 실행 후 1차 변환 계수에 대해 다시 변환을 수행하는 2차 변환이 채택되었으며, 2차 변환은 텍스처 및 엣지가있는 동적인 이미지의 압축 효율을 높이기 위해 저주파 비 분리형 변환 변환 방법 (LFNST)을 사용한다. VVC의 2 차 변환은 변환 단위 (TU) 블록 크기 및 TU 블록의 인트라 예측 모드에 따라 다른 커널이 할당되고, 16×16 및 16×48 크기의 두 커널 조합를 사용하여 비분리 변환과정을 수행한다. VVC에서 2차 변환은 큰 압축 효율 향상을 가져다 주었지만 그 복잡도가 크고 많은 계산량을 필요로 하고 변환 커널이 인트라모드와 변환 크기에 따라 매우 다양하게 정의된 커널을 사용하므로, 많은 양의 커널 데이터를 저장해야 한다는 단점이 존재한다. 본 학위 논문에서는 이러한 단점을 해결하기 위해 모든 TU 블록 크기에 16×48 변환 커널 만 사용하는 새로운 코딩 복잡도 감소 방법이 제안한다. 제안 방법을 사용하면 인트라 예측 모드에 기반한 커널의 인덱싱은 모든 TU에 대해 동일하게 유지하면서 TU 크기에 따라 변환 커널 세트를 선택하는 오버 헤드를 줄이고 변환을 저장하는 동안 2KB의 메모리를 절약할 수 있다. 또한 제안된 방법은 1 차 변환 계수를 0으로 처리함으로써 LFNST 및 양자화 프로세스의 계산 복잡성을 감소시켜 비트 스트림에서 최대 16 개의 출력 잔차 계수를 제공한다. 제안된 방법은 크기가 4xN 및 Nx4 (N> = 4) 인 TU 블록에 적용하기 위해 16x48 커널에서 서브 샘플링 커널을 유도하는 방법도 포함된다. 제안된 방법은 공통 테스트 조건 (CTC)을 이용하여 VTM-5.0 참조 소프트웨어에서 수행되었고 복잡도 감소 및 커널 수의 감소에도 불구하고 BDBR (Bjontegaard delta bitrate) 결과는 AI (All Intra) 및 RA (Random Access) 조건에서 손실을 보이지 않았다. AI 경우 인코딩 시간이 94 %이고 디코딩 시간이 98 % 인 U-chroma의 경우 0.02 %의 이득을 얻었으며, RA의 경우 97 %의 인코딩 시간을 가지므로 V-chroma의 경우 0.01 %의 이득을 보여주었다.|The transform is an essential module of the codec where the transformation of the residual block in pixel domain is converted to the coefficient block in frequency domain. In the standardization of Versatile Video Codec (VVC), the secondary transform is recently introduced as Low Frequency Non-Separable Transform (LFNST), to achieve better compression efficiency for the highly dynamic images with textures and edges in comparison to the primary transform. The secondary transform in VVC uses two sets of kernels of size 16×16 and 16×48 depending on the transform unit (TU) block size and indexing based on the intra prediction mode of the TU block. Although the secondary transform has a greater impact for the better coding efficiency and compression, its implementation is very complex and requires a lot of mathematical computations. Also, the storage of the secondary transform kernels is a major concern as it takes 8KB of memory in VVC. In this thesis, a novel coding complexity reduction method is proposed that uses only 16×48 transform kernel for all TU block size, which reduces the overhead of selecting the transform kernel set depending upon the TU size and saves 2KB of memory while storing the transform kernels. Apparently, the indexing of the kernel based on the intra prediction mode is kept same for all TU’s. The proposed method gives maximum of 16 non-zero output residue coefficients in the bitstream, by zeroing the primary transform coefficients reducing the mathematical computation complexity of the LFNST and quantization process. The proposed method also provides a novel approach to derive the sub-sampled kernel from 16×48 kernel to apply for the lower TU blocks of dimension 4×N and N×4 (N>=4). The experiments are performed in VTM-5.0 reference software under the common test conditions (CTC). The results on the Bjontegaard delta bitrate (BDBR) of the proposed method show no significant loss for All Intra (AI) and Random Access (RA) configuration. However, for AI configuration, it showed a gain of 0.02% for U-chroma with 94% encoding time and 98% decoding time, whereas for RA configuration, a benefit of 0.01% for V-chroma is obtained with 97% encoding time. Overall, the proposed method shows a substantial reduction by 6% in the encoding time.