Hardware Acceleration of Fused-Layer Convolutional Neural Networks via Most-Significant-Digit First Arithmetic

Abstract

DNN(심층 신경망)은 데이터 내에서 복잡한 패턴과 관계를 학습할 수 있는 기능으로 인해 최근 몇 년 동안 점점 인기를 얻고 있습니다. 합성곱 신경망(CNN)은 복잡한 이미지 및 비디오 데이터를 효과적으로 분석하고 분류하는 기능으로 인해 최근 몇 년 동안 인기를 얻은 일종의 심층 신경망입니다.

융합 계층 데이터 흐름은 네트워크 내에서 데이터 처리를 최적화하기 위해 CNN에서 사용되는 기술입니다. 여러 계층을 단일 작업으로 결합하면 계층 간에 전송해야 하는 데이터 양이 줄어들어 네트워크의 계산 효율성과 메모리 요구 사항이 모두 크게 향상될 수 있습니다.

MSDF(Most-Significant-Digit First) 산술은 자릿수 수준의 파이프라이닝과 고유한 가변 정밀도 기능이 있어 CNN을 위한 유망한 산술 기술입니다. 기존의 비트 병렬 및 비트 직렬 산술과 달리 MSDF는 다음 종속 작업으로 이동하기 전에 작업이 완료될 때까지 기다리지 않고 연결을 통해 연속 작업의 중첩 실행을 허용합니다. ReLU 계층에서는 음수 출력이 감지되는 즉시 계산을 종료할 수 있는 반면 MaxPool 계층에서는 최대값이 감지되는 즉시 종료될 수 있습니다.

이 논문에서는 MSDF 산술을 사용하고 연속 레이어에 걸쳐 숫자 수준 파이프라이닝을 가능하게 하는 동시에 비효율적인 계산을 조기에 종료하는 CNN용 하드웨어 가속기를 제안합니다. CNN에서 연속 레이어를 융합하면 MSDF 산술에서 조기 종료 비율을 높일 수 있습니다. 우리의 평가는 LeNet-5의 처음 두 계층이 함께 융합될 때 최대 58.2\%의 계산을 건너뛸 수 있음을 보여줍니다.|Deep neural networks (DNNs) have become increasingly popular in recent years due to their ability to learn complex patterns and relationships within data. Convolutional neural networks (CNNs) are a type of deep neural network that have gained popularity in recent years due to their ability to effectively analyze and classify the complex image and video data.

Fused-layer dataflow is a technique used in CNNs to optimize the processing of data within the network. By fusing multiple layers together into a single operation, the amount of data that needs to be transferred between layers is reduced, which can lead to significant improvements in both the computational efficiency and memory requirements of the network.

Most-Significant-Digit First (MSDF) arithmetic, with its digit-level pipelining and inherent variable precision capabilities, is a promising arithmetic technique for CNNs. Unlike traditional bit parallel and bit serial arithmetic, MSDF allows for overlapping execution of successive operations through chaining, rather than waiting for an operation to finish before moving on to the next dependent operation. In ReLU layers, the computation can be terminated as soon as a negative output is detected, while in MaxPool layers, it can be terminated as soon as the maximum is detected.

In this thesis, we propose a hardware accelerator for CNNs that uses MSDF arithmetic and enables digit-level pipelining across successive layers, while also terminating ineffective computations early. By fusing successive layers in CNNs, the rate of early termination in MSDF arithmetic can be increased. Our evaluations demonstrate that up to 56.3\% of computations can be skipped when the first two layers of LeNet-5 are fused together.