A Co‐Design Approach for Embedded Multimedia Applications: a case study of H.264

Abstract

H.264 사례를 통하여 내장형 멀티미디어 응용을 위한 통합 설계 접근

아델루이 오루패미 지도교수: 이 정 아 조선대학교 일반대학원 컴퓨터공학과

멀티미디어와 같은 응용 프로그램의 증가로 인하여 컴퓨터 시스템의 자원에 대한 요구 역시 증가하게 되었다. 사용자는 무한한 컴퓨터 자원을 요구하지만, 현실적으로는 자원 집약형 멀티미디어 응용 프로그램을 실행할 때에는 시스템 자원의 제약으로 시스템 성능이 제한될 수 밖에 없다. 특히, 휴대전화와 같은 이동형 시스템에서 이러한 형상이 두드러지게 나타난다.

본 논문은 구현에 필요한 비용을 최소화하면서도 성능을 최대화하는 방법으로 하드웨어와 소프트웨어 사이의 시너지 효과를 탐색한다. 그리고, 하드웨어(FPGA)의 속도 뿐만 아니라 소프트웨어(GPP)의 유연성을 탐색할 목적으로 연구하였다. 이에 대한 성능 분석 및 통계를 위해 H.264 코덱을 사례로 선택하였다.

또한 본 논문은 새로운 최적화 기술을 다음과 같이 제안한다. 첫 번째는 분할과 스케줄링을 위한 cdef(critical datapath execution first)이다. 이것은 분할과 스케줄링 전에 한 세트의 계층적으로 중요한 데이터 경로와 태스크 그래프를 해체한다. 두 번째는 성능 인식 멀티미디어 통합 설계(PAM‐CoDe; Performance Aware Multimedia Co‐Design)이다. 이것은 멀티미디어와 가장 관련이 있는 사용 측정 기준 환경을 제한한 기술이다. 내장형 시스템의 제한된 자원을 최적화하여 접근하기 위하여 가중 조합 측정 기준을 이용하여 서로 다른 성능을 통합한다. 하나의 측정 기준은 만들어진 주요한 설계 중에서 선택한다. 세 번째는 커스터마이즈된 사상 집합 축소를 위한 휴리스틱 알고리즘(CHARMS; Customized Heuristic Algorithm for Reducing Mapping Set)이다. CHARMS는 사상 집합 축소를 위한 휴리스틱 알고리즘(HARMS)을 개선한 것으로, 집합 중에서 최적의 값을 추출하는 동안에 유용한 사상 집합의 크기를 축소한 방법을 제안한다.

세 가지 기술은 다음과 같은 결과를 보여준다. cdef를 적용하면 Hou와 Wolf 태스크 그래프와 비교하면 “160”, 일반적으로 최고의 방법과 비교하면 “170” cost으로 측정된다. 이것은 큰 노드의 수로 태스크 그래프를 위한 성능 증가의 가능성을 보여준다. CHARMS는 최적의 사상 경우를 개선하고, 대규모 사상 집합에서 최적의 경우 2.73% 효율적이라고 할 수 있다.

문학에 숫자 때문에 접근이 약간 다릅니다 ‐ PAM을 사용하는 코드를 직접 비교할 수없습니다. 그러나, PAM‐CoDe, cdef과 매력과 함께 사용하고 어떤 약속을 보유하고있다. 하지만, PAM‐CoDe는 cdef, CHARMS와 일부 전망을 유지하기 위하여 사용한다. 구성 요소 측정 기준이 무엇이든지 어떤 값 아래로 떨어지는 경우에는 최적 경우 측정 중심 사상 집합을 저장하는 것은 사상의 경우 선택에서 쉽게 교환이 가능하며, 이것은 사용자에 있었어 중요한 측정 기준이며 전체적으로 관찰할 수 있도록 지원한다. 따라서 멀티미디어 환경에서 성능을 유지하는데 도움을 줄 수가 있다.|A Co‐Design Approach for Embedded Multimedia Applications: a case study of H.264

Olufemi Adeluyi Advisor: Prof. Jeong‐A Lee Department of Computer Engineering Graduate School of Chosun University

The increasing clamor for multimedia‐grade applications has led to a steep increase in the resource requirements of computing systems.  Although users demand for systems with almost infinite resources, the reality is that all systems have resource constraints which make them susceptible to performance degradation when running resource‐intensive multimedia applications. This is especially pronounced in mobile devices like cell phones.   This thesis explores the synergy between hardware and software systems as a means of maximizing performance while reducing the cost of implementation.  The study is done with a view to exploiting the speed of hardware (FPGA) implementation as well as the flexibility of software (GPP) implementation.  The study uses the H.264 codec as a case study and extracts metrics for performance analysis.

The thesis also introduces new optimization techniques. The first is the critical datapath execution first (cdef) for partitioning and scheduling. It collapses task graphs into a set of hierarchical critical data paths before partitioning and scheduling. The second is the Performance Aware Multimedia Co‐Design (PAM‐CoDe); it is a technique that uses metrics that are most relevant to multimedia constrained environments. It merges the different performance metrics into a weighted combo metric for a more holistic approach to optimizing resource constrained embedded systems approaches. One metric is usually chosen as the primary metric upon which desions are made.

The third technique is called the Customized Heuristic Algorithm for Reducing Mapping Sets (CHARMS). CHARMS is a modified version of the Heuristic Algorithm for Reducing Mapping Sets (HARMS) and it has been proposed as a way of reducing the size of available mapping set, while extracting the best values from the set.

All three techniques present promising results; cdef when adapted to the famous Hou and Wolf task graphs gives a result of cost “160” as compared with the best of the popular methods surveyed which gave a cost of “170”. It also has a potential for increase in performance for task graphs with a greater number of nodes. CHARMS improved upon the best mapping case and was able to streamline a large mapping set to the 2.73% of the best cases.

PAM‐CoDe could not be directly compared because the approach used slightly differs from a number in literature. However, PAM‐CoDe was used in conjunction with cdef and CHARMS and holds some promise. It gives a holistic view of the metrics important to users and it also provides for storing best case metric‐centric mapping sets to effect an easy swap in the choice of mapping cases in the event that any of the constituent metrics falls below a certain value. This can help to maintain the level of performance in multimedia environments.