Homework#0

Homework#1

• piazza 가입 완료

  여기서 lecture notes와 resources들이 제공될 예정이라고 함. blackboard 역할 하는 듯?

  • ID: [email protected]
  • 추가이메일: [email protected]

• 격주로 Assignment가 나갈거고 Reading Material의 여러가지 내용에 대한 Reporting

• 프로젝트는 몇 명 모여서 할 건데 아마 논문 보고 Develop해야하는 것 같음

[2번째 수업 노트]

• 녹음 > 네이버클로버 텍스트변환 > GPT 요약

1. What is DSA?

   • Domain-Specific Architecture는 특정 응용 분야(domain)에 최적화된 하드웨어 아키텍처
   • 일반적인 프로세서 대비 높은 성능과 효율성을 찾기 위해 설계됨

2. Why DSA?

   • 기존 CPU 아키텍처는 범용성 높지만 특정 분야(ex. AI, 그래픽, 데이터)에서는 효율성 낮음
     • CPU는 일반적인 연산을 수행하는 General-Purpose Processor
   • Moore’s Law가 한계에 도달하면서 CPU 성능 향상도 어려움
     • CPU 성능은 주로 Clock Frequency와 Instruction-Level Parallelism(ILP)에 의존해옴
     • Single-thread performance의 향상은 둔화되며 Power Constraint 발생
     • Parallel Computing & Multi-Core 구조가 일반화되면서 새로운 Architecture 접근법 대두
   • CPU는 Instruction fetch, Decoding 등 불필요한 Overhead가 많아서 Energy Efficiency 딸림
   • 반면 DSA는 Fixed Data Access Pattern과 연산 구조를 갖는 경우 Efficiency Good

3. 기존 CPU 구조와 주요 개념

   • Pipelining: 명령어를 여러 단계로 나누고 병렬 처리하여 성능 높이는 기법

     → Data Hazard, Control Hazard, Structural Hazard 등으로 한계 존재

   • Superscalar: 한 Clock내에 여러 명령어 동시에 실행하여 IPC 증가

     → 명령어 간 Dependency로 인해 Ideal한 성능 향상 어려움

   • Out-of-Order Execution: 명령어 실행 순서 유연하게 조정하여 병렬성 향상

     → 복잡한 제어 로직과 높은 전력 소모 요구됨

   • Multi-Core: 여러 개의 코어로 성능 향상의 한계 극복하는 방식

     → Software 최적화 필수적이며, 모든 응용 프로그램에 효율적으로 적용되지 않음

4. Moore’s Law와 반도체 기술의 변화

   • Moore’s Law - the # of transistors가 2년마다 2배 증가한다는 법칙 (예전 intel’s goal)
     • 그러나 최근 반도체 공정이 7nm 보다 낮아지면서 TR 크기 줄이는 것이 어려워 짐
     • Dennard Scaling의 한계로 Power Density (단위 면적 당 Power) 증가하고 발열 심각
     • CPU 성능 향상의 한계로 DSA 개발이 필수적이 됨

5. 대표적인 DSA or… Something like DSA

   • GPU (Graphics Processing Unit)
     • 그래픽 및 병렬 연산 최적화 프로세서, AI 및 딥러닝 연산에서 활용
   • TPU (Tensor Processor Unit)
     • To accelerate A/I operation by Google, optimized for MAC
   • PIM (Processing In Memory)
     • Data 이동으로 인산 bottle-neck 줄이기 위해 Memory 내부에서 연산 수행
   • ASIC (Application-Specific Integrated Circuit)
     • 특정 작업(예: 암호화, 네트워크 패킷 처리)을 위해 맞춤 제작된 칩
     • Energy 효율성 매우 좋지만 Flexibility 떨어짐
   • FPGA (Field-Programmable Gate Array)

6. DSA Design

   • Energy Efficiency
     • CPU 대비 불필요한 Control Unit 날리고 Power Consumption 줄여
     • 특정 연산에 최적화된 HW 설계해서 최소화된 연산 cost로 Performance 늘려
   • Parallelism
     • 가능한 많은 Core 넣고 Vector Processing 지원 (AI 및 데이터 분석에서 중요)
   • Data 이동 최소화
     • Memory Bandwidth 최적화해서 연산 속도 극대화
     • Cache 최적화 및 전용 Buffer 사용
   • Programming Models
     • 전용 Programming 언어나 Framework 요구할 수 있음 (TensorFlow, PyTorch 등)

7. Conclusion

   • DSA는 특정 도메인 연산을 최적화하기 위한 하드웨어 아키텍처 (than CPU)
   • 전통적인 CPU 아키텍처는 범용성 지니고 있지만, 특정 작업에 대한 최적화 어려움
   • 모어의 법칙이 한계에 도달하면서, CPU 성능을 향상시키는 것 어려워짐
   • AI, 그래픽 처리, 데이터 분석 등의 분야에서 DSA의 필요성이 증가→ GPU, TPU, PIM, ASIC 등
   • 효율적인 DSA 설계 → 에너지 효율성, 병렬성, 데이터 이동 최적화 및 프로그래밍 모델 고려

[3번째 수업노트- Processor Architecture]

• Computer Architecture, 요즘은 uArch. 설계, Memory system, 컴퓨터 시스템 구성, DC Level.. 등
• DSA 전에 Processor Architecture의 history 알아야함. … nothing new under the sun