Introduction

• 여러 컴퓨터를 합쳐서 더 높은 성능 뽑기 → Multiprocessors, Scalability, Availability, Power efficiency
• Task-level (Process-level) Parallelism → 한 프로그램이 여러 프로세서에서 동작
• HW는 Serial 동작과 Parallel 동작있고, SW는 Sequential(MAC 등)과 Concurrent(OS 등) 있는데 조합 잘 사용해야함

Parallel Programming

• 쉽지 않음. e.g. Partitioning, Coordination, Communications overhead

• Amdahl’s law

  • 병렬 처리로 얻는 성능 향상의 한계 → Task는 Sequential Part를 포함하고 있고 어차피 이 부분은 효율화 못함
  • 식에 따르면 90배 성능 향상 하려면 Parallel part가 99.9%여야 함

• Scaling

  • 병렬처리하면서 생기는 오버헤드값은 비교적 고정적인 값이라, light한 workload에 병렬 처리하면 효율이 낮거나 오히려 떨어질수도 있음
  • 적절한 workload와 load balancing을 잘 해야함, Strong(problem size fixed) or Weak(size는 #processor에 가변적)

• Vector Processors

  • 벡터 레지스터 활용해서 instruction-fetch bandwidth 많이 줄일 수 있음 (x86에서의 MMX, SSE 등)

  • Data-Parallel 프로그래밍 용이

  • loop-carried dependency 없음 → control hazard에서 비교적 자유로움

  • 정형적인 access pattern으로 interleaved와 burst memory에서 이득

  • Vector vs Multimedia Extensions

    	Vector	Multimedia
    variable width	O	X
    strided access	O	X
    	function unit이나 pipeline등에 붙기 좋음

• Multithreading

  • 동시에 여러 스레드 실행하는 것.

  • PC 등 일부 Register의 Replication있어야하고, thread간의 switching 빨라야함

  • Fine-grain Multithreading : 매 Cycle마다 thread switch하고 instr. Interleaving 활용 등

  • Coarse-grain Multithreading : L2 cache miss 등 long stall 있을때만 switching

  • Simultaneous Multithreading : 프로세서가 Dynamic하게 scheduling함

    

• Shared Memory

  • 모든 프로세서들이 접근하는 하나의 physical address 공간이 있음
  • lock 등을 활용해서 shared vaiables의 sync. 유지함
  • Memory access time (NUMA 등) 잘 고려해야 함

GPU

• 초기는 그래픽 처리에 특화된 병렬 처리 유닛인데 GPGPU로 범용 병렬 처리용 가속기로 발전 중
• CPU ↔ GPU 데이터 이동은 PCI-Express (병목될 수 있음)
• GPU는 대역폭이 큰 자체 Memory를 가지고, 이마저도 Thread 레벨에 맞추어 Hierarchy를 활용

~31p