SEMICON JAPAN, AI Chip Complexity Drives Tester Demand_ Memory Chips in Focus.pdf

AI Inference

AI workload는 taining에서 inference로 이동하고 AI model은 KV cache 기반으로 context 유지 함

문맥 유지 더 많이 해야될수록 용량 기하급수적으로 증가. KV 캐시 크기가 8000 or 16000 토근으로 확장될 경우 HBM 수요 폭증. inference는 메모리 바운드고, KV cache access는 random + latency-sensitive 특성이라 capacity 증가만으로 안됨

정리하면 training은 model size 증가 → compute 증가라는 비교적 단순한 관계가 성립하지만 inference에서는 context length 증가가 memory traffic만 폭발적으로 증가시키고 bandwidth 재앙이다는 것

그래서 GPU utilization 저하는 메모리 병목이다. 메모리 투자는 ROI가 매우 높다

DRAM 벤터 관점에서는 단순 공급 확대보다 bandwidth-per-watt, per-dollar 개선이 주요 경쟁 요소

일본? (Preferred Network)는 near-memory computing, bandwidth-centric design으로 energy efficient한 inference 특화 architecture “Memory Bandwidth is All You Need” 근데 server 보단 client나 edge를 target하는 듯

Preferred Networks

• Preferred Networks는 추론 중심 AI 시대를 겨냥하여 프로세서와 DRAM 간 물리적 거리를 극단적으로 단축하는 3D-stacked DRAM 기반 아키텍처를 제안하며, 이는 DRAM 대역폭과 에너지 효율 문제를 근본적으로 완화하려는 접근이다.
• 프로세서–메모리 간 거리를 20 cm(20 pJ/bit)에서 2 cm(8 pJ/bit), 나아가 1 mm(2 pJ/bit)까지 줄일 경우, 메모리 접근 에너지가 급격히 감소함을 통해 inference 효율 개선의 물리적 근거를 제시한다.
• MN-Core 시리즈는 10–40 TB/s 수준의 초고대역폭을 제공하지만, DRAM을 연산 유닛에 밀접 배치할 경우 발생하는 열 방출 문제는 구조적 설계 과제로 남아 있다.
• 에너지 효율적인 자체 프로세서 설계는 이러한 열·전력 문제를 완화하며, DRAM과의 수직적 통합을 가능하게 하는 핵심 요소로 제시된다.
• 나아가 shared-memory에서 distributed-memory 아키텍처로의 전환을 통해 시스템 확장성과 inference 효율을 높이되, 증가하는 메모리 컨트롤러 복잡성은 하드웨어와 소프트웨어의 공동 설계로 대응하고자 한다.

→ shared는 provisioning 관점에서 효율적이지만 distributed 대비 bandwidth scalability가 제한적임

Chip tester

• Advantest는 AI inference를 반도체 테스트 공정에 직접 통합하여, 테스트 데이터를 실시간으로 분석·반영하는 테스트 패러다임 전환을 추진 중 → 실시간 피드백 기반 테스트는 고객·웨이퍼별로 조건을 동적으로 최적화함으로써 수율을 구조적으로 개선