[강해령의 하이엔드 테크] 삼성전자가 칼 갈고 준비한 메모리 新무기 3선

​

​

1. LLW

• Low Latency Wide I/O
• 온디바이스 AI 기기를 위한 용량 작은 고대역폭메모리(HBM)
• 기존 LPDDR D램보다 정보 출입구(I/O) 수를 대폭 늘려 데이터 이동 통로를 늘린 것이 특징
• 애플의 AR 헤드셋 '비전 프로'에 탑재된 SK하이닉스의 커스텀 D램

- 비전 프로 안에서 각종 외부 정보를 받아들여서 연산하는 'R1' 칩 바로 옆에 탑재가 된 D램

- 기존 LPDDR D램보다 입출구(I/O)수를 무려 8배 많은 512개를 뚫은 게 특징

• SK하이닉스의 커스텀 D램과 같은 I/O 수를 구현해서 LPDDR5 D램보다 2.5배 높은 초당 128기가바이트(GB) 대역폭을 구현

- 데이터 지연성(latency)은 LPDDR D램의 절반 수준이어서 병목 현상을 빠르게 해결

- 전력효율 개선 : LPDDR 칩이 비트당 3피코줄(pJ) 안팎의 전력을 소모하는 것에 비해 LLW D램은 동일 조건에서 70%나 줄어든 비트 당 1pJ을 구현

 

​

​

2. GDDR7

• 그래픽용 DDR 규격의 D램
• 그래픽처리장치(GPU)가 중용되는 AI 시장에서 대역폭과 용량이 '생명'이 되면서, GPU 옆엔 GDDR보다 HBM이 붙어있는 게 더 효율적이라는 프레임과 평가가 나온 뒤부터 소외되었으나

- 로우엔드(low-end)의 AI 시장에서는 HBM 대신 저렴한 GDDR을 쓸 여력

- 점차 게임기·VR 디바이스 역시 진화에 진화를 거듭할 것이기에 GDDR 성능과 시장 수준도 고도화가 예상

- 세계 GDDR 시장 매출은 2018년 32억 달러 규모에서 2030년 48억 달러까지 증가할 것으로 예상

• 최근 세계 반도체표준협회인 국제반도체표준협의기구(JEDEC)에서도 차세대 GDDR7 D램에 대한 표준을 공식화

- I/O 당 최대 속도를 초당 48Gb로 규정하고 PAM3 신호 방식을 처음으로 채택

• 지난해 7월 입출구 당 32Gb, 그러니까 1초에 320억 개의 0또는 1을 전송할 수 있는 초고속 D램을 세계 최초로 개발
• ISCC 발표에서 PAM3 신호방식으로 초당 40Gb 속도를 제시
• PAM (Pulse Amplitude Modulation)

- 반도체가 데이터 신호를 받아들이거나 외부로 전달할 때는 마치 맥박이 뛰는 것처럼 주기(사이클)가 있는데요. 한 맥박이 뛸 때, 그러니까 한 사이클마다 몇 번의 변조를 주면서 데이터를 전송할 수 있는가를 정한 일종의 규칙

​

3. HBM-PIM

 

• HBM의 한계

- 1024개의 I/O로도 여전히 병목 현상이 해결되지 않는다

- 물리적으로 I/O수를 늘려나가는 작업 또한 쉽지않아 HBM의 면적이 커질수 밖에 없음

• I/O에 관한 작업 외에도 아예 HBM 기본 구조에 손을 대는 방법을 고안한 것이 HBM-PIM (Processing In Memory)
• 메모리 내부에서도 연산을 하는 칩

- HBM 속 각 D램 안에는 비트를 저장하는 기억 상자(셀)들을 일정한 단위로 묶어놓은 Bank가 있는데, 각각의 뱅크에다가 GPU 안에서 데이터를 처리하는 '산술연산장치(ALU·Arithmetic and Logic Unit)'를 하나씩 배치한 콘셉트

① GPU가 “나 연산할 때 이러이러한 게 필요해”라는 인풋(input)을 HBM-PIM에 넣습니다.

② 각 뱅크에 배치된 ALU가 연산을 시작합니다.

③ PIM 장치가 없을 때는 HBM은 연산에 필요해보이는 온갖 매개변수(파라미터)들을 GPU로 던지듯이 전달했다면, HBM-PIM은 뱅크 내 파라미터를 선별하거나 그것들을 활용해서 연산.

④ GPU가 정말 필요한 파라미터만 걸러져 전달이 되거나, 이 ALU가 아주 새롭고 신박하지만 연산에 도움이 되는 결과값을 만들어 GPU에 전달

• 추론 단계 중에도 생성하는 단계에서 병목현상 줄어
• AMD 32M100 GPU와 HBM-PIM 연결시

- GPU 성능이 2.55배, 에너지 효율 2.67배 개선

• PIM 기술을 HBM 외에도 LPDDR D램에 접목 가능하다고 발표

​