ChatGPT(챗GPT)와 같은 생성형 AI 서비스의 등장으로 클라우드 기반의 서버는 빠르면서도 대용량의 데이터 처리가 필요하게 되었습니다. 이로 인해 서버의 온도증가와 용량증설이 이슈가 되자, 서버의 발열을 줄여주면서도 증설비용을 현격히 줄여주고 처리속도는 크게 높여줄 수 있는 기술이 서버와 GPU 등의 시장에서 크게 인기를 얻게 되었습니다. 따라서, AI와 빅데이터에 필수적인 3가지 메모리 기술 HBM, CXL, PIM 에 대해 소개하고자 합니다.

AI와 빅데이터에 필수적인 3가지 메모리 기술 HBM, CXL, PIM 은 무엇인가?

HBM(High Bandwidth Memory)

1. HBM이란?

HBM은 High Bandwidth Memory의 약자로, 저용량의 D램 칩 여러개를 적층기술을 이용해서 데이터 전송의 통로를 넓혀줌으로써 데이터 처리속도를 혁신적으로 증가시킨 고대역폭, 초고속 메모리입니다. 국내의 SK하이닉스는 2,013년 처음으로 TSV((Through Silicon Via) 기술로 저용량의 겹쳐진 D램 칩 사이사이에 수천 개의 데이터 전송로를 만들어 고용량, 초고속 HBM을 구현했습니다.

2. SK하이닉스 HBM 의 인기배경

초기의 HBM은 게임콘솔이나그래픽카드에 커스터마이징된 특수한 형태로 개발되었기 때문에 시장규모가 전체 메모리의 1%에 지나지 않았습니다. 하지만, 챗GPT와 같은 생성형 AI가 짧은 기간에 큰 인기를 얻게 됨에 따라 HBM의 수요도 급증하게 되어 그간의 노력이 보상을 받게 되었습니다. SK하이닉스는 이미 10여년전 앞으로의 메모리가 초고속 대용량 데이터 처리가 필요할 것임을 간파하여, 틈새시장에 불과한 HBM을 고객의 요구에 맞는 커스터마이징을 적극 추진하여 기술개발을 계속하여 2,013년 세계 최초로 HBM을 개발하게 되었습니다.

10년이 지난 2,023년 현재 글로벌 메모리 선두업체인 삼성전자는 HBM시장에 대한 수요판단에 대한 착오로 만년 2위였던 SK하이닉스에 최근 D램 메모리에 대한 주도권을 내어주게 되었습니다. 더구나 DDR5 D램 메모리의 수율과 불량율 문제로 시장에서 기존에 쌓아오던 메모리 왕국의 명성에 오점을 남기며 고전을 면치 못하고 있습니다. 영원한 1등은 없다는게 맞는 말입니다.

3. CPU에 내장된 HBM

인텔 Xeon CPU Max 시리즈(코드명: 사파이어 래피즈HBM)에는 HBM을 처음으로 내장하여 모델링, 인공지능, 딥 러닝을 위한 솔루션을 제공하고 있습니다.이 시리즈는 HBM이 탑재된 인텔 x86 기반의 첫 프로세서입니다.

4. 전세계 1위 GPU 개발사인 엔비디아의 적극적인 HBM 도입

챗GPT의 출현으로 거대 기업들이 앞다투어 AI개발에 참여하면서 생성형 AI 구동에 필수적인 고성능 GPU가 품귀현상을 보이기 시작함에 따라서, 엔비디아의 H100, H200과 같은 고성능 GPU의 인기와 함께 여기에 필수적인 HBM의 수요도 급격히 증가하여 대량생산이 가능한 SK하이닉스의 매출과 인기도 급증하게 되었습니다. H100 GPU에는 현재 최고의 성능인 SK하이닉스의 HBM3가 같이 탑재되었고 내년 2,024년에 개발될 H200 GPU는 성능이 개선된 HBM3E가 같이 탑재될 예정입니다.

AI용 GPU의 성능을 올리기 위해서는 고성능, 대용량의 메모리를 사용해서 입출력 데이터의 처리속도를 높여주는 것이 핵심이며, 이 메모리가 바로 HBM입니다. AI GPU시장에서 엔비디아의 점유율은 90%가 넘으며 현재 H100의 대량주문이 쏟아지고 있는 것으로 알려지고 있으며, 챗GPT 개발사인 오픈 AI사의 LLM(거대 언어모델) 인 GPT-4에도 엔비디아의 GPU H100 에 1만여개가 탑재될 것으로 알려지고 있습니다.

반도체 메모리의 실적이 저조한 불황기에 구세주로 나타난 챗GPT로 인해 고성능, 대용량 GPU와 HBM이 2,023년 반도체 업황의 부활을 이끌고 있습니다. 따라서 SK하이닉스를 필두로 삼성전자의 HBM도 시장에 크게 부각되고 있습니다. 시장조사업체 트렌드포스(TrendForce)는 HBM의 시장규모가 올해부터 2,025년까지 매년 45%이상의 성장을 예상하고 있습니다.

5. HBM3E는 2,024년 AI와 슈퍼컴퓨터를 위한 초고성능 5세대 HBM

SK하이닉스는 지난해 6월에 HBM3의 초기양산을 시작으로 올해 2,023년 4월에는 저용량의 D램 단품 12개를 적층해서 현재 최고 용량인 24GB HBM3를 개발하였으며, 내년에는 5세대 HBM3E버젼을 양산하고 6세대 HBM4도 개발하여 AI와 슈퍼컴퓨팅에 활용될 HBM을 준비할 예정입니다.

CXL(Compute Express Link)

1. CXL과 PCIe

CXL(Compute Express Link)은 고성능 데이터센터 컴퓨터에서 CPU와 주변장치(GPU,가속기 등), CPU와 메모리간의 고속,대용량 데이터처리를 위해 설계된 오픈 규격입니다. 기존의 D램은 CPU와 직접연결이 된 별도의 독립적인 인터페이스를 갖는 구조로서 한개의 CPU가 D램을 독점해서 사용합니다.

하지만, CXL은 PCIe(Peripheral Component Interconnect Express) 인터페이스를 통해 D램을 확장(Expansion)하거나 공유(Pooling)할 수 있습니다. CXL은 2,019년 처음 제안이 되었으며 고성능, 저전력을 통해 시스템 운영비용을 줄일 수 있는 장점으로 주요 빅테크 기업의 주목을 받아 오고 있습니다.

PCIe 인터페이스는 기존의 SATA방식의 인터페이스의 성능한계를 극복한 고속의 인터페이스로서 이것을 이용하는 대표적인 주변장치로는 M.2 SSD(Solid State Drive)와 그래픽카드(VGA)를 들 수 있습니다. 이처럼 PCIe 인터페이스를 활용하는 주변장치들이 점점 들어나는 경향을 보이고 있으며, 확장과 공유가 쉬워지게 되었습니다.

2. 메모리 확장(Memory Expansion)

• 확장성(Expansion): CXL 1.1
• 공유(Pooling): CXL 2.0

기존의 컴퓨팅 시스템은 CPU를 중심으로 각각의 주변장치간에 별도의 인터페이스가 존재해 주변장치간에 통신이 필요할 때마다 독립적인 인터페이스를 다 거쳐야 하는 바람에 속도저하가 발생을 하게 됩니다. 더구나 AI, 딥 러닝과 같은 데이터 처리량이 많은 경우에는 속도저하가 더욱 크게 발생합니다.

그러나 CXL 기술을 활용하면 기존의 주변장치에 존재하는 인터페이스를 PCIe로 통합해서 각각의 주변장치로 직접 연결해 줌으로써 처리시간이 크게 단축되게 됩니다. PCIe 빈 슬롯에 CXL D램을 추가로 장착하면 D램의 용량을 추가로 확장할 수 있습니다.

HBM은 데이터 센터와 같은 대형시스템에서는 지속적으로 인기를 얻을 것으로 예상되지만, 발열과 높은 비용으로 인해 전체 메모리 시장의 15~20% 정도의 시장 점유율을 가질 것으로 예측을 하고 있습니다. CXL은 HBM과 마찬가지로 고성능, 대용량 메모리라는 공통점이 있지만, 역할이 다르다고 할 수 있습니다. HBM은 H100과 같은 GPU에 전용 메모리로 장착되어 빠른 성능을 지원하지만, 처리용량과 대역폭을 쉽게 늘릴 수가 없고 가격면에서 상당히 비싼 편입니다. 반면에 CXL D램은 PCIe slot을 통한 확장성을 큰 무기로 갖고 있어, 서버당 메모리의 용량을 8~10배로 확장할 수 있게 됩니다.

3. 메모리 공유(Memory Pooling)

메모리 공유기술은 서버 플랫폼에서 CXL D램 여러개를 하나의 메모리 풀(Pool)로 묶은 후, 여러개의 호스트(Host)가 메모리를 원하는 만큼 나워서 이용하는 기술입니다. 이 기술을 활용하면 CXL D램의 모든 영역을 효율적으로 사용하게 됨에 따라 서버의 운영비를 줄일 수 있습니다.

4. CXL을 통한 삼성전자의 반격과 칩설계업체의 동참

HBM 시장에서 SK하이닉스에 밀려서 2위로 주춤한 삼성전자는 CXL D램 시장을 빠르게 선점해서 명예를 회복하고자 반격을 준비하고 있습니다. 삼성전자는 2,022년 5월경 CXL 1.1 규격의 CXL D램을 개발한지 1년만에 CXL 2.0 규격을 지원하는 128GB D램을 개발하여 상용화를 이루게 되었습니다. 특징을 보면 가장 최신의 PCIe 5.0 규격과 35GB/s의 최대 전송대역폭을 지원합니다. 또한 메모리 공유(Memory Pooling) 기술을 지원합니다.

삼성전자는 CXL D램 제품 4종류(CMM-D, CMM-DC, CMM-H, CMM-HC)의 상표를 출원하면서 CXL D램의 출시가 임박했음을 알렸으며, CXL 2.0 128GB D램을 올해안으로 양산을 함으로써 CXL D램의 시장 생태계를 빠르게 만들어 갈 계획입니다. CMM은 CXL Memory Module의 약자로서 JEDEC(국제 반도체 표준화 기구)에서 정의한 CXL 탑재 메모리 규격입니다.

그런데 여기에 필요한 CXL 컨트롤러 칩을 중국의 팹리스 업체인 몬타지테크놀로지로부터 CXL 컨트롤러를 구매해서 적용하고 있었기 때문에, 수익성 개선을 위해 컨트롤러 자체개발을 진행하게 됨에 따라, CXL 2.0 D램의 양산계획도 2,025년으로 연기한 것으로 알려졌습니다. CXL D램은 삼성전자와 SK하이닉스는 물론 인텔, AMD, 엔비디아 등의 칩 설계회사도 많은 관심을 가지고 있으며, 인텔도 내년 CXL 2.0 기반의 서버용 CPU를 선보이며 CXL 시장에 참여할 계획으로 알려졌습니다. 2,028년 CXL D램 시장은 대략 20조원에 달할 것으로 전망됩니다.

PIM(Processing in Memory)

1. PIM, 폰 노이만 컴퓨터 구조(Von Neumann Computer Architecture)를 거부하다

PIM 기능을 가진 D램은 폰 노이만 컴퓨터 아키텍쳐에서 연산과 기억을 CPU/GPU와 메모리로 나눠서 수행을 하던 방식을 개선해서 D램 자체에 연산기능을 추가한 지능형 메모리입니다. 이렇게 하면 CPU/GPU와 메모리간의 전송률저하로 인한 병목현상을 개선할 수 있게 됩니다.

2. PIM D램의 장점

• 기존 메모리 대비 최대 4배 이상의 성능개선
• 70% 더 적은 전력사용
• 시스템 개선 및 변경이 없이 쉬운 확장 적용가능

PIM D램을 이용하게 되면 연산이 끝난 부분의 데이터만 CPU로 전달받기 때문에, 병목현상과 잦은 데이터 교환으로 발생하는 컴퓨터의 전력소모를 크게 개선할 수 있게 됩니다. 삼성전자의 PIM기술은 PCU(Programmable Computing Unit)를 메모리 내부에 적용해 기존 메모리 보다 쵀대 4배 이상의 성능개선을 할 수 있습니다.

AMD CEO 리사 수는 반도체 기술학회, ISSCC 2,023에서 기존 메모리에 PIM 기술을 적용할 경우, 연산에 필요한 전력을 85% 이상 절감할 수 있다고 발표했습니다. 이러한 장점으로 인해 PIM 기술은 AI, 딥 러닝 등의 대규모 연산이 필요한 연산작업에 큰 성능을 보여줄 것으로 기대됩니다.

3. 삼성전자의 HBM-PIM, CXL-PIM 개발

삼성전자는 엔비디아 GPU H100의 새로운 경쟁제품인 AMD의 MI-100에 탑재되는 HBM을 납품한 적이 있는데, 현재는 HBM3에 PIM기능이 탑재된 HBM3-PIM 메모리 공급을 추진중에 있습니다. 이 메모리에는 PIM기능이 탑재되어 있어 메모리 대역폭으로 인한 병목현상을 개선할 수 있습니다.

또한 이 PIM기능을 CXL D램에도 적용하기 위한 연구개발도 진행하고 있습니다. PIM 메모리의 PCU는 CPU내의 멀티코어 프로세싱처럼 병렬처리도 가능한데, 음성 AI에 적용할 경우 HBM-PIM 대비 2배 이상의 성능 향상을 입증하였습니다.

HBM, CXL, PIM 은 AI와 빅데이터에 필수적인 3가지 메모리 기술

챗GPT의 갑작스러운 등장은 생성형 AI개발을 촉발하게 됨에 따라서 이를 구현하기 위한 고성능, 고용량의 GPU와 메모리가 필요하게 되었습니다. 이러한 AI 반도체 개발의 붐에 따른 메모리 신기술이 인기를 얻게 되었고 그 기술들이 HBM, CXL, PIM 기술입니다. 2,023년에는 반도체 개발 및 제조사들은 이 3대기술을 이용해 긴 시간의 불황기를 탈출할 절호의 기회를 맞이하고 있습니다.