고대역폭 메모리(HBM)

반도체가 AI를 계산하려면 계산할 데이터가 메모리에서 제때 도착해야 합니다. 계산 장치가 아무리 빨라도 데이터 전달이 늦으면 기다리는 시간이 생겨요.

HBM은 여러 개의 D램 칩을 수직으로 쌓고, 칩 사이를 TSV(Through-Silicon Via·실리콘 칩을 관통하는 미세한 연결 통로)로 이어 만듭니다. 옆으로 길게 연결하는 일반 메모리보다 한 번에 오갈 수 있는 데이터 양, 즉 대역폭을 크게 높이는 방식입니다.

다만 HBM은 칩을 쌓고 정밀하게 연결해야 해서 제조와 검사 과정이 복잡합니다. 그래서 일반 D램과 같은 방식으로 단순 비교하기보다는, 적용되는 AI 칩과 시스템 전체에서 역할을 봐야 합니다.

생성형 AI처럼 많은 데이터를 동시에 처리하는 작업은 메모리와 계산 장치 사이에 매우 빠른 데이터 이동이 필요합니다. 이때 HBM은 AI 가속기(대규모 AI 계산에 특화된 반도체)의 성능을 뒷받침하는 핵심 부품 가운데 하나로 쓰입니다.

AI 서비스를 대규모 데이터센터에서 운영하는 하이퍼스케일러(hyperscaler·아주 큰 규모의 클라우드·인터넷 사업자)는 많은 AI 서버를 운영할 수 있습니다. 따라서 이들의 AI 인프라 투자와 AI 반도체 수요는 HBM 수요를 살펴볼 때 함께 언급되곤 합니다.

하지만 AI 서버 수요가 늘어난다고 모든 HBM 제품이나 관련 기업의 실적이 같은 폭으로 움직이는 것은 아닙니다. 고객사의 인증, 생산 능력, 제품 세대, 패키징 공정 등 여러 조건이 함께 영향을 줍니다.

SK하이닉스와 삼성전자는 HBM을 개발·생산하는 주요 국내 메모리 기업입니다. 두 회사는 더 빠른 데이터 전송, 전력 효율, 적층 기술, 안정적인 양산 능력 등을 놓고 경쟁합니다.

HBM은 메모리 칩만 잘 만들어서는 충분하지 않습니다. AI 칩 설계 회사와의 호환성 확인, 첨단 패키징(여러 반도체를 한 제품처럼 연결·조립하는 기술), 품질 검증도 중요합니다.

HBM3, HBM3E처럼 뒤에 붙는 숫자와 문자는 세대를 구분하는 이름입니다. 세대가 달라지면 대역폭과 전력 효율 등의 특성이 달라질 수 있으므로, 이름만이 아니라 적용 제품과 규격을 함께 확인하는 편이 좋습니다.