SK, 9월 15~17일 美서 열린 ‘AI 인프라 서밋 2026’ 참가
HBF·PIM·SALT-KV 등 차세대 AI 메모리 솔루션 소개
HBF, 추론 중심 에이전틱 AI 시대 열 AI 메모리 기술로 주목
HBF 표준화 착수…“AI 시대, 고객 맞춤 메모리 솔루션 제시”
PIM, 데이터 병목 현상 완화·연산 성능 및 전력 효율 개선
SALT-KV, 한정된 메모리 자원 활용 효율 높이는 첨단 기술

고대역폭메모리(HBM)를 앞세워 인공지능(AI) 반도체 시대를 선도하고 있는 SK하이닉스가 미래 새 먹거리를 발굴하는 데 박차를 가하고 있다.

SK는 현재의 그래픽처리장치(GPU)와 HBM 구조만으로 AI 인프라의 새로운 요구 사항을 충족하기 어렵다고 보고, 하드웨어와 소프트웨어를 아우르는 차세대 AI 메모리 솔루션을 고도화하는 데 방점을 찍었다. 이를 위해, SK하이닉스는 AI 발전 속도에 맞춰 고객에 최적화된 솔루션을 제공하는 ‘풀스택 AI 메모리 크리에이터’로서의 위상을 공고히 한다는 구상이다.

SK하이닉스는 15일(현지시간)에서 사흘간 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 참가했다.

이번 서밋에서 가장 큰 주목을 받은 곳은 바로 SK하이닉스였다. SK는 ‘뉴 스펙트럼(New Spectrum)’이라는 슬로건을 내걸고, 지난해보다 두 배 확장된 전시 부스를 마련했다.

SK하이닉스는 이번 행사에 차세대 AI 메모리 솔루션을 대거 소개하며, AI 인프라 분야에서 한발 앞선 기술 경쟁력을 재확인했다.

먼저 전시 부스 뒤편에 SK하이닉스의 기술 비전을 그래픽으로 구현했다. 그 왼편에는 별도의 전시 공간을 마련해 PIM(Processing-In-Memory), SALT-KV(Semantic-Aware Lifecycle Tiering for KV Cache) 등의 혁신 기술을 전시했다. 또한  고대역폭플래시(HBF) 구조 모형도 배치했다. 

9월 15~17일 사흘 간 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 마련된 SK하이닉스 전시 부스. <사진=SK하이닉스>

이번 서밋에서 무엇보다 관람객들의 관심이 집중된 곳은 HBF 섹션이었다. 관람객들은 HBF 소개 영상을 끝까지 시청하는가 하면, 모형 앞에서 HBF의 구조를 꼼꼼히 살펴보며 오랜 시간을 보냈다.

HBF는 HBM과 대용량 저장장치인 솔리드스테이트드라이브(SSD) 사이에 위치하는 차세대 낸드플래시 솔루션이다. HBM의 뛰어난 성능과 SSD의 대용량 특성 사이의 공백을 메우며, 추론 영역에서 요구되는 용량 확장과 전력 효율성을 동시에 확보했다는 평가를 받는다. 기존의 HBM이 최고 수준의 대역폭을 담당하는 가운데, HBF가 이를 보완하는 구조다.

실제 최근 AI 산업은 거대언어모델(LLM)을 만드는 학습 단계에서 실제 서비스를 제공하는 추론 단계로 무게 중심이 빠르게 이동하고 있다. 여기서 주목할 점은 AI 서비스 이용자가 급증하면서 빠르고 효율적인 메모리 수요 또한 가파르게 늘고 있는 반면, 기존 메모리 구조만으로 추론 단계에서 요구되는 대용량 데이터 처리와 전력 효율성을 동시에 충족하기 어렵다는 것이다. 이같은 한계를 해결할 수 있는 대안으로 등장한 것이 바로 HBF다.

HBF는 기존 HBM 처럼 실리콘관통전극(TSV) 기술을 적용해 기존 저장장치의 대용량 특성은 물론 높은 고대역폭까지 구현했다. 이에 추론 중심의 에이전틱 AI 시대를 열어갈 핵심 AI 메모리 기술로 큰 주목을 받고 있다.

HBF의 성장 가능성을 엿본 SK는 글로벌 표준화를 추진하는 데 팔을 걷어붙였다. SK하이닉스는  앞서 지난 2월 미국 캘리포니아주 밀피타스에 위치한 샌디스크 본사에서 ‘HBF 스펙 표준화 컨소시엄 킥오프’ 행사를 열고, AI 추론 시대를 겨냥한 HBF 글로벌 표준화 전략을 발표했다.

SK는 샌디스크와 함께 HBF를 업계 표준으로 마련해 AI 생태계 전체가 함께 성장할 수 있는 기반을 구축하겠다고 자신했다.

SK하이닉스 관계자는 “세계 최대 개방형 데이터센터 기술 협력체 OCP 산하 핵심 과제 전담 협업 체계인 공동 워크스트림을 샌디스크와 함께 구성해 본격적인 표준화 작업에 착수했다”고 강조했다.

9월 15일부터 사흘 간 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 마련된 SK하이닉스 전시 부스. <사진=SK하이닉스>

SK의 구상대로 글로벌 표준이 마련되면, HBF는 AI 시스템의 확장성을 높이면서도 전체 운영 비용을 줄이는 데 큰 역할을 할 것으로 기대를 모은다. 업계는 HBF를 포함한 복합 메모리 솔루션에 대한 수요가 2030년 전후로 본격 확대될 것으로 보고 있다.

AI 추론 시장에서는 단일 칩의 성능보다 중앙처리장치(CPU)·GPU·메모리·저장장치를 아우르는 시스템 레벨 최적화가 경쟁력을 좌우한다. 이에 HBM과 HBF를 모두 제공할 수 있는 종합 메모리 솔루션 기업의 역할이 더 중요해지고 있다.

SK하이닉스는 샌디스크와 함께 HBM과 낸드 분야에서 쌓은 설계·패키징 기술과 대량 양산 경험을 바탕으로, HBF의 빠른 표준화와 제품화를 선제적으로 추진한다는 구상이다.

안현 SK하이닉스 개발총괄(CDO) 사장은 “AI 인프라의 핵심은 단일 기술의 성능 경쟁을 넘어 생태계 전체를 최적화하는 것”이라며 “HBF 표준화를 통해 협력 체계를 구축하고, AI 시대 고객·파트너를 위한 최적화된 메모리 아키텍처를 제시함으로써 새로운 가치를 창출하겠다”고 밝혔다.

9월 15~17일 사흘 간 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 마련된 SK하이닉스 전시 부스. <사진=SK하이닉스>

HBF 뿐만이 아니다. SK하이닉스의 PIM, SALT-KV 섹션에도 관람객들의 이목이 집중됐다.

PIM은 메모리 내부에 연산 기능을 탑재해 프로세서와 메모리 사이의 데이터 이동을 줄이는 기술이다. 데이터 전송 과정의 병목 현상(Memory Wall)을 완화하면서도 연산 성능과 전력 효율을 높일 수 있는 차세대 솔루션으로 꼽힌다.

관람객들은 PIM 기술이 AI 서비스 효율을 얼마나 높일 수 있을지 높은 관심을 드러냈다. 특히 AiM(Accelerator-in-Memory) 칩과 AiMX(AiM based Accelerator) 카드가 실제 장착된 서버 등을 보며 AI 기술의 진일보를 체감했다.

SALT-KV는 LLM의 KV 캐시(Key Value Cache)를 문맥 단위의 세그먼트로 나눠 재사용 가치와 저장 비용을 종합적으로 판단하고, 이에 따라 데이터를 HBM·D램·SSD 중 가장 적합한 저장 계층에 배치해 한정된 메모리 자원 안에서 활용 효율을 높이는 첨단 기술이다.

이번 전시에서 SK는 SALT-KV 솔루션의 작동 방식과 실제 AI 시스템에서의 데이터 저장 변화 양상을 데이터로 직접 확인할 수 있도록 했다.

9월 15~17일 사흘 간 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 마련된 SK하이닉스 전시 부스. <사진=SK하이닉스>

SK하이닉스는 AI 기술발전 속도에 맞춰 다양해지는 고객의 요구에 적극 대응하겠다는 입장이다.

임의철 SK하이닉스 솔루션AT담당은 16일(현지시간) 열린 데이터 이동 트랙 세션에서 ‘AI 인프라의 새로운 스펙트럼 PIM, HBF & More(Beyond One-Size-Fits-All: PIM, HBF and More for the New Spectrum of AI Serving)’을 주제로, 현재 진행 중인 차세대 칩 기술의 연구개발(R&D) 성과를 공유했다.

임 담당은 “초저지연 에이전트 서비스부터 비용 효율성이 중요한 장문 콘텍스트 서비스까지 AI 워크로드가 다양해지면서, 기존의 GPU-HBM 구조만으로는 새로운 요구 사항을 충족하기 어려워지고 있다”며 “SK하이닉스는 변화한 워크로드에 맞춰 하드웨어와 소프트웨어를 아우르는 새로운 AI 메모리 솔루션으로, HBF과 PIM, 그리고 SALT-KV 등을 준비하고 있다”고 강조했다.

글로벌 AI 메모리 시장을 선도하고 있는 SK하이닉스는 AI 시대 핵심 메모리칩인 HBM의  뒤를 이을 차세대 AI 메모리 솔루션을 서둘러 확보해 독보적인 위상을 구축한다는 포부다. 이를 기반으로 고객 맞춤형 AI 인프라 솔루션을 제공하는 ‘풀스택 AI 메모리 크리에이터’의 지위를 공고히 다지겠다는 뜻을 분명히 했다.

SK하이닉스 관계자는 “이번 AI 인프라 서밋 참가를 통해 HBF·PIM·SALT-KV 등 차세대 AI 메모리 솔루션을 소개하고, AI 인프라 혁신을 이끌어갈 SK하이닉스의 비전을 공유했다”며 “앞으로도 AI 시대의 다양한 요구에 한발 앞서 대응할 수 있도록 첨단 기술 경쟁력을 강화해 나가겠다”고 말했다.

[CEO스코어데일리 / 오창영 기자 / dongl@ceoscore.co.kr]