젠슨 황 엔비디아 CEO가 'CES 2026'에서 공개한 검은색 랙(Rack), 'ICMS(추론 맥락 메모리 플랫폼)'가 AI 반도체 시장의 새로운 게임 체인저로 떠올랐습니다.
그동안 HBM(고대역폭메모리)에 집중되었던 AI 인프라의 관심이 이제는 대용량 SSD(솔리드스테이트드라이브)와 낸드플래시로 확장될 조짐입니다.
이번 발표의 핵심은 'KV 캐시(Key-Value Cache)'입니다. 생성형 AI가 사용자와 대화를 나눌 때, 이전 대화의 맥락을 기억하고 정교한 답변을 내놓기 위해 저장하는 임시 데이터들을 말합니다.
문제는 AI 모델이 고도화되고 기억해야 할 정보량이 폭증하면서, 비싸고 용량이 적은 D램이나 HBM만으로는 이 방대한 데이터를 감당하기 어려워졌다는 점입니다. 이에 엔비디아는 HBM보다 저렴하면서도 전원이 꺼져도 데이터가 날아가지 않는 대용량 SSD를 해결사로 등판시켰습니다.
공개된 ICMS는 엔비디아의 최신 데이터처리장치(DPU)인 '블루필드-4'를 탑재해 성능을 극대화했습니다. DPU는 CPU가 내리는 명령을 효율적으로 분배하고 통신을 책임지는 '행정보급관' 역할을 합니다.
이 DPU가 랙 하나당 무려 9,600TB(테라바이트)에 달하는 SSD를 제어하며, 기존 로컬 캐시와 맞먹는 초당 200GB의 전송 속도를 구현해냈습니다. 젠슨 황 CEO는 이를 통해 GPU당 약 16TB의 추가 메모리를 확보하는 효과를 얻게 되었다고 설명했습니다.
이는 한국의 삼성전자와 SK하이닉스에게도 희소식입니다. AI 시대의 주연 자리를 HBM에 내주었던 낸드플래시가 '추론용 AI' 시장의 필수재로 격상되었기 때문입니다.
실제로 SK하이닉스는 엔비디아와 협력하여 GPU가 CPU를 거치지 않고 SSD에 직접 접속해 데이터를 처리하는 차세대 기술 개발에 속도를 내고 있습니다. 바야흐로 AI 반도체 시장이 '학습'을 넘어 '추론'의 단계로 진입하며, 메모리 반도체의 새로운 황금기를 예고하고 있습니다.