엔비디아-AI 메모리 이제 시작? AI 학습, 추론을 넘어 기억까지 AI 메모리 시장가치 1350억 달러 전망

블로그 포스팅에 사용되는 모든 PPT는 직접 제작이며 뉴스기사나 자료의 출처는 PPT 슬라이드 내부에 출처를 표기하였습니다.

PPT가 필요하신 분은 아래 다운로드 버튼을 누르시면 됩니다.

2026 AI 메모리 시장 전망 1000억달러.pptx

2.80MB

2026 AI 메모리 시장 1350억 달러 전망

2026년 가트너(Gartner)의 보고서에 따르면 AI메모리 반도체의 시장가치가 1350억 달러~1400억 달러를 예상하고 있습니다.
2025년 가트너(Gartner)의 보고서에는 AI메모리 반도체의 시장가치를 950억 달러 정도를 전망했는데 불과 1년 만에 40% 정도의 성장을 예상하고 있습니다.
이번 포스팅에서는 그 이유가 무엇인지 왜 이렇게 메모리 반도체에 열광하는지를 분석해 보도록 하겠습니다.

오픈 AI의 등장(챗GPT)의 등장

2022년말 오픈 AI(챗GPT)의 등장으로 2023년부터 엔비디아의 GPU(그래픽카드)의 연산방법이 부각되며 엔비디아의 그래픽카드 산업이 급성장하였습니다.
그 후 엔비디아는 AI칩의 선두주자가 되어 AI산업을 이끌어가는 한축으로 성장합니다.

엔비디아의 성장

엔비디아의 GPU(그래픽카드)의 연산방법은 인텔이나 AMD의 CPU의 연산방법과는 달라 '반복적인' 업무에는 속도를 높이기 쉽다는 장점이 있습니다. 
 

CPU와 GPU의 결정적인 차이

CPU는 슈퍼 천재 한 명이 모든 연산을 다 책임지는 방식을 택하고 있습니다.
그에 반해 GPU는 일반인 절대다수를 이용한 연산을 하는 방식을 택하고 있습니다.
이 둘의 차이가 반복적인 일을 하는 AI 연산속도에는 결정적인 차이를 가져오게 됩니다.
CPU가 속도를 높히려면 슈퍼 천재의 능력을 향상하거나 슈퍼 천재 한 명을 더 구해야 되는 반면
GPU는 일반인을 이용하므로 절대다수의 숫자를 늘려나가면 속도가 상승하는 방식입니다.
특별한 생각 없이 계속 같은 일을 반복하는 AI의 속도 상승에는 GPU가 최적화되어 있었던 것입니다.

CPU는 이제 사양산업인가?

젠슨황의 발언에 따르면 CPU는 GPU를 돌리기 위한 지휘관으로 필요한 존재입니다.
이 슈퍼 천재가 만든 길을 따라서 GPU가 반복합니다. 즉 CPU가 '오케스트레이터' 역할을 하기 때문입니다.
새로운 길을 개척하는 CPU, 개척된 길을 따라 작업을 하는 GPU 이 둘의 시너지가 필요한 게 AI산업입니다.

특수부대 LPU와 TPU

CPU가 개척 한 길을 절대다수의 GPU가 하려고 한다면 한계는 존재합니다.
좁아터진 자리에 처리해야 되는 양이 많아지면 사람도 늘어난다는 뜻으로 밥그릇이 많아진다는 것이니까요.
이 한계를 극복하기 위해 특수부대가 투입됩니다. 
GPU가 하는 일을 도와주는 '전문 기계'가 바로 LPU와 TPU입니다.
NPU와 TPU는 특정 AI 연산(추론)만 하도록 설계된 전문 기계입니다. 이 기계들이 투입되면 GPU가 필요한 사람의 숫자가 줄어들고 그만큼 필요한 밥그릇도 줄어들게 됩니다. 

HBM의 역할

그렇다면 요즘 핫한 HBM의 역할은 무엇일까요?
HBM은 CPU와 GPU의 보급기지 역할입니다.
GPU가 일을 하는데 CPU가 개척한 길이 점점 멀어지기 시작하면 움직여야 되는 거리가 멀어집니다.
연산에 필요한 데이터를 초고속으로 실어 나르는 최전방 거점
하지만 HBM도 결국 D램이다 보니 장기 저장은 불가능합니다.
처리한 데이터를 잠깐 보관하고 옮기는 간이창고 그게 HBM의 역할입니다.
하지만 HBM은 D램을 쌓고 쌓고 쌓고 쌓는 기술로 D램을 계속 쌓아서 처리하다 보니 전기 밀도가 최악입니다.
D램을 1단 올린다는 것은 아파트 층수가 늘어나는 것과 같습니다.
똑같은 높이의 아파트에 층수가 추가되어 가구수가 늘어나 밀집도가 높아지면 결국 에어컨등 전기를 많이 먹는 결과를
초래합니다.

AI에는 DDR이 더 이상 필요가 없을까?

제미나이가 그린 AI모식도를 보면 D램의 자리는 HBM이 대신하고 있습니다.
그러면 AI산업에는 더 이상 D램이 필요가 없을까요?

HBM로의 전환

D램이 HBM으로 전환하기 시작한 2023년 D램의 가격도 같이 오르기 시작합니다.
HBM도 결국 D램 기반이라 웨이퍼를 통해 생산을 하며 웨이퍼는 DDR보다 많이 소모합니다.
반도체 기업들이 돈이 되는 HBM의 생산을 늘리다 보니 DDR5 생산에 쓸 웨이퍼가 줄어들기 시작합니다. 
역설적이게도 HBM의 수요가 증가하다 보니 DDR5의 재고가 줄어들며 공급가격이 동반 상승하게 됩니다.

AI 산업에는 낸드와 DDR의 역할은 없는 것 아닌가?

DDR이 컴퓨터, 모바일 외에 어디 쓰이길래 가격이 이렇게 오르고 재고가 없는지 궁금하실 겁니다.
하지만 AI가 똑똑해지면 똑똑해질수록 학습해야 되는 데이터의 양은 방대해집니다.
그렇기 때문에 저장장치의 용량도 커져야 되고 속도도 어느 정도 따라와 줘야 HBM까지의 병목 현상이 적습니다.
HDD는 용량을 키우는 데는 최적화되어있지만 속도가 너무 느려 AI 데이터산업에는 맞지 않는다는 것이 저의 생각입니다.
그렇다면 저장장치는 SDD로 가야 되는데 여기에 사용되는 칩이 NAND FLSH입니다.
그렇기에 낸드산업의 시장성이 점차 부각되고 있습니다.

 
데이터의 양이 점점 많아지다 보니 비싼 HBM으로는 들어오고 나가는 모든 데이터를 커버하기가 힘듭니다.
모든 데이터를 전부 커버하기에는 비용이 너무 비싸기 때문입니다.
그래서 점차 부각되고 있는 것이 이 가성비 칩인 DDR5입니다.
오래전부터 생산되어왔고 재고도 있으며 HBM보다 싸다 보니 넓은 범위에 깔 수 있습니다.
어차피 통로 역할만 해주면 되니 도로를 8차선 10차선으로 넓게 깔아버리면 되기 때문입니다.
HBM이 국도라면 DDR5는 넓은 고속도로 역할을 하는 것입니다.

AI의 메모리 투자는 데이터센터까지다?

시장의 일부에서는 데이터센터 건설이 끝이 나면 이제 HBM의 필요성도 감소하고 그렇게 되면 메모리는 다시 싸질 것이라는 시선도 있습니다.
하지만 AI의 선두주자로 자부하는 엔비디아, 엔비디아의 CEO 젠슨황이 CES 2026에서 한 말이 있습니다
"메모리는 이제 시작이다" 이 발언은 제가 보기엔 '기억'을 두고 한말이라고 생각합니다.
계속 커지는 데이터 저장장치의 용량과 이동량 이 모두를 커버하기엔 메모리의 역할이 너무 중요합니다.

빅테크의 목표

빅테크는 LLM을 위해 경이로운 투자를 하는 것이 아닙니다.
빅테크의 막대한 LLM 투자는 최종 목표라기보다,
휴머노이드·로보틱스 등 물리적 AI로 확장되기 위한 중간 단계로 해석할 수 있습니다.
빅테크의 목표는 데이터센터 와 연결시킬 휴머노이드 산업입니다.
그 시스템을 이어 주기 위해 꼭 필요한 것이 전송망, 그리고 메모리 반도체칩입니다.
데이터센터에서 '기억'하고 있는 정보를 휴머노이드 '메모리 반도체칩'에 전송시켜 휴머노이드가 움직일 수 있도록 해주는 게 메모리 반도체의 역할입니다.
빅테크가 꿈꾸는 휴머노이드 산업의 시대에서 나타날 사회의 변화와 혁신은 과연 어떤 모습일까요?
 

요약정리

AI반도체의 시장전망이 1350억 달러에 정도라고 합니다.
메모리 반도체의 중요성이 다시 부각되기 시작하고 방대한 양의 데이터를 전송시킬 통로의 역할을 하는 것이 DDR5
그 데이터를 기억하는 것이 낸드 산업입니다.
DDR5의 재고부족이 언제까지 이어질까요?, 메모리 반도체 산업은 이제 끝일까요?
엔비디아의 젠슨황이 그런 말을 했습니다. "메모리는 이제 시작이다"
이 발언은 아마 데이터센터의 역할인 '기억'과 휴머노이드의 메모리칩을 염두에 둔 발언이 아니었을까요?
빅테크의 목표는 LLM이 아닌 휴머노이드 산업입니다. 그 목표를 위해 경이로운 투자를 하고 있는 지금
과연 빅테크가 바꿀 사회의 모습은 어떤 모습일까요?
 
 
본 포스팅은 특정 종목에 대한 매수 또는 매도 추천이 아니며, 필자의 개인적인 리서치 및 분석 과정을 정리한 기록입니다.
모든 투자에 대한 최종 결정과 책임은 투자자 본인에게 있으며,
본 블로그의 내용은 투자 결과에 대한 법적 근거로 사용될 수 없습니다.
본 블로그의 공지사항은 https://datainsight-15.tistory.com/notice/4 를 참고 바랍니다.

방구석 초짜 리서처 블로그에 오신 것을 환영합니다.