C04세부 흐름도AI 가속기·메모리

현행 큰 흐름 3 · 추론·메모리 ↗

HBM Hi가 높을수록 좋다는 가정을 분해

XPU 개수·XPU당 스택 수·스택당 Hi·Die당 GB·ASP/GB와 Good Stacks/Wafer가 독립적이다. BW 최적 SKU와 Capacity 최적 SKU는 다른 제품 선택

P0 · 우선 검증: 고객 지출·대체재·수익 해석이 크게 바뀔 수 있는 쟁점

확인할 이유: 4-hi 우위의 시뮬레이션 가정과 3배 모델 시나리오에서 8-hi 역전이 메모리 수요/고객 경제성을 크게 바꿈

최신 인과 감사 · 2026-10-16 · 세부 흐름 C04

HBM Hi가 높을수록 좋다는 가정을 분해

기존 인과 구조 수정

이전 분석에 새로 추가된 근거: MEM-2410 · CXMT-1012. 산업 가설의 재평가이며, 원문 모든 문장·그림과 고객 수주를 새로 전수 검증했다는 뜻은 아닙니다.

현행 7+1 소속 · 추론·메모리 ↗

최신 W2W↔D2W 전파감사 v2.2 ↗ · 세부흐름 최신 v2.0의 변경·반증 이력 ↗

기존 내러티브의 전제

GPU당 HBM 적층 수와 용량이 계속 커져 공급사 초과 수익이 는다

수정한 인과·대안

XPU 개수·XPU당 스택 수·스택당 Hi·Die당 GB·ASP/GB와 Good Stacks/Wafer가 독립적이다. BW 최적 SKU와 Capacity 최적 SKU는 다른 제품 선택

경쟁·보완하는 세부 경로 5개

1

GPU·ASIC 출하

기존의 기대

고적층 SKU만 팔려도 총수요 증가

바뀐 선택·조건

총 XPU 판매 대수의 실제 고객·세대 증가

승패를 가를 실제 관측

단일 고객 중복 주문 제외

2

스택 구성

기존의 기대

GPU당 스택 수가 늘지 않아도 고적층 충분

바뀐 선택·조건

HBM 스택/XPU 및 I/O·shoreline 제약 변화

승패를 가를 실제 관측

Stacks per XPU·실효 BW

3

스택 적층 수

기존의 기대

16Hi 등 High-Hi 확대가 필연

바뀐 선택·조건

4/8/12/16Hi 선택은 비용·BW·용량·수율 균형

승패를 가를 실제 관측

Die per Stack·package yield

4

Die당 비트

기존의 기대

Hi만 중요

바뀐 선택·조건

층당 DRAM Die GB 증가 가능

승패를 가를 실제 관측

Die area·wafer yields

5

ASP·Good Wafer

기존의 기대

적층 증가=마진 증대

바뀐 선택·조건

GB당 실현 ASP·불량 손실·양품 Stacks/Wafer에 따라 이익 달라짐

승패를 가를 실제 관측

고가 프리미엄과 고객 가격 재협상

제품 수요가 이동하는 경로

총 HBM 판매 GB = XPU수×스택/XPU×Hi×GB/die; 매출 = 해당 GB×ASP/GB

기술

4/8/12/16Hi별 실제 실효 BW·GB·양품 wafer 원가 및 SLA 최적 선택

사용

고동시성·장문맥 유료 사용에서 요구하는 GPU당 HBM GB/스택

정책

DRAM 생산국별 공급/수출 규제, CXMT 서버 RDIMM 양산/인증 여부

이 해석을 뒤집을 조건

저적층 설계로 Hi·ASP 성장 축이 사라진 만큼 XPU/스택 출하가 기대 이상 늘지 못함

이 수정에 연결된 새 근거 2건 ＋

MEM-2410 · 메모리 최적 층수·대역폭·Host DRAM 경쟁 · 2026-09~10

근거 종류: 분석 통합 + 저자 전망

고적층 수요·용량 성장과 고대역폭 수요를 분리한다. 저적층 제품·DRAM 오프로딩은 HBM 매출 구성요소와 서버 DRAM 수익성을 동시에 바꿀 수 있음.

반론·미확인: 한 모델·특정 SLA에서 저적층 유리하다는 것은 전체 제품/출하 구조의 확정이 아니며 더 긴 모델/KV 및 동시성에서 역전.

원장 또는 원자료 ↗

CXMT-1012 · CXMT 4F² DDR5 RDIMM 진입 계획 · 2026-10-12

근거 종류: 2차 산업 보도 (출시 계획)

HBM을 Host DRAM으로 이전해도 서버 DRAM 희소성·마진 프리미엄이 유지된다는 가정을 조건부로 낮춤. 별도 장비 시나리오: 셀 어레이/주변회로를 연결하는 4F² DRAM의 wafer-level hybrid bonding 경로를 HBM D2W와 분리 평가. 삼성 2026 ISSCC 실증과 CXMT 2026-10-10 제품 계획은 다른 회사·다른 성숙도다.

반론·미확인: 2026년 말 출시 계획은 수율·실제 고객 인증·출하량이 아님. CXMT의 4F² RDIMM 발표에는 제품 속도·용량·고객 검증·양산 수율 정보가 없어 W2W 장비 수요 확정 불가. 출처는 TrendForce가 제3자 발언을 전한 2차 보도. W2W 채택 여부·고객 양산 외에 삼성 ISSCC 16Gb 학회 결과를 CXMT 제품 성능으로 전용할 수 없음.

원장 또는 원자료 ↗

다른 흐름과의 조건부 연결 4건

두 산업의 변화를 기계적으로 연결하지 않습니다. 어떤 실제 조건에서 한쪽이 다른 쪽을 촉진·대체·잠식하는지 기록합니다.

B01C04대체·상쇄

성립 조건KV 압축·희소화가 동일 품질에서 HBM 유효 용량/읽기량을 줄이는 경우

수혜 이동HBM GB/워크로드 증가율 하방 가능

금지할 비약HBM BW·XPU 수 증가나 다른 동시성 증가까지 동시에 감소했다고 일반화 금지

C04C06대체·보완

성립 조건일부 Warm KV를 DRAM으로 이동시키되 HOT HBM bandwidth와 복원 latency를 유지할 때

수혜 이동HBM GB 성장속도 vs Host DRAM bit 수요 재배분

금지할 비약서버 DRAM 공급자의 ASP/마진 동반 증가 단정 금지

C04E02조건부 채택

성립 조건HBM stack 높이와 bump pitch가 실제 TCB 공정 수율·두께 제약을 초과할 때만 D2W HB 유인 확대

수혜 이동신규 Hybrid bonder 채택률

금지할 비약높은 Hi만으로 모든 HBM에 하이브리드 본딩 양산 필연 가정 금지

C04H03생산 병목 이동

성립 조건Hi 변경으로 Good HBM Stack/wafer와 logic/package 협업 공급량이 달라질 때

수혜 이동최종 출하량 제한 공정 이동

금지할 비약HBM 양품 스택 수 증가를 완성 GPU 출하 증가와 혼동 금지

기존 2026-10-14 인과 도식 · 변경 전 가설 보기
변화의 출발점

HBM4E의 대역폭·적층 높이·생산량을 재설계

4/8/12-hi로 달라지는 용량과 양품 웨이퍼 사용, 고객별 Workload Mix

문제와 제약

동일 명목 대역폭과 실효 용량의 경제성은 다르다

최소 Hot Set 이하일 때 용량 부족, 이상일 때 BW·GPU/네트워크·비용 병목으로 이동

경제성 판단 요소

5개 분석 경로

수요·성능·원가를 판단하는 여러 변수입니다. 세 제품이 나란히 판매되는 독립 시장을 의미하지 않습니다.

병렬 경로 5개 · 좌우로 밀어 비교

명목·실효 대역폭

평가 변수·제약

HBM4E 2,048핀×13Gb/s = 명목 3,328GB/s/stack 가정

비교·검증 대상

HBM I/O 속도·활성 버퍼 읽기

관련 구매자

GPU/ASIC·메모리 설계

용량·동시성·KV

평가 변수·제약

4/8/12-hi=16/32/48GB/stack 예시, concurrent KV·weights 입주

비교·검증 대상

Stack 용량·GPU당 GB·KV Placement

관련 구매자

모델 서빙·가속기 설계

사용자 SLA·Batch

평가 변수·제약

TPS/사용자, p90 TTFT/TPOT, Prefill/Decode 구성과 동시성

비교·검증 대상

Tokens/s/XPU·SLA 최적화

관련 구매자

AI 클라우드 고객

수율·가격·웨이퍼

평가 변수·제약

4-hi Good Cube/DRAM Wafer 증가 가능 vs base die/패키징 고정원가

비교·검증 대상

GB당 가격·수율·HBM 생산원가

관련 구매자

HBM 공급자·구매자

미래 모델·운영기간

평가 변수·제약

3배 커진 가중치·KV와 고동시성, 5년 장비 수명, DRAM Offload

비교·검증 대상

4/8/12-hi 시나리오·Headroom

관련 구매자

장기 GPU 시스템 개발·운영

수요 연결 · 검증 전 가설

같은 SLA 하의 양품 스택별 유효 Token·총소유원가 비교

명목 BW만으로 스택을 선택하지 않고 BW/GB·Hot Set·캐시 배치·원가·미래 모델 시나리오와 고객 실계약을 동시에 검증

가치 포착 여부는 별도 검증

가치사슬과 기업 경쟁력 변화

가속기 업체의 총 Token/$, HBM 공급사의 양품 wafer당 이익, DRAM 전체 비트수요는 서로 다른 평가 분모

이 구조는 기존 분석을 재표현한 것이며, 기술 채택·외부 유료 구매·기업 이익의 발생을 자동으로 뜻하지 않습니다.

핵심 검증 질문

저적층 설계로 Hi·ASP 성장 축이 사라진 만큼 XPU/스택 출하가 기대 이상 늘지 못함

기존 검증 질문(보존): 4/8/12-hi의 양품 스택 원가·실효 BW·KV 용량·동시성과 p90 SLA를 같이 보아도 같은 스택이 최적인가?

P0 심층 근거 대조 · 2026-10-14

원문에서 무엇을 확인했고, 무엇이 아직 가설인가

GPT-6 · 세부 추론 강도 미확인 · 원문 1–173행 확인 · 직접 확인한 그림 19/19개

S · SemiAnalysis 원문

[S] 2025 R12 RubinUltra 약1TB GPU 예측과 2026-02 R13의 1TB HBM 웨이퍼/비트 수요 전망은 2026-09 Short King의 192GB/2 compute dies 저자 예측과 다르다. R12의 Custom Logic Base Die·PHY·DDR tier/TSV Vendor 대응은 채택 가능성 가설, R13의 HBM wafer share20→35% 및 공급부족 수치는 저자 proprietary model 전망이지 최신 관측값이 아니다.

R12 2025-08-12 L150–209·L248–448 / R13 2026-02-06 L136–318
U · 시계열 외부 검증

Samsung Semiconductor HBM4 상용 출하 발표: 2025-08 기사에 등장한 ‘양품 확보가 지속 불가’ 평가의 시계열 재점검 필요.

2026-02-12 회사 공지 · 회사 발표는 실출하 신호이나 고객별 승인·wafer 수율·기여 마진은 독립 실사 전.근거 문서 확인 ↗
I · 자체 해석·검증 가설

[I] C04에서 Low stack의 tokens/HBM wafer와 메모리 업체 Good Cubes/wafer·ASP, 상품 DDR bit output·가격은 서로 다른 보상 축. 제조단/Foundry/PHY-IP 가치 이전과 고객/메모리 업체 마진을 각각 추정해야 하며 2026-02 수급 전망은 2026-09 SKU 수정 가정으로 재산정 필요.

새로운 구매와 초과이익 발생은 아직 검증하지 못했음
구매시장별 단위·대체 경로 보기 ＋

4hi HBM4E Stack

구매자: GPU/ASIC 설계 고객

거래단위: 양품 cube당 BW·GB·price

기존 근거: 원문 L42–46 2,048 pins/512 per die와 제조원가 가정

대체·내재화: 8/12hi 동일 BW·더 큰 용량

8hi/12hi HBM4(E)

구매자: 고동시성·대형 모델 플랫폼

거래단위: GPU당 유효 hot KV·weights / stacking yield

기존 근거: 원문 FIG015/016/017 3x 모델 반례

대체·내재화: 4hi + 더 넓은 scale-up/Host DRAM 오프로딩

Host DRAM·KV placement

구매자: AI 클라우드 서빙 개발사

거래단위: 재사용 KV GB·저장 시간·SLA

기존 근거: 원문 L114–126 + FIG014 실험

대체·내재화: HBM 상주·재계산·압축·Sparse 모델

HBM 공급사 양품 수율

구매자: 메모리 제조·고객

거래단위: Good cubes/wafer, base-die·본딩 cost, realized margin

기존 근거: 원문 L150–172 공급 논리

대체·내재화: 고적층 ASP 프리미엄·수율·시장 power 대비

원문·그림 감사 범위와 전체 근거 ＋

저장 원문 173/173행 및 그림 19/19 파일 열람. FIG003/008/013/018/019는 외부 기사 프리뷰. FIG011–012/015–017 시뮬레이션, FIG014 제한 HBM 프록시 시험. 실물 HBM4E 4hi·8hi 비교 또는 독립 원시 모델/원가 재현이 아님.

원문 Drive Clipping ↗ · SemiAnalysis 발행 원문 ↗

원문 주장의 출처

R12 2025-08-12 L150–209·L248–448 / R13 2026-02-06 L136–318: [S] 2025 R12 RubinUltra 약1TB GPU 예측과 2026-02 R13의 1TB HBM 웨이퍼/비트 수요 전망은 2026-09 Short King의 192GB/2 compute dies 저자 예측과 다르다. R12의 Custom Logic Base Die·PHY·DDR tier/TSV Vendor 대응은 채택 가능성 가설, R13의 HBM wafer share20→35% 및 공급부족 수치는 저자 proprietary model 전망이지 최신 관측값이 아니다.

L14–46 · FIG001/002/004: [S] Rubin Ultra 192GB/8hi 확정 및 과거 계획 축소는 SemiAnalysis의 2026-09 출처 주장이다. 2048핀 HBM4E/13Gb/s의 3328GB/s 명목 peak BW/stack과 4hi/8hi/12hi의 capacity는 다른 성능축; 같은 실효 BW·동등 신뢰성을 보장하지 않음.

L48–98 · FIG005/009/010: [S] BW/token 예산 33.28GB at 100 tok/s, stack read/token 4hi 2.08·8hi1.04·12hi0.69은 단일 토큰 이상적 계산, Batch·실제 KV·모델·실효 BW를 무시한 roofline 예시다.

L100–112 · FIG011/012: [S] 2.8T Kimi K3 + 미래 Rubin Ultra NVL576 가정에서 8hi 전체 시스템 비용 +12.1%, 12hi +26.3% (4hi 대비)로 모델링, peak throughput 각각 +7.9%/+10.5%이므로 저적층 유리하다는 저자 결과. 미래 SKU/원시 단가 표 미공개.

L114–126 · FIG014: [S] 16×GB300(8 Prefill/8 Decode) 실측 Proxy: GPU HBM 사용상한 92%→85%로 축소해 KV 용량을 줄였음. 동시성 70 초과에서 처리량 ~30% 악화, Host DRAM 읽기 >10x. 4hi 메모리 패키지 물리 도입 실험은 아님.

L128–142 · FIG015–017: [S] 3× Kimi K3 weights와 KV를 미래 모델로 가정하면 8hi/4hi throughput 최대 +36.3%; 비용+12.1%을 넘어 SLA 180 tok/s/user 이하에서 8hi 유리. 4hi 승리가 보편 법칙이 아니라는 원문 자체 반례.

L144–172 · FIG018/019: [S] 4hi 토큰/웨이퍼 및 메모리 업체 이익 증가 주장 중 10% $/GB premium은 SemiAnalysis 모델 가정. 특정 최신 모델의 비공개 looped transformer 아키텍처를 X 게시물만으로 확정했다고 한 문구는 근거가 약해 사실 승격 금지.

시계열 공식·외부자료

2026-02-12 회사 공지 · Samsung Semiconductor HBM4 상용 출하 발표: 2025-08 기사에 등장한 ‘양품 확보가 지속 불가’ 평가의 시계열 재점검 필요. — 회사 발표는 실출하 신호이나 고객별 승인·wafer 수율·기여 마진은 독립 실사 전.

2026-08-04 · 기사 이전 외부 보도 · TrendForce는 Rubin Ultra 메모리 구성이 HBM4E 8hi/12hi, HBM4 8hi/12hi 등 복수 검토 대상이며 당시 최종 확정 전이었다고 보도. — SemiAnalysis 9월 글보다 이전 시점 보도. 9월 이후 실제 확정 신규 발표를 대신하지 않음.

2026-03-16 Micron 공식 · Rubin용 HBM4 12Hi 36GB 고량생산·출하 발표. — 2026-02 Rubin 점유 Micron0% 예측과 시계열 대조. 실제 점유율·마진 독립 확인 전.

독립 해석

[I] C04에서 Low stack의 tokens/HBM wafer와 메모리 업체 Good Cubes/wafer·ASP, 상품 DDR bit output·가격은 서로 다른 보상 축. 제조단/Foundry/PHY-IP 가치 이전과 고객/메모리 업체 마진을 각각 추정해야 하며 2026-02 수급 전망은 2026-09 SKU 수정 가정으로 재산정 필요.

[I] 4hi는 2048핀 BW를 상대적으로 더 적은 DRAM wafer bit로 제공할 잠재적 효과가 있지만 Hot set 이상 용량은 필요 없다는 전제가 맞아야 한다.

[I] 실효 tokens/$, tokens/W, tokens/good HBM wafer는 서로 다른 분모이며 공급사 별 ASP·양품률·Base die 고정원가를 분리해 메모리 기업 이익을 모델링해야 한다.

[I] 저적층 제품에 고객이 $/GB premium을 지급할지는 실제 계약으로 확인하기 전까지 시뮬레이션 가정이다. 데이터 재사용·KV offload·동시성·모델 크기 OOS에서 4hi 우위가 역전될 수 있다.

아직 확인하지 않은 것

  • R12 저장본 469행·이미지 URL26건(픽셀0/26) 원문 재독. R13 저장본 319행·Drive 원본 그림23/23개 판독. R13 모든 그래프 수치의 proprietary Model 원시 가정·실제 2026 최신 수급/판매가격은 미검증.
  • 19/19 이미지 파일은 판독했으나 5개는 관련 기사의 프리뷰이고 SemiAnalysis 유료 Memory Model 원시 입력셀·GPU 원가/HBM ASP·stack 수율 검증 없음.
  • 8/12hi 실제 조건에서 4hi보다 더 큰 Token/$이 나오는 3x-model 시나리오의 OOS 검증 미완료. 16×GB300 제한 실험과 물리적 4/8hi 비교를 분리.
  • Rubin Ultra의 192GB/8hi 확정 사양은 공식 제품 SKU 현행 자료로 검증하지 않음. 특정 GPT 아키텍처 루머 문장은 독립 사실 아님.

판단을 깨는 반례

  • 미래 모델/캐시가 커져 낮은 HBM 용량으로 SLA를 못 맞추고 DRAM 오프로딩 증가로 GPU idle이 상승.
  • 4hi 공급자가 10% $/GB premium을 실거래로 받지 못하거나 base-die/품질 비용 증가로 margins 악화.
  • 실제 BW/SI/열·패키지 수율·가격과 웨이퍼 공급 제약이 2,048핀 명목 계산을 뒤집음.
2026-10-14 구매시장 가설·기존 검증 지표 · 이전 분석

예상되는 구매자·기능 (독립 구매 검증 전)

  • HBM I/O 속도·활성 버퍼 읽기 — GPU/ASIC·메모리 설계
  • Stack 용량·GPU당 GB·KV Placement — 모델 서빙·가속기 설계
  • Tokens/s/XPU·SLA 최적화 — AI 클라우드 고객
  • GB당 가격·수율·HBM 생산원가 — HBM 공급자·구매자
  • 4/8/12-hi 시나리오·Headroom — 장기 GPU 시스템 개발·운영

실제로 관측할 지표

  • 명목 3,328GB/s/stack vs 실효 측정 bandwidth; 4/8/12hi 16/32/48GB/stack; 모델 weights·실시간 KV·Working Buffer의 실제 입주
  • 원문 Kimi K3 NVL576 시뮬레이션 4-hi 기준 8hi+12.1%/12hi+26.3% 시스템 비용 가정, 동일 SLA에서 throughput 차이
  • 원문 모델·KV 3x 반례는 SLA <180 tok/s/user에서 8hi이 4hi보다 유리 가능. 고객별 장문맥·고동시성 분포와 비교
  • GB300 16장 시험: HBM 허용량 92%→85% 변형이 실제 4hi vs8hi 물리 비교가 아님; concurrency >70 근처 병목과 DRAM read >10× 점검
  • 동일 Good Cube/DRAM Wafer, Base Die·본딩 Yield·가격/GB·영업이익; 4-hi 10% $/GB premium은 발행처 모델 가정
  • HBM Stack/Good Cubes/Wafer·실제 비트 출하·DRAM wafer 전환·Commodity DDR 판매가격과 실현 마진을 각각 구분

반대 경로와 실패 조건

  • 긴 문맥과 고동시성·모델 규모 증가로 더 높은 HBM 용량의 유효 batch가 중요해질 수 있다(원문 3x 모델 시나리오).
  • FP8/FP4·MoE expert parallel·Prefix reuse·Compaction·Host DRAM Offload가 Hot Set을 바꾸므로 과거 샘플이 향후 모델 대표가 아닐 수 있다.
  • 2026-08-04 TrendForce는 Rubin Ultra 8hi/12hi HBM4e·HBM4 대안 검토, 규격 미확정이라고 보도; 2026-09의 SemiAnalysis 192GB SKU 주장을 공식 확정 사양으로 표기하지 않는다.
  • 원문이 특정 최신 GPT 모델의 looped transformer 구성을 확정이라고 주장해도, 비공식 X 게시물만으로 아키텍처를 확정할 수 없다.
  • 피크 I/O 핀 수 동일이 실효 GB/s, 전력·SI·수리/열, 패키징 양품률을 동일하게 보장하지 않는다.
  • 2026-02 Memory Mania의 Micron 초기 Rubin HBM4 점유0% 전망은 2026-03 출하 발표와 분리·재검증해야 한다. 실제 공급사별 매출·비율 미확인.

연결된 다른 세부 흐름

  • C04↔B03·C06: 세션의 KV 이동·재계산·Host DRAM/SSD 비용과 각 HBM stack 적층의 용량가치는 조건부 연계.
  • C04↔C03·C05: Rack-scale MoE 통신·패키지 PHY 면적 및 Custom Base Die 비용은 독립적인 시스템 제약.
  • C04↔H03: DRAM 웨이퍼를 4-hi로 덜 쓰더라도 Base Die·Logic·CoWoS·전력 투입이 전체 출하를 제한할 수 있다.
  • C04↔C05↔H03↔G03: HBM Stack Height, TSV·Custom Base Die와 commodity DRAM wafer/bits·가격·고객 실현 TCO의 경제성 분모가 서로 다름. 2025/Feb2026 RubinUltra 1TB 전망→2026-09 192GB 전망 수정.
기존 원문 근거 · 읽기 범위와 검증 Gate

분석 기준일:

2026-10-14 P0 정독: 2026-09-13 SemiAnalysis Long Live the Short King 저장원문 173/173행, 원본 그림/마커 19/19 파일 직접 판독. 이 중 FIG003/008/013/018/019는 링크된 관련기사 프리뷰로 메인 그래프·독립 근거가 아님. FIG014의 16GB300 HBM 접근 제한 시험은 실물 4-hi stack 장착 실험이 아니며 FIG011/012/015/016/017은 미래 NVL576 시스템 기반 시뮬레이터 가정. 관련 R12 Scaling the Memory Wall 469/469행·R13 Memory Mania 319/319행 텍스트 재독. R12 원격 이미지 픽셀0/26·R13 Drive 원본 그림23/23개 확인(원시 Memory Model 셀 미검증). 공급사 실제 계약/wafer 수율/원시 TCO 셀·문장별 역순 1:1 감사 OPEN. [S]/[U]/[I] 구분. GPT-6 / reasoning effort 미확인. 2026-10-14 연결원문 R12 469/469행·이미지 링크26(픽셀0) 및 R13 319/319행·그림 파일23/23 픽셀 직접 검토. R12 old RubinUltra1TB와 2026-09 192GB의 서로 다른 SKU/다이 수·시점, R13 commodity DRAM wafer allocation 및 장기 ASP를 상충 조건으로 추가. 원시 Model/TCO 및 공식 RubinUltra 최종 SKU 독립 확정 전.