KV 재사용·희소 Attention·MLA·Engram·Host DRAM/SSD 배치와 Decode 최적화
2026-10-16 · 기술 / 실사용 / 정책 / 이익
AI 생산 경쟁이 토큰에서 유효 업무당 원가로
HBM 용량·GPU 사양 극대화 → 같은 품질·SLA의 종합 시스템 원가
계산·메모리 대역폭/용량·상태 재사용·일정·전송 중 어떤 병목이 실제 사용자 속도와 비용을 결정하는지가 바뀜 차세대 DRAM 셀 제조의 W2W 채택은 HBM D2W 접합과 별도 산업 메커니즘이다.
긴 세션/높은 동시성의 유료 요청 구성, 품질 보존, TTFT/TPOT/p90 SLA
고급 메모리 수출통제와 중국 DRAM 경쟁, 관련 실제 인증 여부 확인
유료 완료업무 수 × 실현 서비스 단가 − GPU/HBM/Host DRAM/SSD/전력·운영 원가
같은 기술 흐름 안에서도 가격·판매량·제조원가·수율·대체효과는 기업마다 다릅니다. 시장 성장과 기업 초과이익을 자동으로 연결하지 않습니다.
서로 경쟁하거나 보완하는 실제 변화
병렬 선택지는 가로로, 각 카드 안의 현 상태와 이후 선택지는 세로로 표시합니다.
변화 1
모델·데이터 접근
기존 방식·평가 전제
전체 상태 계산·검색
새로운 선택지·조건
KV 압축·희소읽기·조건부 learned lookup
이익 포착을 판정하는 기준
전체 서비스 처리량·정확도·캐시 비용
변화 2
HBM·DRAM·SSD
기존 방식·평가 전제
HBM GB 확대가 주 수요축
새로운 선택지·조건
Bandwidth/Capacity 최적화와 Host 메모리 배치 경쟁
이익 포착을 판정하는 기준
XPU 수×스택 수×Hi×die GB×ASP/GB−원가
변화 3
DRAM 4F²·W2W 제조 선택
기존 방식·평가 전제
서버 DRAM 비용·공급은 셀 단위 면적과 HBM 용량 변화로만 설명
새로운 선택지·조건
4F² VCT/VSG Cell-on-Peripheral W2W 시험칩 실증과 서버 DDR5 제품 양산/고객인증·Wafer bond 공정의 독립 채택 검증
이익 포착을 판정하는 기준
공정별 Good Bits/Wafer·실제 서버 DDR 고객 구매·W2W 신규 장비 발주 구분
기존 42개 밖 독립 연구 · 신규 세부 가설은 아래에 연결(고객·매출 검증 전)
변화 4
상태형 서빙
기존 방식·평가 전제
독립 요청·통합 풀
새로운 선택지·조건
KV 재사용·복구, 통합 vs Prefill/Decode 분리
이익 포착을 판정하는 기준
재계산·복원·전송 포함 SLA당 TCO
변화 5
속도·실행 SW
기존 방식·평가 전제
일률적인 token/$
새로운 선택지·조건
속도 프리미엄과 Day0 kernel 최적화
이익 포착을 판정하는 기준
프리미엄 토큰 실제 지불과 GPU 가동률
어느 조건에서 이 내러티브가 약해지나?
HBM 고적층 확대와 Host DRAM bit 증가가 반드시 공급자 이익 증가를 뜻하지 않음; CXMT 양산·마진 검증 필요
HBM 적층에 관한 전망 간 상충은 제품/SKU·SLA별 시나리오로 유지연결된 심층 분석
HBM 적층과 본딩 경제성 계산기 →판단 근거 · 신뢰 경계
확인 범위 시계열 상충·그림 일부 재판독
미검증 HBM wafer/제품별 실제 2027이익은 미실증
확인 범위 학회 연구용 실제 fabricated device와 read/write
미검증 양산 장비PO·제품서버고객인증·W2W 단독 Die/Wafer 개선 미확인