모델·기억 접근
기존 방식
전체 상태의 반복 재계산·광범위 조회
이후 · 새로운 선택지
압축·Sparse·Engram 경로를 따로 검증
바뀌는 경쟁 조건
같은 품질의 연산·전송 비용
큰 흐름 2 / 5 · 기존 통분석 재구성
토큰 생성 경쟁에서 실제 서비스 원가 경쟁으로
더 많은 FLOPS보다 같은 품질·속도 SLA에서 완료 가능한 작업과 메모리 활용이 중요해진다.
장문맥·에이전트·고속 응답의 공존
작업별 문맥 길이·동시성·지연 요구가 서로 다름
문맥·동시성·응답 SLA가 달라지면 상태 저장과 재계산·전송 비용의 최적점도 달라진다
HBM 대역폭·실효 용량, Host DRAM/SSD 접근 지연, KV 이동과 디코드 지연은 워크로드에 따라 다르게 작용한다.
병렬 영역은 4개입니다. 각 영역 안에서 기존 방식 ↓ 새로운 선택지를 비교하며, 모두 동시에 채택해야 하는 것은 아닙니다.
병렬 경로 4개 · 좌우로 밀어 비교
HBM·DRAM·SSD 배치
기존 방식
HBM 용량을 중심으로 보수적으로 확보
이후 · 새로운 선택지
HBM 적층·Host DRAM·SSD를 접근 빈도에 따라 배치
바뀌는 경쟁 조건
SLA 고정 메모리 원가
상태형 서빙
기존 방식
독립 요청 스케줄·KV 재계산
이후 · 새로운 선택지
KV-aware 라우팅과 워커 구성 선택
바뀌는 경쟁 조건
세션당 원가·p90 지연
속도·소프트웨어 품질
기존 방식
최대 전체 처리량·피크 벤치마크 중심
이후 · 새로운 선택지
사용자 TPS·SLA와 커널·모델 회귀 검증
바뀌는 경쟁 조건
실현 속도 요금과 안정성
Engram과 세션별 KV Cache를 구분하고, P/D 분리·통합은 서로 경쟁하는 운영 방식으로 판단한다.
동일 모델·품질·p90 응답 조건을 고정해야 전체 서빙 비용을 비교할 수 있다
같은 모델·정밀도·동시성·p90 SLA로 비교하고 병목 이동을 추적
새 경쟁 조건: 유효 작업량 / 총운영비
토큰/달러·토큰/와트에 더해 완료 업무당 원가와 안정성
이 큰 흐름의 핵심 검증 질문
메모리·커널·상태 관리의 부분 최적화가 실제 서비스의 같은 품질·SLA 기준 전체 비용 개선으로 이어지는가?
이 큰 흐름을 이루는 세부 변화
원래 8개 상세 페이지를 보존했습니다. 서로 다른 기술과 구매 단위를 확인해 보세요.
1
모델·기억 접근
압축·희소 읽기와 학습된 Engram 조회는 다른 기법
2
HBM·DRAM·SSD 배치
HBM BW·용량과 KV Hot/Warm/Cold Set의 서로 다른 최적점
3
상태형 서빙
KV 세션 라우팅과 P/D 분리·통합의 경제적 선택
4
속도·소프트웨어 품질
Premium Decode 및 신모델 Day0/DayN 대응
원문 재독으로 확인한 변화
같은 기술이라도 발행 시점과 구매시장이 달라진다
연관된 글을 원인·구매자·반례로 대조했어. 상위 지도를 강제로 하나의 직렬 화살표로 만들지 않고 조건별로 연결한다.
Rubin Ultra HBM 1TB·192GB 전망은 시점과 SKU별로 비교 필요
2025년 8월·2026년 2월 글의 GPU당 약 1TB 예상과 2026년 9월 글의 192GB/2-die 예상은 모델·SKU·발행시점이 다르다.
확인할 전이: 스택 높이 → BW·KV 용량·양품 웨이퍼 → HBM/서버 DRAM 생산량 → 총시스템 원가·기억장치 기업 이익.
반대 조건: 모델·KV가 3배 커지는 후속 시뮬레이션에서는 일부 SLA에서 8-hi가 4-hi보다 경제적. 192GB도 공식 확정 SKU인지 별도 확인.
[U 2026-04] Google 공식 TPU8t·8i와 Broadcom 2031 계약으로 2025 전망 수정
Google은 학습 TPU8t/저지연 서빙 TPU8i를 공개. Broadcom SEC 8-K는 차세대 TPU·네트워크 공급계약 최대2031년과 Anthropic 2027+ 약3.5GW 접근 계획을 공시.
확인할 전이: 직접판매·클라우드 임대 → 실제 고객 SKU·포팅·인도 → 유료 가동·현금·기업별 마진.
반대 조건: 2025 익명 TPUv8AX/v8X와 2026 공식 8t/8i를 자동 1:1 매칭 금지. 3.5GW 예정은 인도·가동 IT MW 및 매출 실적과 다름.
[U 2026-02~03] HBM4 공급사 전망과 실제 회사 생산·출하 발표 구분
2026-02 Memory Mania는 초기 Rubin HBM4 SKH60%/삼성30%/Micron0% 예측. 삼성 2월 HBM4 상용 출하·Micron 3월 Rubin용 HBM4 12Hi 양산 출하를 발표.
확인할 전이: 공급사 발표 → 고객 Qualification·양품 Stack 인도 → 상품ASP·wafer allocation·제조사 실현마진 분리.
반대 조건: Micron의 공식 출하가 실제 NVIDIA 고객 점유율 0% 예측의 자동 반증은 아니며 점유율·마진 모두 별도 실측 필요.
연결 원문 3편·읽은 범위·검증 한계
R06 · TPUv7: Google Takes a Swing at the King2025-11-28
본문 515행 재독. 이미지 링크 63건은 위치 확인만; 원본 픽셀 0/63, 계약·TCO 독립 검증 미완료
원문 사본 열기 ↗R12 · Scaling the Memory Wall2025-08-12
본문 469행 재독. 외부 그림 URL 26건 확인, 픽셀 0/26, 고객 Custom Base Die 양산 실증 미완료
원문 사본 열기 ↗R13 · Memory Mania2026-02-06
본문 319행·Drive 그림 23/23건 직접 열람. 수요 부족·wafer 배분·ASP 그래프는 저자 모델로 원시 셀 재현 안 됨
원문 사본 열기 ↗원문 본문 선형 독해는 문장별 역방향 누락 감사가 아니다. 차트 그림·시뮬레이터 수치와 기업의 실제 발주·인도·마진을 별도 확인해야 한다.
Drive 원문별 감사 문서 ↗검증 지표 · 반대 근거 · 출처
다음에 확인할 것
- 같은 품질에서 p90 TTFT·TPOT·완료 업무당 TCO
- HBM 대역폭/용량 사용, Host DRAM·SSD 실제 접근 및 오프로딩 지연
- Day0/30/90의 신모델 호환·SLA 유지
과잉 통합을 막는 반대 조건
- Engram 학습 테이블과 세션별 KV는 다른 저장 대상
- HBM 4/8/12-hi는 같은 명목 BW라도 실효 BW·KV 공간·Good Cubes/Wafer와 원가가 달라질 수 있음
- 저적층의 경제성은 동시성·문맥·향후 모델·DRAM Offload에서 역전 가능
분석 근거의 경계
기존 SemiAnalysis A/B/C 통분석과 42개 세부 흐름 원장을 재조합한 분석자의 가설입니다. 여기서 전체 원문·그림을 새로 전수재독하거나 실측 주문·양산 자료를 재검증한 것은 아닙니다. 개별 상세 페이지에서 기존 보고서와 범위를 확인할 수 있습니다.