캐시 보존보다 SLA별 상태 배치 선택
서로 다른 요청은 prefix 중복·worker 부하·오프로딩 통로에 따라 HBM 재사용·Host DRAM 복원·Re-prefill 비용 우위가 달라진다
P0 · 우선 검증: 고객 지출·대체재·수익 해석이 크게 바뀔 수 있는 쟁점
확인할 이유: 상태형 세션에서 KV 재사용/복원/재계산의 비용 최적점과 실사용 메모리 수요를 구분해야 함
최신 인과 감사 · 2026-10-16 · 세부 흐름 B03
캐시 보존보다 SLA별 상태 배치 선택
새 근거 반영이전 분석에 새로 추가된 근거: MEM-2410. 산업 가설의 재평가이며, 원문 모든 문장·그림과 고객 수주를 새로 전수 검증했다는 뜻은 아닙니다.
현행 7+1 소속 · 추론·메모리 ↗긴 세션이 모두 HBM 캐시를 보존해야 한다
서로 다른 요청은 prefix 중복·worker 부하·오프로딩 통로에 따라 HBM 재사용·Host DRAM 복원·Re-prefill 비용 우위가 달라진다
경쟁·보완하는 세부 경로 4개
HBM 핫 캐시
매 요청마다 KV 캐시만 늘려 저장
높은 Prefix overlap·빈번 재접근의 상태만 HBM에 보존
GPU 간 세션 위치/캐시 경쟁
Host DRAM 복원
상태를 지속 HBM에 머물게 함
Warm 상태를 DRAM에 뒀다가 재개 시 전송
실효 GB/s·p90 복원시간·CPU 메모리 비용
재계산 / Re-prefill
모든 상태를 물리적으로 복원
짧거나 드문 Prefix는 재연산을 선택
prefill compute 비용과 긴 문맥 tail
SSD 냉각 상태
대형 상태를 모두 2차 저장
긴 TTL·극저빈도만 NVMe 등에 보존
SSD IOPS·PCIe·복원·가격/성능
prefix hit·세션당 KV 크기·HBM Hot Set·실효 DRAM 전송 비용
실제 모델과 동일 SLA로 HBM hot vs Host warm vs re-prefill 비교
다중 턴/분기/동시성 조건별 세션 분포와 사용료
데이터·지역화 규정은 상태 외부 전송 허용 범위를 바꿀 수 있으나 단일 정책 수혜는 미확인
DRAM/SSD restore 지연이 p90 TTFT를 위반하거나 Hot prefix 적중률이 예상보다 낮음
이 수정에 연결된 새 근거 1건 ＋
MEM-2410 · 메모리 최적 층수·대역폭·Host DRAM 경쟁 · 2026-09~10
근거 종류: 분석 통합 + 저자 전망
고적층 수요·용량 성장과 고대역폭 수요를 분리한다. 저적층 제품·DRAM 오프로딩은 HBM 매출 구성요소와 서버 DRAM 수익성을 동시에 바꿀 수 있음.
반론·미확인: 한 모델·특정 SLA에서 저적층 유리하다는 것은 전체 제품/출하 구조의 확정이 아니며 더 긴 모델/KV 및 동시성에서 역전.
원장 또는 원자료 ↗다른 흐름과의 조건부 연결 3건
두 산업의 변화를 기계적으로 연결하지 않습니다. 어떤 실제 조건에서 한쪽이 다른 쪽을 촉진·대체·잠식하는지 기록합니다.
성립 조건에이전트의 긴 다중턴·재방문 세션이 실제 늘어난 경우에만 상태형 캐시·KV 복원 가치 확대
수혜 이동새 KV 메모리 요구
금지할 비약단발 요청의 대부분에도 동일한 KV 복원 수요가 생긴다고 전제 금지
성립 조건상태 KV가 장기 보존되고 Prefix overlap·TTFT 목표가 계층간 이동을 허용할 때
수혜 이동Host DRAM/Warm State 수요 증가 가능
금지할 비약SSD가 모든 KV의 직접 주 저장 장치가 되는 것은 아님
성립 조건로봇 일부 고차계획 모델을 원격 데이터센터에서 실제 상용으로 처리하고 세션 상태가 유지될 때
수혜 이동로봇 클라우드 추론·KV 수요 가능
금지할 비약모든 로봇의 액션 제어가 GPU 데이터센터로 이동한다고 가정 금지
기존 2026-10-14 인과 도식 · 변경 전 가설 보기
다중 턴·도구 실행·세션 재방문
긴 Prefix가 반복될 수 있으나 실제 재사용률·Compaction 분포는 고객별 다름
KV 재사용의 이익과 저장·이동·대기비용의 교환
Cache hit이 많은 worker도 과부하일 수 있으며 SSD 복원보다 재계산이 빠를 수 있음
상태 재사용·복원·재계산 결정
4개 분석 경로매 요청·세션의 Prefix overlap·worker 부하·저장·복원·재계산 비용에 따른 선택지입니다. 네 가지를 반드시 순서대로 거치지 않습니다.
다음 4개 중 비용·SLA 조건에 맞는 경로를 선택하며 네 단계를 반드시 차례로 진행하지 않습니다.
병렬 경로 4개 · 좌우로 밀어 비교
Hot KV 로컬 재사용
적중 worker가 여유·p90 SLA 예산을 충족
KV-aware Router·HBM Hot Cache
추론 플랫폼·GPU 클라우드
Shared DRAM에서 복원
Warm KV의 RDMA 복구비가 재계산보다 낮음
Shared DDR·NIXL/RDMA·Staging
추론 메모리·네트워크 운영
SSD의 Cold KV 재개
드문 장기 세션을 싸게 보관하고 나중에 복구
NVMe·Retention/Restore Policy
스토리지·AI 클라우드
KV 폐기 후 재계산
TTL·Compaction·Low hit·전송오버헤드로 보관이 불리
Re-prefill·Cache Eviction Policy
Inference Scheduler 개발팀
Cache affinity와 현재 부하를 함께 평가하는 의사결정
Prefix overlap·Worker Load·KV 전송·DDR/SSD 보관·재계산·p90 TTFT를 비교
가치사슬과 기업 경쟁력 변화
HBM hot working set·DRAM/SSD 보관 원가와 GPU 유휴비용을 합친 유료 세션당 순원가
이 구조는 기존 분석을 재표현한 것이며, 기술 채택·외부 유료 구매·기업 이익의 발생을 자동으로 뜻하지 않습니다.
핵심 검증 질문
DRAM/SSD restore 지연이 p90 TTFT를 위반하거나 Hot prefix 적중률이 예상보다 낮음
기존 검증 질문(보존): Prefix 재사용율과 worker 부하·TTFT SLA를 고정한 상태에서 HBM Hot reuse, DRAM/SSD restore, Re-prefill 중 최소 TCO 경로는 무엇인가?
원문에서 무엇을 확인했고, 무엇이 아직 가설인가
GPT-6 · 추론 강도 미확인 · 원문 1–565행 확인 · 직접 확인한 그림 29/29개
한 사용자의 여러 turn·도구 결과·복구가 이어지지만, 요청은 작업별 동시성·문맥·SLA가 다르다. 초기 Prefill과 긴 cached prefix에 새 입력을 붙이는 Midfill은 다르게 모델링한다.
L16–57 · 서비스/Prefill·Midfill·DecodeNVIDIA Dynamo의 KV-aware 라우터는 KV prefix overlap과 worker의 현재 prefill/decode 부하를 함께 고려해 배치한다.
2026-10 공개 문서 · 기능 구현 문서이지 실제 모든 고객에서의 ROI·마진 독립 입증이 아님.근거 문서 확인 ↗B03의 상태형 서빙은 단일 캐시 솔루션의 도입이 아니라 요청별 재사용 가능성·worker 부하·메모리 계층·재계산 비용을 비교하는 운영 의사결정이다.
새로운 구매와 초과이익 발생은 아직 검증하지 못했음구매시장별 단위·대체 경로 보기 ＋
KV-aware Routing
구매자: 추론 제공자/Serving Platform
거래단위: 동시 요청·worker/클러스터 운영당
기존 근거: SemiAnalysis L47–57, Dynamo KV-aware Routing 공식 사양
대체·내재화: Round-robin/Load-only·간단 고정 라우팅
Warm State Transfer
구매자: AI 클라우드 네트워크·메모리팀
거래단위: 복원 KV GB·재사용 세션당
기존 근거: SemiAnalysis L75–101의 RDMA·DDR 구조
대체·내재화: GPU-local 재사용 또는 cached prefix 재연산
Cold State Retention
구매자: AI 클라우드·Storage Platform
거래단위: 세션 state GB-hour·restore당
기존 근거: SemiAnalysis L79–95의 SSD 경로
대체·내재화: 요약·압축·삭제·요청시 재계산
Compaction·Recompute Decision
구매자: Inference Scheduler 팀
거래단위: 유효 세션·실제 재계산 비용당
기존 근거: SemiAnalysis L77–83 및 NVIDIA 공식 router
대체·내재화: 더 긴 보관·자주 사용되는 KV의 HBM 복제
원문·그림 감사 범위와 전체 근거 ＋
저장된 원문 565행 및 관련 Drive 그림/애니메이션 파일 29/29를 직접 대조. FIG017 GIF는 360프레임 중 7개 대표 시점만 확인했으므로 애니메이션 전프레임은 OPEN. FIG026–029 시뮬레이터 수치의 원본 모델 셀·독립 실측검증 및 AgentX 954행 신규 전수감사는 미완료.
원문 Drive Clipping ↗ · SemiAnalysis 발행 원문 ↗
원문 주장의 출처
L16–57 · 서비스/Prefill·Midfill·Decode: 한 사용자의 여러 turn·도구 결과·복구가 이어지지만, 요청은 작업별 동시성·문맥·SLA가 다르다. 초기 Prefill과 긴 cached prefix에 새 입력을 붙이는 Midfill은 다르게 모델링한다.
L75–101 · FIG005 직접 판독: 기존 KV를 immutable blob으로 공유·복제·폐기·재구성하는 구조를 저자가 제안. Direct RDMA로 HBM 입고와 CPU DRAM staging 경로는 별도 선택. 모든 요청이 HBM→CPU DRAM→SSD 직렬 경로를 통과하는 것이 아니다.
L389–435 · 스케줄러/대안: 캐시 중복도만 아니라 worker 부하·대기열·재설정 비용을 봐야 한다. P/D 분리와 동일 worker Aggregation은 비용 및 모델별 대안이며 항상 둘 중 하나가 옳지 않다.
L436–452 · FIG023 직접 판독: Fast-memory capacity vs revenue 곡선은 수치·축 눈금 없이 그려진 개념도. 양품 HBM 스택별 현금실현을 실측한 그래프가 아니며, 용량 수요 추정의 확정 분모로 쓰지 않는다.
L501–551 · FIG028 직접 판독: Kimi K3/Blackwell 비교 그림은 Inference Simulator 기반 투영. HBM/Token 지표는 구성·context·단계별로 다르며 실측 업계 HBM 요구량이나 범용 <80GB 법칙이 아니다.
시계열 공식·외부자료
2026-10 공개 문서 · NVIDIA Dynamo의 KV-aware 라우터는 KV prefix overlap과 worker의 현재 prefill/decode 부하를 함께 고려해 배치한다. — 기능 구현 문서이지 실제 모든 고객에서의 ROI·마진 독립 입증이 아님.
2026-10-02 갱신 문서 · NVIDIA는 Agentic workload의 cache reuse와 frontend-router-runtime 사이 정보 전달 설계를 공개했다. — 벤더 측 정성·성능 사례와 외부 고객의 전체 fleet 경제성은 별개.
벤치마크 방법 문서 · LMCache는 반복 장문서 QA에서 CPU 캐시 오프로딩 성능을 검증하는 재현 가능한 CLI 실험을 제공한다. — 합성 반복 질의의 hit율을 다양한 실제 에이전트 트래픽으로 그대로 일반화할 수 없음.
독립 해석
B03의 상태형 서빙은 단일 캐시 솔루션의 도입이 아니라 요청별 재사용 가능성·worker 부하·메모리 계층·재계산 비용을 비교하는 운영 의사결정이다.
KV가 이미 hot worker에 있고 부하도 낮으면 재사용; 아니라면 DDR/SSD에서 복원하거나 원문 토큰으로 다시 prefill할 수 있다. 어떤 경우든 TTL·세션 중단·Compaction·p90 SLA가 판정 기준이다.
상태 저장량이 늘었다는 사실만으로 HBM/Host DRAM/SSD의 총수요·사업자별 매출이 늘었다고 결론낼 수 없다.
아직 확인하지 않은 것
- 원문 그림/애니메이션 파일 29/29 시각 확인. FIG017 360프레임 중 7개 대표 프레임 확인으로 모든 중간 프레임 검증 OPEN. FIG026–029은 발행처 시뮬레이터 산출 화면으로 벤치마크 실측·모델 셀 원본 데이터 미검증.
- AgentX 2026-08-24 관련 대형 원문(약 954행)은 이번에 제목·일부 기존 보고서만 대조했으므로 원문 전수 재독 완료로 표시 불가.
- NVIDIA가 제시한 최대 cache hit율이나 비용 절감 사례는 제품·데모/워크로드의 조건부 성능이며 독립 외부 전체 사용실적과 다름.
- 그림 23은 정량 축 없는 개념도, 그림 26–29는 시뮬레이션 UI 스크린샷으로 독립 검증된 실측이 아님. FIG022의 완충 스케줄러는 메커니즘 설명도이지 상용 Fleet의 실제 p90 개선 증거가 아님.
판단을 깨는 반례
- KV prefix 재사용률이 낮거나 빠른 Compaction으로 저장 비용의 효용이 작음
- 캐시 적중 worker 과부하가 미스 worker의 재계산 비용보다 심한 p90 지연을 유발
- DRAM·SSD 이동·회수 비용이 재계산·병합·인덱싱 절감보다 커서 재사용이 경제적이지 않음
2026-10-14 구매시장 가설·기존 검증 지표 · 이전 분석
예상되는 구매자·기능 (독립 구매 검증 전)
- KV-aware Router·HBM Hot Cache — 추론 플랫폼·GPU 클라우드
- Shared DDR·NIXL/RDMA·Staging — 추론 메모리·네트워크 운영
- NVMe·Retention/Restore Policy — 스토리지·AI 클라우드
- Re-prefill·Cache Eviction Policy — Inference Scheduler 개발팀
실제로 관측할 지표
- 실제 Prefix 재사용 Token 비중·TTL·Compaction·Cache locality
- Worker 현재 Prefill/Decode 부하와 p90 TTFT·TPOT 및 유효 세션
- KV GB-시간×보관비+전송·복원비+재계산 FLOPs+GPU Idle 비용
반대 경로와 실패 조건
- Hot-cache worker 혼잡으로 고적중률이 p90 TTFT 악화
- 자주 변경되는 Prefix·Compaction으로 캐시 재사용 가치 감소
- 원격 상태 이동·저장·복구 비용이 Re-prefill 비용을 초과
연결된 다른 세부 흐름
- A01→B03 / 조건부 보완: 에이전트의 장기 세션 비중이 높아질 때 캐시/상태 운영 가치가 증가. 단발 요청에서는 약하다.
- B01·B02→B03·C04·C06 / 재배치: 압축/희소조회·학습형 기억은 메모리 접근 최적점을 바꾸지만 HBM/DRAM/SSD 총수요 증가의 증거는 아니다.
- B03→G04 / 이익귀속 분리: 캐시 비용을 낮춰도 고객 요금, 쿠폰/사용한도, 공급자 마진 중 어디로 가치가 이동할지는 별도 확인.
기존 원문 근거 · 읽기 범위와 검증 Gate
분석 기준일:
2026-10-14 P0 재검토: SemiAnalysis 저장 원문 565/565행 및 그림·애니메이션 파일 29/29 열람·대조. FIG017 GIF 360개 프레임 중 7개 시점의 동작 확인(전 프레임 판독 아님). FIG023은 숫자 축 없는 개념도, FIG026–029는 시뮬레이션; 정식 수치 원장·외부 고객 Fleet ROI·문장별 역감사 OPEN. 관련 AgentX 954행 원문 전체 별도 Gate. [S]/[U]/[I] 구분. GPT-6 / 추론 강도 미확인.
- R01 · 업무형 AI·RL·Kimi/GLM 통합 C (12편) ↗이전 SemiAnalysis A/B/C 통분석 보고서 · 이 페이지에서 독립 전수 재검증하지 않음
- R18 · GTC2025 Kyber/Dynamo/NIXL/NCCL B ↗이전 SemiAnalysis A/B/C 통분석 보고서 · 이 페이지에서 독립 전수 재검증하지 않음
- 42개 세부 흐름 인과지도 v0.3 ↗B03 기존 구조와 검증·반증 근거
- SemiAnalysis Computation and Data Movement 원문 2026-09-22 ↗565/565행·29/29개 그림/애니메이션 파일 직접 열람; FIG017 대표 7/360프레임·시뮬레이터 독립 수치 감사 OPEN
- NVIDIA Dynamo KV-aware routing 설명 ↗U·공식 구현 문서, Prefix overlap과 live Worker Load 결합. 외부 Fleet ROI 독립검증 아님