큰 흐름의 한 갈래 · 메모리 계층·이동 기능 발표
대화 상태를 여러 메모리 계층에 남긴다
계산을 다시 하는 비용과 저장·전송의 비용을 바꾸는 선택이다. 재사용률이 낮거나 이동이 느리면 효과가 줄어든다.
대화 뒤 KV를 버리고 후속 요청에서 prefill을 반복한다.
host memory·SSD·공유 storage에 KV를 보존하고 NIXL 같은 이동 계층을 활용하는 방향을 제시한다.
2025년 기능 발표와 2026년 AgentX preview는 같은 메커니즘을 다루지만 해당 기능이 그대로 채택돼 성능을 만들었다는 인과 실험은 아니다.
Rubin 시험의 숫자로 개별 2025 기능의 기여율을 역산하지 않음.
적용 범위 · 2025년 Dynamo/NIXL과 KV 보존 경로
이 흐름의 원인과 다른 흐름의 연결
반복 문맥의 재계산을 줄이기 위해 다른 메모리 계층에 상태를 남긴다.
재사용과 저장·전송 비용의 비교가 필요.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- NIXL은prefill/decode와다양한memory·storage사이의비동기데이터이동을추상화하는층이다. · 분석 근거 읽기 →C-GTC010-16 / paragraphs: P115–P117; images: I20발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- KVcache를HBM외hostmemory·localSSD·공유storage에보존해대화재개시재계산을대체하고prefill자원을절약하려는구조다. · 분석 근거 읽기 →C-GTC010-17 / paragraphs: P119–P128; images: I21, I22발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
캐시 재사용은 prefill 수요를 줄이고 저지연 이동은 단계 분리의 비용을 낮춘다.
지원 backend·network·message 크기 및 실제 hit rate에 의존.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- Dynamo의SmartRouter는KVcache위치와부하를고려하고Planner는prefill/decode간GPU를재배치해불균형을줄이는기능이다. · 분석 근거 읽기 →C-GTC010-13 / paragraphs: P092–P108; images: I17, I18, I21발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- NCCL의one-shot/two-shot등새collective가작은메시지latency를약4분의1로줄인다는발표다. · 분석 근거 읽기 →C-GTC010-15 / paragraphs: P110–P113; images: I19발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- NIXL은prefill/decode와다양한memory·storage사이의비동기데이터이동을추상화하는층이다. · 분석 근거 읽기 →C-GTC010-16 / paragraphs: P115–P117; images: I20발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- KVcache를HBM외hostmemory·localSSD·공유storage에보존해대화재개시재계산을대체하고prefill자원을절약하려는구조다. · 분석 근거 읽기 →C-GTC010-17 / paragraphs: P119–P128; images: I21, I22발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
상태를 남겨 다음 요청에 쓰면 prefill을 줄이지만 메모리·네트워크 비용이 추가된다.
실제 요청 분포·재사용·eviction·storage latency 조건.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- NIXL은prefill/decode와다양한memory·storage사이의비동기데이터이동을추상화하는층이다. · 분석 근거 읽기 →C-GTC010-16 / paragraphs: P115–P117; images: I20발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- KVcache를HBM외hostmemory·localSSD·공유storage에보존해대화재개시재계산을대체하고prefill자원을절약하려는구조다. · 분석 근거 읽기 →C-GTC010-17 / paragraphs: P119–P128; images: I21, I22발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
어떤 역할을 맡는 기업인가
| 기업·주체 | 연결되는 역할 |
|---|---|
| NVIDIA·storage 생태계 | NIXL·메모리 경로·캐시 저장 |
| 서빙 운영자 | cache hit·eviction·재계산 정책 |
연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.
흐름이 이어지는지 확인할 것
- 동일 트래픽의 캐시 적중과 재계산
- 네트워크·storage·CPU 메모리 비용
이 판단을 만든 글과 근거
- NCCL의one-shot/two-shot등새collective가작은메시지latency를약4분의1로줄인다는발표다. · 분석 근거 읽기 →C-GTC010-15 / paragraphs: P110–P113; images: I19발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- NIXL은prefill/decode와다양한memory·storage사이의비동기데이터이동을추상화하는층이다. · 분석 근거 읽기 →C-GTC010-16 / paragraphs: P115–P117; images: I20발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
- KVcache를HBM외hostmemory·localSSD·공유storage에보존해대화재개시재계산을대체하고prefill자원을절약하려는구조다. · 분석 근거 읽기 →C-GTC010-17 / paragraphs: P119–P128; images: I21, I22발행처의 관측 보고 · 독립 검증 전원문 발행 2025-03-19 · SemiAnalysis 원문 ↗
원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.