다중 턴의 반복 문맥을 캐시 계층에서 재사용한다

이 흐름의 원인과 다른 흐름의 연결

• 긴 문맥과 반복 추론이 상태 저장 부담을 키운다→ 반복 문맥을 재사용에이전트 캐시 재사용

  여러 턴에서 반복되는 prefix를 보존하면 재계산을 줄이지만 저장과 전송 부담이 생긴다.

  높은 재사용률과 캐시 전송이 재계산보다 유리한 트래픽.

  연결 근거 · 해석

  분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • 에이전트 요청은 긴 다중 턴, 반복 prefix, 도구 호출과 짧은 sub-agent burst를 결합해 KV 캐시의 저장·재사용·이동을 중요하게 만든다. · 분석 근거 읽기 →C-RUBIN006-02 / paragraphs: P012–P018; images: I04발행처 판단 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 장문맥 상태 절감↔ 다른 경로의 상태 절감에이전트 캐시 재사용

  모델 구조는 상태 크기·읽는 양을 줄이고 서빙 시스템은 재사용 가능한 상태를 보존·이동한다.

  같은 모델·정밀도·문맥 조건을 맞춘 추가 실험이 필요. 양쪽 이득 배수를 곱하지 않음.

  연결 근거 · 조건부 가설

  추가 확인이 필요한 조건부 가설 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • 1M 문맥 조건에서 V4 Pro가 V3.2 대비 단일 토큰 추론 FLOPs 27%, KV cache 10%를 필요로 한다는 개발사 수치를 인용한다. · 분석 근거 읽기 →C-CODE003-12 / P040발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
  • 에이전트 요청은 긴 다중 턴, 반복 prefix, 도구 호출과 짧은 sub-agent burst를 결합해 KV 캐시의 저장·재사용·이동을 중요하게 만든다. · 분석 근거 읽기 →C-RUBIN006-02 / paragraphs: P012–P018; images: I04발행처 판단 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 달러당 총토큰은 처리량을 칩 수와 칩-hour 비용으로 정규화한다. 소유 TCO와 3년 예약 렌탈은 별도 구매 조건이다. · 분석 근거 읽기 →C-RUBIN006-03 / paragraphs: P021–P025; images: I06, I07, I09, I10발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 추론 스택 성숙↔ 엔진이 이득을 구현에이전트 캐시 재사용

  캐시·parallelism 최적화에 따라 같은 하드웨어의 처리량 곡선과 최대 속도가 달라진다.

  코딩 글의 4월 H200와 Rubin 글의 9월 1.6T preview는 범위가 다르다. 후자가 전자의 초기 문제 해결을 입증하지 않는다.

  연결 근거 · 해석

  분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • DeepSeek 커널의 Ascend 지원을 표방하지만 공개 코드는 Hopper·Blackwell 중심이고, 발행처는 H200의 day-zero 지원을 실현했으며 Blackwell·AMD 지원은 진행 중이라고 보고한다. · 분석 근거 읽기 →C-CODE003-14 / P047-P052발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
  • 발행처의 V4 초기 H200 실험은 20 tok/s 사용자 응답속도 조건에서 GPU당 약 150 tok/s를 보고하고 V3 비교값은 약 1300~2300 tok/s라고 제시한다. · 분석 근거 읽기 →C-CODE003-15 / P053; P173; I11; I12발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
  • 170 P90 TPS에서 Rubin TRTLLM의 소유 TCO당 총토큰은 GB300 Dynamo TRTLLM 대비 약67.4배라는 초기 결과이며 60–100 TPS 구간은 약1.4–3배다. · 분석 근거 읽기 →C-RUBIN006-04 / paragraphs: P026–P028; images: I06발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 최대 P90 interactivity는 Rubin TRTLLM276.24, GB300 TRTLLM171.53 TPS로 약61% 차이지만 GB300 SGLang은 Rubin과 비슷한 최대 속도에 도달한다. · 분석 근거 읽기 →C-RUBIN006-06 / paragraphs: P029–P031; images: I07발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 100 TPS에서 Rubin은59.38M total tok/s/utility MW로 GB300 SGLang28.47M의2.09배다. 170 TPS에서는 SGLang 대비5.56배이며 TRTLLM 대비 약62.9배라고 설명한다. · 분석 근거 읽기 →C-RUBIN006-10 / paragraphs: P048–P058; images: I01, I15, I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 동적 전력 배분↔ 설치 밀도와 효율에이전트 캐시 재사용

  단위 장비의 서빙 효율과 순간 전력 여유 관리가 같은 시설의 서비스 공급능력을 별도 경로로 늘릴 수 있다.

  동시 peak·안전·SLA를 만족해야 하며 원문에 추가 밀도 실측 없음.

  연결 근거 · 조건부 가설

  추가 확인이 필요한 조건부 가설 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • 100 TPS에서 Rubin은59.38M total tok/s/utility MW로 GB300 SGLang28.47M의2.09배다. 170 TPS에서는 SGLang 대비5.56배이며 TRTLLM 대비 약62.9배라고 설명한다. · 분석 근거 읽기 →C-RUBIN006-10 / paragraphs: P048–P058; images: I01, I15, I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • DSX MaxLPS로 workload별 전력 profile과 동적 power shifting을 이용해 동일 시설 전력에서 더 많은 GPU를 배치하려는 방향이다. · 분석 근거 읽기 →C-RUBIN006-12 / paragraphs: P059; images: 발행처 판단 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 에이전트 캐시 재사용→ 문맥을 재사용같은 품질과 SLA의 추론 비용

  캐시 재사용과 전송 경로가 같은 SLA의 처리량을 바꾼다.

  1.6T AgentX preview·엔진·token mix·P90 TPS에 한정. 공식 provenance 확인 필요.

  연결 근거 · 해석

  분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • 에이전트 요청은 긴 다중 턴, 반복 prefix, 도구 호출과 짧은 sub-agent burst를 결합해 KV 캐시의 저장·재사용·이동을 중요하게 만든다. · 분석 근거 읽기 →C-RUBIN006-02 / paragraphs: P012–P018; images: I04발행처 판단 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 170 P90 TPS에서 Rubin TRTLLM의 소유 TCO당 총토큰은 GB300 Dynamo TRTLLM 대비 약67.4배라는 초기 결과이며 60–100 TPS 구간은 약1.4–3배다. · 분석 근거 읽기 →C-RUBIN006-04 / paragraphs: P026–P028; images: I06발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 최대 P90 interactivity는 Rubin TRTLLM276.24, GB300 TRTLLM171.53 TPS로 약61% 차이지만 GB300 SGLang은 Rubin과 비슷한 최대 속도에 도달한다. · 분석 근거 읽기 →C-RUBIN006-06 / paragraphs: P029–P031; images: I07발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 100 TPS에서 Rubin은59.38M total tok/s/utility MW로 GB300 SGLang28.47M의2.09배다. 170 TPS에서는 SGLang 대비5.56배이며 TRTLLM 대비 약62.9배라고 설명한다. · 분석 근거 읽기 →C-RUBIN006-10 / paragraphs: P048–P058; images: I01, I15, I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 저장된 TCO 차트에 공식 도메인에서 호스팅되지 않았고 데이터가 비공식·수정·오래됐을 수 있다는 경고와 Rubin Official Preview 표기가 동시에 보인다. · 분석 근거 읽기 →C-RUBIN006-17 / paragraphs: P028;P030;P034;P036;P039;P041;P043; images: I06, I07, I09, I10, I11, I12, I13발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 에이전트 캐시 재사용→ 장비별 효율한정된 전력의 서비스 공급능력

  같은 utility MW와 SLA에서 시스템의 유효 처리량이 달라진다.

  all-in utility power는 모형이며 정식 벽전력·품질 확인 필요.

  연결 근거 · 해석

  분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정

  이 연결은 독립 검증 전인 분석자의 해석입니다.

  • 100 TPS에서 Rubin은59.38M total tok/s/utility MW로 GB300 SGLang28.47M의2.09배다. 170 TPS에서는 SGLang 대비5.56배이며 TRTLLM 대비 약62.9배라고 설명한다. · 분석 근거 읽기 →C-RUBIN006-10 / paragraphs: P048–P058; images: I01, I15, I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
  • 100 TPS에서 MI355X SGLang2.01M, B200 SGLang6.95M, B300 vLLM5.56M, H200 Dynamo SGLang2.26M total tok/s/MW를 제시한다. · 분석 근거 읽기 →C-RUBIN006-11 / paragraphs: P053–P055; images: I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗

어떤 역할을 맡는 기업인가

연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.

흐름이 이어지는지 확인할 것

• 캐시 적중·eviction·TTFT·E2E·P90 TPS
• 공식 원시 결과·버전·품질 등가성

이 판단을 만든 글과 근거

• 원문은 GPU·CPU·NVLink·NIC·DPU·Ethernet switch의 공동 설계 플랫폼 Rubin에서 초기 AgentX 추론을 시험했고 NVIDIA 엔지니어들이 bring-up 및 결과 확인에 협력했다고 밝힌다. · 분석 근거 읽기 →C-RUBIN006-01 / paragraphs: P001–P010; images: I01, I02, I03발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 에이전트 요청은 긴 다중 턴, 반복 prefix, 도구 호출과 짧은 sub-agent burst를 결합해 KV 캐시의 저장·재사용·이동을 중요하게 만든다. · 분석 근거 읽기 →C-RUBIN006-02 / paragraphs: P012–P018; images: I04발행처 판단 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 달러당 총토큰은 처리량을 칩 수와 칩-hour 비용으로 정규화한다. 소유 TCO와 3년 예약 렌탈은 별도 구매 조건이다. · 분석 근거 읽기 →C-RUBIN006-03 / paragraphs: P021–P025; images: I06, I07, I09, I10발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 170 P90 TPS에서 Rubin TRTLLM의 소유 TCO당 총토큰은 GB300 Dynamo TRTLLM 대비 약67.4배라는 초기 결과이며 60–100 TPS 구간은 약1.4–3배다. · 분석 근거 읽기 →C-RUBIN006-04 / paragraphs: P026–P028; images: I06발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 최대 P90 interactivity는 Rubin TRTLLM276.24, GB300 TRTLLM171.53 TPS로 약61% 차이지만 GB300 SGLang은 Rubin과 비슷한 최대 속도에 도달한다. · 분석 근거 읽기 →C-RUBIN006-06 / paragraphs: P029–P031; images: I07발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• Rubin은 높은 throughput 구간에서 P90 E2E latency도 낮으며 3년 렌탈 조건의80 TPS에서는 약62% 더 많은 토큰/TCO를 낸다는 보고다. · 분석 근거 읽기 →C-RUBIN006-07 / paragraphs: P033–P036; images: I09, I10발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 100 TPS에서 Rubin은59.38M total tok/s/utility MW로 GB300 SGLang28.47M의2.09배다. 170 TPS에서는 SGLang 대비5.56배이며 TRTLLM 대비 약62.9배라고 설명한다. · 분석 근거 읽기 →C-RUBIN006-10 / paragraphs: P048–P058; images: I01, I15, I16, I17발행처 추정 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗
• 저장된 TCO 차트에 공식 도메인에서 호스팅되지 않았고 데이터가 비공식·수정·오래됐을 수 있다는 경고와 Rubin Official Preview 표기가 동시에 보인다. · 분석 근거 읽기 →C-RUBIN006-17 / paragraphs: P028;P030;P034;P036;P039;P041;P043; images: I06, I07, I09, I10, I11, I12, I13발행처의 관측 보고 · 독립 검증 전원문 발행 2026-09-14 · SemiAnalysis 원문 ↗

원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.