변화 단위로 읽는 보고서 · 업로드 순서 6
Rubin 에이전트 추론의 비용과 전력 생산성
긴 다중 턴과 반복 문맥을 처리하는 추론이 늘면서 캐시, 메모리 경로, 통신과 서빙 엔진의 결합이 중요해진다. 이 글의 Rubin 초기 결과는 같은 응답 속도에서 처리할 수 있는 총 요청량이 커질 수 있음을 보여준다. 다만 “67배”는 특정 속도와 비교 엔진의 끝점에서 얻은 값이다. 가장 강한 비교 엔진, 실제 유료 수요와 가동 조건을 넣으면 사업적 결론의 범위가 달라진다.
이 글에서 발견한 변화를 그림으로 보기
보고된 변화와 함께 확인할 조건
다중 턴 에이전트가 캐시 중심 추론을 강화한다
짧고 독립적인 요청 중심의 비교에서는 재사용 문맥과 burst가 작다.
긴 문맥·높은 prefix reuse·sub-agent burst를 재생하는 AgentX가 캐시와 전체 시스템을 드러낸다.
대화 누적 · 도구 호출 · 분기 작업
적용 범위: AgentX의 1.6T 모델 workload; 일반 트래픽 전체는 아님
단계: 발행처 보고 벤치마크 · 적용 시기: 2026년 9월 14일 기사 시점의 AgentX 비교; Rubin은 사전 공개 결과
이익으로 이어질 조건 · 캐시 재사용 이득이 보존·전송 비용과 지연시간보다 커야 한다.
다음 확인 · 실제 고객 token mix·cache hit·cache eviction·tail latency
판단을 바꿀 조건 · prefix가 덜 재사용되거나 cache movement가 더 비싸면 효과 축소
동일 SLA에서 세대 교체의 효율이 달라진다
최대 성능 배수 하나로 장비를 비교한다.
Rubin의 이득은 SLA 구간과 GB300 엔진 선택에 따라 1배대부터 큰 endpoint 배수까지 달라진다.
새 GPU·네트워크·메모리 공동 설계 · parallelism·engine 최적화 · 낮은 지연시간에서 batch 축소
적용 범위: 2026-09-10 AgentX preview; 같은 모델과 비용 기준
단계: 발행처 보고 벤치마크 · 적용 시기: 2026년 9월 기사 비교; 확정 양산 성능으로 검증하지 않음
이익으로 이어질 조건 · 정식 소프트웨어·일관된 품질에서 TTFT/E2E·P90 TPS와 처리량을 동시에 만족해야 한다.
다음 확인 · 원시 commit·공식 결과·TTFT 및 성공률을 포함한 동일 요청 재현
판단을 바꿀 조건 · 더 강한 경쟁 엔진이나 재현 결과가 격차를 줄이면 headline 우위 수정
단위 전력의 추론 공급능력이 확대된다
전력 확보가 칩 증설을 제약한다.
같은 utility MW에서 Rubin 구성의 SLA 충족 총토큰 처리량이 늘어난다는 초기 비교다.
칩·통신·캐시 구성의 효율 · 속도별 동작점
적용 범위: 1.6T AgentX, modeled all-in power; 전체 수요 아님
단계: 발행처 보고 벤치마크 · 적용 시기: 2026년 9월 기사 전력당 처리량 모형; 실제 시설 전력 측정 미확인
이익으로 이어질 조건 · 실제 전력과 지속 부하·가동률이 모델을 재현하고 유료 수요가 있어야 한다.
다음 확인 · PowerX 벽전력·thermal throttle·시설 PUE·수요 실측
판단을 바꿀 조건 · 실제 전력이 높거나 수요가 부족하면 capacity가 이익으로 이어지지 않는다.
정격 전력 배치에서 동적 전력 관리로 이동한다
최대 정격과 여유율을 기준으로 GPU 수를 정한다.
workload 전력 profile과 power shifting으로 같은 전력 한도에서 배치 밀도를 높이려 한다.
추론 부하가 항상 TDP에 도달하지 않음 · 시설의 고정 전력 한도
적용 범위: 설명된 설계 방향; 효과 수치 실측 없음
단계: 발행처 보고 설계 방향 · 적용 시기: 2026년 9월 기사 시점의 설계 방향; 동적 전력 관리 효과는 향후 확인
이익으로 이어질 조건 · 동시 peak에서 SLA·안전·안정성을 지키고 실제 평균 여유가 있어야 한다.
다음 확인 · 정식 배포와 peak clipping·성능저하·추가 GPU 수
판단을 바꿀 조건 · 전력 peak가 상관되어 여유가 사라지면 밀도 개선 전망 하향
추론 효율 이득이 가격 인하 여력과 수익 용량을 만든다
같은 전력에서 구세대 처리량과 가격이 수익 상한을 정한다.
동일 demand·가격·가동률 가정에서 더 큰 용량은 profit 또는 가격 인하 여력이 된다.
동일 SLA 효율 향상 · 고정 전력 배정
적용 범위: 75 TPS·60%·license0%의 시나리오
단계: 발행처 추정 · 실적 아님 · 적용 시기: 2026년 9월 기사 연간 환산 모형; 실제 연간 실적 아님
이익으로 이어질 조건 · 충분한 billable demand·가격·token mix가 유지되고 모든 관련 비용을 회수해야 한다.
다음 확인 · 실제 청구 매출·계약 utilization·가격 경쟁·완전 원가
판단을 바꿀 조건 · 수요·가격 하락 또는 미포함 비용이 크면 높은 모형 profit을 폐기
빠른 배포와 다음 세대 대기의 가치가 경쟁한다
먼저 설치한 장비가 매출 시작에서 우위다.
늦게 가동하는 높은 생산성 장비가 누적매출을 추월할 수 있다는 모형이다.
세대별 생산성 · 출시·설치·ramp·가동 시점
적용 범위: 10 MW·GB300 TRTLLM 기준·lateOct2026 추정
단계: 발행처 전망 · 적용 시기: 2026년 9월 27일 및 10월 말 등을 포함한 전망; 10월 말 교차는 검토일에도 미래
이익으로 이어질 조건 · 예상 날짜에 서비스가 시작되고 demand·price·availability가 유지될 때
다음 확인 · 고객 인수·가동일·ramp·보유자본·NPV
판단을 바꿀 조건 · 출시 지연·단가 하락·불충분 수요로 crossover가 늦어지면 대기 판단 수정
기사에 등장한 기업과 검증 조건
아래는 기사 속 역할 사례입니다. 필요한 제품·기술의 공급자를 새로 찾고 비교하는 조사나 현재 선도성 판정을 대신하지 않습니다.
NVIDIA
GPU·CPU·메모리 경로·네트워크 및 TRTLLM 통합 설계
이익으로 이어질 조건 · preview를 정식 고객의 SLA·가동 성과로 전환
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
추론 CSP 및 모델 서비스
용량 운영·가격 책정·수요 확보
이익으로 이어질 조건 · billable utilization과 token mix 유지; 효율 이득의 가격 전가 정도 확인
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
SGLang·vLLM·LMCache 생태계
엔진 최적화와 캐시 경쟁
이익으로 이어질 조건 · 성과 기여와 기업별 상업적 이익 귀속은 별개
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
AMD MI355X 및 향후 MI455X
대체 가속기·engine 협력
이익으로 이어질 조건 · 동일 workload/precision/SLA의 정식 결과로 비교; 향후 제품 기대를 실적으로 처리하지 않음
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
사업 참여와 이익 회수, 상장 여부와 티커, 현재 가치평가는 별도로 확인해야 합니다.
해석의 경계와 반대 근거
- TCO 이미지 비공식 호스트 경고 및 Official Preview를 함께 보존한다. 원문과 이미지 존재는 확인했지만 정식 benchmark 데이터와의 동일성은 미확인.
- 67.4배는 token/$ at170 TPS vsGB300 TRTLLM;62.9배는 total tok/s/MW 같은 비교;5.56배는 같은 속도의 stronger SGLang 분모. 서로 섞지 않는다.
- 초반 2배 이상 profit과 연간 최강 GB300 비교 42%의 차이. 다른 comparator나 수정 이력 가능성은 있으나 근거 없이 원인 추정하지 않는다.
- I12에서 B200 curve는 약 123M token/$에서 끝나므로 본문 160M에서 B200/B300120초 비교를 B200에 적용하지 않는다.
- 75 TPS utility throughput의 최강 GB300는 TRTLLM인데 연간 매출은 SGLang이 최강. token billing mix·내부 모형을 재현해야 원인을 확인할 수 있다. total tokens와 매출 순위가 자동 동일하지 않다.
- GTC2T 광고와 1.6T AgentX는 workload·SLA·token 정의가 달라 3배를 7배로 직접 검증한 것으로 인정하지 않는다.
다음에 무엇을 확인할까
- 실제 고객 token mix·cache hit·cache eviction·tail latency
- 원시 commit·공식 결과·TTFT 및 성공률을 포함한 동일 요청 재현
- PowerX 벽전력·thermal throttle·시설 PUE·수요 실측
- 정식 배포와 peak clipping·성능저하·추가 GPU 수
- 실제 청구 매출·계약 utilization·가격 경쟁·완전 원가
- 고객 인수·가동일·ramp·보유자본·NPV
원문과 검토 범위
Vera Rubin NVL72 Agentic Inference: 67x better Performance per Dollar ↗
저장본 전문 검토 완료 · 핵심 성능 독립 검증 미완료 · 이미지 20개 모두 시각 검토
- P001–P070 전체 검토. 제목·이미지만 있는 블록도 포함하며 P001은 저장 메타데이터와 첫 본문을 포함한다. 문단 번호는 검토용이며 원문 웹의 위치 표지가 아니다.
- 본문 저장본 전체 및 이미지 20개를 검토했다. 유료 웹 원본의 완전성과 원시 실험 로그는 미확인이다.
- 발행일, 업로드일, 실제 사건일과 미래 적용 시기를 따로 기록했다.
아래는 자기 말로 재서술한 근거입니다. P·I 번호는 검토 사본의 위치이며 원문 웹페이지의 고정 앵커가 아닙니다. 발행처의 보고를 공식 확인 사실로 바꾸지 않습니다.
출처를 추가 대조한 범위
- 동일 발행처 원문 대조 ↗
동일 발행처 웹페이지 제목·2026-09-14 발행일·공개 본문 대조; 연간경제성 도입 뒤 paywall. 독립 기술 검증 아님.
공식 발표·동일 발행처 대조·독립 재현을 구분합니다. 해당 작성 주체의 설명을 확인한 것이 전체 실험이나 재무 수치의 독립 검증을 뜻하지 않습니다.
변화에 연결된 근거
원문은 GPU·CPU·NVLink·NIC·DPU·Ethernet switch의 공동 설계 플랫폼 Rubin에서 초기 AgentX 추론을 시험했고 NVIDIA 엔지니어들이 bring-up 및 결과 확인에 협력했다고 밝힌다.
제작사 협력·로고·지지 발언은 독립 성능 검증이나 시장 전체 채택을 뜻하지 않는다. 기사상 authors3명 외 웹페이지 2명 추가 표기, 전체 명단 미확보.
P001–P010 · I01, I02, I03원문에서 맥락 확인 ↗에이전트 요청은 긴 다중 턴, 반복 prefix, 도구 호출과 짧은 sub-agent burst를 결합해 KV 캐시의 저장·재사용·이동을 중요하게 만든다.
캐시 가능한 비중은 문맥이 선형 누적되고 캐시 보존 공간이 있을 때 증가한다. 모든 agent가 같은 캐시 적중률을 갖는다는 실측은 아니다.
P012–P018 · I04원문에서 맥락 확인 ↗달러당 총토큰은 처리량을 칩 수와 칩-hour 비용으로 정규화한다. 소유 TCO와 3년 예약 렌탈은 별도 구매 조건이다.
서버·네트워크 capex, 수명, colocation·전력·자본비 포함이라는 설명이나 세부 수명·금리·할인 전제는 이 저장본에 없다. 총토큰에는 서로 다른 과금가의 캐시·입력·출력 믹스가 있으므로 출력토큰 단가와 동일하지 않다.
P021–P025 · I06, I07, I09, I10원문에서 맥락 확인 ↗170 P90 TPS에서 Rubin TRTLLM의 소유 TCO당 총토큰은 GB300 Dynamo TRTLLM 대비 약 67.4배라는 초기 결과이며 60–100 TPS 구간은 약 1.4–3배다.
하드웨어만의 고정 배수가 아니다. GB300 TRTLLM 곡선이 최대 속도 부근에서 처리량이 거의 사라지는 지점을 분모로 택한 결과. 그래프는 Official Preview와 비공식 호스트 경고를 포함하며 interpolation·원시 benchmark 미검증.
P026–P028 · I06원문에서 맥락 확인 ↗실험 랙의 GPU TDP는 2300 W, CPU LPDDR5X는 compute tray당 1.5 TB라고 원문이 밝힌다.
TDP는 실측 평균 벽전력과 다르며 메모리는 CPU당이 아니라 tray당이다. 메모리 절반 축소의 원인은 유료 모형 링크로만 제시해 확인하지 못했다.
P027 · I06원문에서 맥락 확인 ↗최대 P90 interactivity는 Rubin TRTLLM276.24, GB300 TRTLLM171.53 TPS로 약 61% 차이지만 GB300 SGLang은 Rubin과 비슷한 최대 속도에 도달한다.
최대 속도는 처리량/TCO나 실제 SLA 만족을 동시에 극대화한다는 뜻이 아니다. GB300 SGLang을 생략하면 기기 우위를 과장한다.
P029–P031 · I07원문에서 맥락 확인 ↗Rubin은 높은 throughput 구간에서 P90 E2E latency도 낮으며 3년 렌탈 조건의 80 TPS에서는 약 62% 더 많은 토큰/TCO를 낸다는 보고다.
TTFT, full response inter-token latency의 역수인 P90 interactivity, E2E latency는 별개다. 16.4배 차트는 선택한 비교 엔진·SLA를 붙여야 하고 모든 구간이 아니다.
P033–P036 · I09, I10원문에서 맥락 확인 ↗80 TPS에서 Rubin은 B300 vLLM 대비 소유 TCO당 약 9.59배 총토큰이며, 같은 총토큰/TCO에서 E2E latency도 낮다는 차트다.
B200/B300 단일노드와 rack-scale Rubin의 하드웨어·소프트웨어·parallelism을 묶은 비교다. 본문 160M tokens/$에서 B200/B300120초라는 표현은 B200 곡선이 약 123M에서 끝나므로 B200로 일반화할 수 없다. MI355X TCO 차트는 ATOM1, 전력 표는 SGLang이다.
P038–P041 · I11, I12원문에서 맥락 확인 ↗H200 Dynamo SGLang FP8 대비 Rubin FP4의 소유 TCO당 총토큰은 80 TPS에서 17.9배,120 TPS에서 39배로 제시된다.
정밀도와 caching/parallelism도 다르다. Hopper의 batch inference·training 재배치는 발행처 관측/판단이고 이 결과는 학습 benchmark가 아니다. 계산기 사진은 비유일 뿐 근거가 아니다.
P042–P044 · I13, I14원문에서 맥락 확인 ↗100 TPS에서 Rubin은 59.38M total tok/s/utility MW로 GB300 SGLang28.47M의 2.09배다. 170 TPS에서는 SGLang 대비 5.56배이며 TRTLLM 대비 약 62.9배라고 설명한다.
같은 SLA를 맞추기 위해 측정점 사이를 보간한 값이다. N/A는 범위 밖이지 0이 아니다. I01과 I15는 같은 GTC 자료 재게시. GTC2T 모델과 AgentX1.6T traffic은 다른 범위이므로 광고 3배를 실측 7배로 직접 검증한 비교가 아니다.
P048–P058 · I01, I15, I16, I17원문에서 맥락 확인 ↗100 TPS에서 MI355X SGLang2.01M, B200 SGLang6.95M, B300 vLLM5.56M, H200 Dynamo SGLang2.26M total tok/s/MW를 제시한다.
H200만 FP8이고 나머지는 FP4. all-in power값은 산업모형에서 오며 실제 동적 전력 계측을 추가할 PowerX는 향후 계획이다. 경쟁사의 다른 모델·새 버전 또는 범용 성능을 평가한 결과가 아니다.
P053–P055 · I16, I17원문에서 맥락 확인 ↗DSX MaxLPS로 workload별 전력 profile과 동적 power shifting을 이용해 동일 시설 전력에서 더 많은 GPU를 배치하려는 방향이다.
여유 전력은 중간·빠른 추론에서 TDP를 항상 사용하지 않는다는 설명에 기반한다. 실제 안전 제약, 동시 peak, 성능 저하, 구현된 배치 밀도와 PowerX 실측은 제시하지 않는다. 설치 GPU 수 증가를 총수요 증가로 읽지 않는다.
P059원문에서 맥락 확인 ↗75 TPS·사용률 60%·모델라이선스 0% 조건의 연간 모형은 Rubin utility GW당 매출 159.5B달러·profit149.9B, GB300 SGLang114.9B·105.3B로 약 39% 매출·42% profit 우위다.
실제 업체 매출·GAAP 영업이익·현금이 아니라 공급능력×가격×가동률의 모형이다. 큰 유료 수요가 지속되고 token mix·가격이 고정되어야 한다. 개발·영업·고객 지원·세금 등의 비용 범위와 모델학습 비용은 완전히 표시되지 않았다. 초반 2배 이상 profit 문구와 최강 GB300 비교 42%가 다르다.
P061–P065 · I18원문에서 맥락 확인 ↗Rubin의 연간 추가 modeled profit은 44.6B달러/GW, 선형 10 MW 환산 446M달러이며 모든 토큰 가격을 약 28% 낮춰도 GB300 SGLang의 매출/GW를 맞출 수 있다는 계산이다.
같은 유료 이용률·처리량·믹스가 유지되는 조건이다. 할인은 수요 탄력성·시장 가격·고객 계약에 따라 공급자 이익 또는 고객 혜택으로 배분될 수 있다. 실제 시장 이익 규모가 아니다.
P064–P065 · I18원문에서 맥락 확인 ↗10 MW fleet 생애 모형은 먼저 가동한 GB300의 초기 누적매출 우위를 더 높은 Rubin 일매출이 따라잡아 2026년 10월 말에 역전할 수 있다고 본다.
선택된 GB300 TRTLLM과 Rubin 비교이며 연간 표의 최강 GB300 SGLang 비교와 다르다. I19 tooltip cumulative margin과 I20 cumulative revenue 축도 별개. 누적매출 역전은 자본 회수·NPV·대기 투자의 최적성 증거가 아니다.
P067–P070 · I19, I20원문에서 맥락 확인 ↗소프트웨어가 성숙하면 격차가 더 벌어지고 Rubin을 사거나 빌리면 더 많이 벌 것이라는 글의 결론.
미래 개선 속도·경쟁 개선·계약 수요·가격과 가동을 확인하지 않은 권고다. 분석에서는 무조건 구매 또는 주식 매수 결론으로 채택하지 않는다.
P003;P031;P037원문에서 맥락 확인 ↗저장된 TCO 차트에 공식 도메인에서 호스팅되지 않았고 데이터가 비공식·수정·오래됐을 수 있다는 경고와 Rubin Official Preview 표기가 동시에 보인다.
기사가 이 차트를 게시했다는 사실과 원시 데이터의 검증 상태는 다르다. 경고가 staging 코드의 일반 배너인지 데이터 변경을 뜻하는지 단정할 수 없다. 정식 릴리스와 commit 확인 전 provisional evidence로 유지한다.
P028;P030;P034;P036;P039;P041;P043 · I06, I07, I09, I10, I11, I12, I13원문에서 맥락 확인 ↗