← 큰 흐름 지도

큰 흐름의 한 갈래 · 공식 발표 기능·업체 시험

prefill과 decode를 나누고 부하에 따라 배분한다

입력 처리와 출력 생성의 자원 특성이 달라 필요한 노드 비율이 바뀐다. cache hit가 늘면 prefill 수요도 달라진다.

연결 해석 2026-10-12 · 근거의 발행일은 아래에 별도 표시

출발한 원인: 입력을 읽는 단계와 출력을 만드는 단계의 부하가 다르다
기존의 중심

prefill과 decode를 같은 노드에 정적으로 묶는다.

바뀌는 방향

Dynamo Planner와 SmartRouter가 캐시·대기열·부하를 고려해 단계를 나누고 GPU를 재배치하는 기능을 발표한다.

단계 분리의 추가 전송과 queue 비용이 이득보다 작아야 한다. Dynamo는 공식 발표 때부터 vLLM·SGLang과 호환돼 일률적인 엔진 대체로 읽지 않는다.

2025년 발표 기능과 후속 엔진 결과의 수치 범위는 구별.

적용 범위 · 2025년 Dynamo; 고객 생산채택량 미확인

이 흐름의 원인과 다른 흐름의 연결

어떤 역할을 맡는 기업인가

기업·주체연결되는 역할
NVIDIA DynamoPlanner·SmartRouter·NIXL
vLLM·SGLang 및 운영자실행 엔진과 배포

연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.

흐름이 이어지는지 확인할 것

  • 실서비스의 기능 사용·전송 비용·대기열
  • 같은 quality·SLA의 처리량

이 판단을 만든 글과 근거

원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.