큰 흐름의 한 갈래 · 모델·통신 구조의 비교

희소 MoE에 맞춰 큰 통신 영역을 활용한다

활성 파라미터를 줄이는 모델은 계산과 통신의 균형을 바꾼다. NVL72의 특정 collective 우위를 전체 모델 배수로 쓰지 않는다.

연결 해석 2026-10-12 · 근거의 발행일은 아래에 별도 표시

출발한 원인: 희소 모델은 연산량을 줄이는 대신 통신 조건을 바꾼다

비교의 출발점

연산 피크만으로 GPU를 비교하면 모델 통신 특성이 빠진다.

중요해지는 조건

expert dispatch·combine이 많은 모델에서 넓은 scale-up의 가치가 커진다.

큰 영역의 효율은 메시지 크기·병렬화·모델에 달렸다. 일반 모델과 운영자가 모두 같은 랙을 택해야 한다는 뜻이 아니다.

RL 우위는 이 글의 직접 벤치마크가 아닌 판단.

적용 범위 · MoE expert 통신; 전체 산업의 채택률 변화 아님

이 흐름의 원인과 다른 흐름의 연결

희소 모델은 연산량을 줄이는 대신 통신 조건을 바꾼다→ 통신 구조를 조정MoE 통신·scale-up
희소 모델의 dispatch·combine이 넓은 연결 영역의 이득을 키울 수 있다.
특정 all-to-all 배수를 전체 학습 배수로 확대하지 않음.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 초희소 MoE의 낮은 활성 파라미터는 추론 비용을 줄이지만 expert dispatch/combine 통신과 학습 안정성 부담을 키운다. 64 GPU all-to-all이 NVL72 내부에서 H100 클러스터 대비 18배 빠르다는 설명이다. · 분석 근거 읽기 →C-TRAIN004-13 / paragraphs: P081;P085–P086; images: 발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
랙 장애·예비 용량→ 이득을 제한MoE 통신·scale-up
넓은 통신 영역의 정상 성능 이득을 장애·예비자산 비용이 줄일 수 있다.
실효 TCO에 실제 신뢰성·활용률을 반영; 추론 replica에는 장애 파급이 다를 수 있음.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 초희소 MoE의 낮은 활성 파라미터는 추론 비용을 줄이지만 expert dispatch/combine 통신과 학습 안정성 부담을 키운다. 64 GPU all-to-all이 NVL72 내부에서 H100 클러스터 대비 18배 빠르다는 설명이다. · 분석 근거 읽기 →C-TRAIN004-13 / paragraphs: P081;P085–P086; images: 발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- Llama4 Maverick 400B·활성17B FP8 5월 벤치마크는 GB200 128 GPU에서 H100 512 GPU보다 GPU당 처리량 10757/4251≈2.53배, 비용 0.061/0.093≈0.66배다. · 분석 근거 읽기 →C-TRAIN004-15 / paragraphs: P088–P091; images: I10발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- 16384 active GPU Llama4 모형에서 GB200의 H100 최상 운영자 대비 비용 우위는 예비 GPU 비용 포함시 0·18·21%, 다른 작업을 하는 예비 GPU 비용 제외시 11·27·30%다. · 분석 근거 읽기 →C-TRAIN004-18 / paragraphs: P116–P118; images: I15발행처 추정 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
MoE 통신·scale-up→ 통신 시간을 줄임목표 품질까지 안정적으로 끝내는 학습 원가
해당 MoE workload의 큰 통신량을 넓은 scale-up이 줄이면 학습 처리량 이득이 생긴다.
collective 단독 배수를 전체 학습 배수로 확대하지 않음.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 초희소 MoE의 낮은 활성 파라미터는 추론 비용을 줄이지만 expert dispatch/combine 통신과 학습 안정성 부담을 키운다. 64 GPU all-to-all이 NVL72 내부에서 H100 클러스터 대비 18배 빠르다는 설명이다. · 분석 근거 읽기 →C-TRAIN004-13 / paragraphs: P081;P085–P086; images: 발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- Llama4 Maverick 400B·활성17B FP8 5월 벤치마크는 GB200 128 GPU에서 H100 512 GPU보다 GPU당 처리량 10757/4251≈2.53배, 비용 0.061/0.093≈0.66배다. · 분석 근거 읽기 →C-TRAIN004-15 / paragraphs: P088–P091; images: I10발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗

어떤 역할을 맡는 기업인가

기업·주체	연결되는 역할
NVIDIA	NVLink·NVSwitch와 GPU 시스템
경쟁 가속기·네트워크 공급자	동조건 scale-up의 대안

연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.

흐름이 이어지는지 확인할 것

동일 모델·batch·목표 품질의 end-to-end 비교
대체 통신과 모델 구조 변화

이 판단을 만든 글과 근거

Llama3 405B에서 H100 576→2304개로 늘리고 batch 252→1008로 함께 늘린 약한 확장 비교는 BF16 MFU 54.5→54.2%로 거의 유지됐다. · 분석 근거 읽기 →C-TRAIN004-07 / paragraphs: P055–P065; images: I05, I06발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
Llama3 70B는 H100 64→2048개 약한 확장시 FP8 MFU 38.1→35.5%, 처리량 1567→1462 tok/s/GPU로 하락하고 BF16은 1121→1104로 작게 하락했다. · 분석 근거 읽기 →C-TRAIN004-09 / paragraphs: P066–P070; images: I07발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
초희소 MoE의 낮은 활성 파라미터는 추론 비용을 줄이지만 expert dispatch/combine 통신과 학습 안정성 부담을 키운다. 64 GPU all-to-all이 NVL72 내부에서 H100 클러스터 대비 18배 빠르다는 설명이다. · 분석 근거 읽기 →C-TRAIN004-13 / paragraphs: P081;P085–P086; images: 발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
Llama4 Maverick 400B·활성17B FP8 5월 벤치마크는 GB200 128 GPU에서 H100 512 GPU보다 GPU당 처리량 10757/4251≈2.53배, 비용 0.061/0.093≈0.66배다. · 분석 근거 읽기 →C-TRAIN004-15 / paragraphs: P088–P091; images: I10발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
큰 모델 또는 RL이 중요해질수록 NVL72가 다시 우세하고 보통 규모 pretraining에서는 B200가 더 나아 보인다는 결론. · 분석 근거 읽기 →C-TRAIN004-20 / paragraphs: P119; images: 발행처 판단 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗

원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.