큰 흐름의 한 갈래 · 버전별 학습 벤치마크
커널·통신 개선으로 같은 GPU의 학습량이 늘어난다
H100 GPT-3 175B 128 GPU의 버전별 개선과 GB200의 새 스택 성숙은 소프트웨어가 설치 자산의 생산성을 바꾸는 사례다. 모델별 개선 속도는 다르다.
초기 스택은 H100과 GB200의 연산·통신 자원을 덜 활용했다.
버전 개선으로 H100 처리량이 증가하고 GB200 DeepSeek BF16 비용 우위가 2025년 5월→7월 달라졌다.
2025년 12월 수치는 당시 전망이다. 2026년에 읽었다는 이유로 완료 실적으로 바꾸지 않는다.
작은 benchmark와 대규모 완료 학습은 다름.
적용 범위 · 2024~2025 H100 및 GB200의 해당 recipe
이 흐름의 원인과 다른 흐름의 연결
융합 커널과 collective 개선이 같은 장비의 실제 학습 처리량을 높인다.
모델·정밀도·batch별로 다른 개선 속도.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 동일한 H100 128개에서 GPT-3 175B의 2024년 1월→12월 BF16 처리량은 313→493 tok/s/GPU, FP8은 543→728로 증가했다고 보고한다. · 분석 근거 읽기 →C-TRAIN004-05 / paragraphs: P040–P048; images: I04발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- Llama3.1 8B H100 128개에서는 2024년 11월→2025년 4월 FP8 13360→13739, BF16 10006→10630 tok/s/GPU로 소프트웨어 개선이 상대적으로 작았다. · 분석 근거 읽기 →C-TRAIN004-10 / paragraphs: P071–P073; images: I08발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- DeepSeek 670B BF16에서 GB200는 2025년 5월 비용 우위가 없었지만 7월 2138 대 H100 842 tok/s/GPU로, 약2.54배 처리량 및 약1.52배 성능/TCO를 보였다. · 분석 근거 읽기 →C-TRAIN004-11 / paragraphs: P078–P083; images: I09발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
동일 장비의 커널·통신 개선이 정상 동작의 단위 학습 비용을 낮춘다.
같은 모델·recipe·정밀도·목표품질을 맞추고 구형 장비도 동시점 소프트웨어로 비교.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 동일한 H100 128개에서 GPT-3 175B의 2024년 1월→12월 BF16 처리량은 313→493 tok/s/GPU, FP8은 543→728로 증가했다고 보고한다. · 분석 근거 읽기 →C-TRAIN004-05 / paragraphs: P040–P048; images: I04발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- 융합 커널·collective 등 전체 스택 개선으로 동일 모델의 토큰당 비용과 에너지가 감소했다. FP8 비용은 0.727→0.542달러/백만 토큰, utility 에너지는 3.29→2.46 J/token이다. · 분석 근거 읽기 →C-TRAIN004-06 / paragraphs: P046–P052; images: I04발행처 추정 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- Llama3.1 8B H100 128개에서는 2024년 11월→2025년 4월 FP8 13360→13739, BF16 10006→10630 tok/s/GPU로 소프트웨어 개선이 상대적으로 작았다. · 분석 근거 읽기 →C-TRAIN004-10 / paragraphs: P071–P073; images: I08발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- DeepSeek 670B BF16에서 GB200는 2025년 5월 비용 우위가 없었지만 7월 2138 대 H100 842 tok/s/GPU로, 약2.54배 처리량 및 약1.52배 성능/TCO를 보였다. · 분석 근거 읽기 →C-TRAIN004-11 / paragraphs: P078–P083; images: I09발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
어떤 역할을 맡는 기업인가
| 기업·주체 | 연결되는 역할 |
|---|---|
| NVIDIA | CUDA·NeMo·통신 라이브러리 |
| CSP·고객 | 동일 작업의 버전 검증 및 배포 |
연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.
흐름이 이어지는지 확인할 것
- 동일 recipe·품질의 학습 완료 시간
- 신구 GPU를 같은 시점 스택으로 비교
이 판단을 만든 글과 근거
- NVIDIA EOS H100 클러스터의 DGXC 레퍼런스와 NeMo Megatron-LM을 이용한 벤치마크이며 네트워크는 서버당 8×400 Gbit/s InfiniBand다. Exemplar Cloud 기준 및 고객 SLA의 성능 기준으로 쓰인다고 설명한다. · 분석 근거 읽기 →C-TRAIN004-01 / paragraphs: P020–P023; images: 발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- 동일한 H100 128개에서 GPT-3 175B의 2024년 1월→12월 BF16 처리량은 313→493 tok/s/GPU, FP8은 543→728로 증가했다고 보고한다. · 분석 근거 읽기 →C-TRAIN004-05 / paragraphs: P040–P048; images: I04발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- 융합 커널·collective 등 전체 스택 개선으로 동일 모델의 토큰당 비용과 에너지가 감소했다. FP8 비용은 0.727→0.542달러/백만 토큰, utility 에너지는 3.29→2.46 J/token이다. · 분석 근거 읽기 →C-TRAIN004-06 / paragraphs: P046–P052; images: I04발행처 추정 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- Llama3.1 8B H100 128개에서는 2024년 11월→2025년 4월 FP8 13360→13739, BF16 10006→10630 tok/s/GPU로 소프트웨어 개선이 상대적으로 작았다. · 분석 근거 읽기 →C-TRAIN004-10 / paragraphs: P071–P073; images: I08발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- DeepSeek 670B BF16에서 GB200는 2025년 5월 비용 우위가 없었지만 7월 2138 대 H100 842 tok/s/GPU로, 약2.54배 처리량 및 약1.52배 성능/TCO를 보였다. · 분석 근거 읽기 →C-TRAIN004-11 / paragraphs: P078–P083; images: I09발행처의 관측 보고 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
- 2025년 12월 GB200 DeepSeek BF16 3957 tok/s/GPU·MFU42%·0.166달러/백만 토큰은 NVIDIA 예상 개선에 기반한 전망이다. · 분석 근거 읽기 →C-TRAIN004-12 / paragraphs: P081–P087; images: I09발행처 전망 · 독립 검증 전원문 발행 2025-08-20 · SemiAnalysis 원문 ↗
원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.