변화 단위로 읽는 보고서 · 업로드 순서 3
H100과 GB200의 학습 경제성
관측된 변화는 두 갈래다. 소프트웨어가 새 하드웨어를 활용하면서 같은 GPU의 학습 처리량이 빠르게 좋아졌다. 동시에 8 GPU 서버에서 72 GPU 랙으로 연결 영역이 커지면서 장애의 영향 범위와 복구 부담이 늘었다. 구매 판단의 단위는 피크 FLOPs보다 같은 모델을 같은 품질까지 안정적으로 학습하는 총비용이어야 한다.
이 글에서 발견한 변화를 그림으로 보기
보고된 변화와 함께 확인할 조건
같은 GPU의 실효 성능이 소프트웨어로 개선된다
고정 하드웨어 스펙을 곧바로 비용 효율로 읽는다.
커널·통신 스택 버전 변화가 GPT-3 처리량과 토큰당 비용을 크게 바꾼다.
융합 커널과 NCCL collective 최적화
적용 범위: H100 GPT-3 175B 128 GPU 2024년; 8B의 더 작은 개선과 구분
단계: 발행처 보고 벤치마크 · 적용 시기: 2024년 1–12월 H100 소프트웨어 비교; 모델별 별도 2024년 11월–2025년 4월 비교
이익으로 이어질 조건 · 실제 학습 프레임워크에 최적화가 적용되고 안정성·수렴이 유지되어야 한다.
다음 확인 · 동일 모델·batch·precision에서 버전별 재현 및 학습 완료 시간
판단을 바꿀 조건 · 다른 프레임워크에서 개선이 재현되지 않으면 일반화를 낮춘다.
GPU 수 확대의 경제성이 batch와 통신에 갈린다
GPU 증가를 동일한 선형 처리량 증가로 가정한다.
약한 확장에서 405B는 효율을 유지하지만 70B FP8은 GPU당 효율이 낮아진다.
연산 대비 통신량 · batch 확대와 병렬화 전략
적용 범위: H100 NeMo 2025년 2월 표; 최종 품질의 등가성은 별도
단계: 발행처 보고 벤치마크 · 적용 시기: 기사 내 학습 규모별 비교; 개별 측정일 미공개
이익으로 이어질 조건 · 큰 batch가 수렴 효율을 훼손하지 않고 작업 대기시간 절감이 비용을 넘을 때
다음 확인 · 고정 목표 품질까지 tokens-to-convergence 및 strong/weak scaling 각각
판단을 바꿀 조건 · 동일 batch strong scaling에서 동일 효율이 나오거나 batch가 수렴을 악화시키면 해석 수정
GB200 학습 경제성이 소프트웨어 성숙으로 역전된다
2025년 5월 DeepSeek BF16 GB200는 비용 우위가 없다.
7월에는 약 1.52배 성능/TCO가 보고되지만 12월 확대는 전망이다.
새 아키텍처 커널 성숙 · 넓은 scale-up과 MoE 병렬화
적용 범위: DeepSeek 670B BF16; small benchmark, 신뢰성 반영 전
단계: 발행처 보고 벤치마크 · 적용 시기: 2025년 5월과 7월 비교; 12월 값은 당시 전망
이익으로 이어질 조건 · 실제 배포 시점에 성능이 구현되고 신뢰성·capex 프리미엄을 상쇄해야 한다.
다음 확인 · 당시 12월 projection을 동일 recipe 실측으로 확인
판단을 바꿀 조건 · H100 동시 최적화·GB200 장애비가 우위를 상쇄하면 전환 속도를 낮춘다.
초희소 MoE가 대규모 scale-up 통신의 가치를 높인다
연산 피크가 GPU 비교의 중심이다.
expert dispatch/combine과 넓은 all-to-all이 시스템 차이를 만든다.
추론 활성 파라미터를 줄이려는 모델 설계 · top_k 통신
적용 범위: DeepSeek MoE; collective 18배와 end-to-end 배수는 구별
단계: 발행처 보고 벤치마크 · 적용 시기: 2025년 5–7월 MoE 비교; 통신 시험의 정확한 측정일 미공개
이익으로 이어질 조건 · 통신 절감이 실제 workload에 충분한 비중을 차지하고 시스템 원가를 회수할 때
다음 확인 · 메시지 크기별 collective와 동일 모델 end-to-end 비교
판단을 바꿀 조건 · 모델이 통신량을 줄이거나 HGX/경쟁 scale-up이 따라오면 가치 집중 완화
랙 집적이 운영 장애의 영향 범위를 키운다
Hopper 서버 8 GPU 단위 교체를 중심으로 운영한다.
NVSwitch·백플레인 수리는 72 GPU 랙을 비워야 하고 진단·교체 시간이 길어진다.
더 큰 연결 영역 · 기계 체결·신호 무결성 · 진단 도구 미성숙
적용 범위: 2025년 초기 NVL72 운영 보고
단계: 발행처 보고 운영 사례 · 적용 시기: 2025년 8월 기사 시점의 운영자 보고; 장애 집계 기간 미공개
이익으로 이어질 조건 · 장애 발생률·복구시간을 낮춰 고객 가동률과 계약 신뢰를 높일 때
다음 확인 · burn-in 이후 장애 분포, MTBI, MTTR, 백플레인 불량 반품·인수 기록
판단을 바꿀 조건 · 후속 세대·수리 절차로 랙 장애 빈도와 복구 시간이 줄면 초기 위험 할인 축소
예비 용량과 중단 시간이 신형 GPU의 비용 우위를 줄인다
정상 동작 benchmark의 토큰 비용만 비교한다.
예비 GPU·예비 랙·재시작을 넣으면 GB200 우위가 운영자별로 0–21%까지 줄어든다.
연결 영역의 장애 파급 · 주학습용 64/72 배치 · 타 작업과 비용 배분
적용 범위: Llama4 FP8 16384 active GPU 모형; 최종 학습 실적 아님
단계: 발행처 신뢰성 모형 · 적용 시기: 2025년 8월 기사 시점의 16,384 GPU 확장 시나리오; 실운영 완료 학습 아님
이익으로 이어질 조건 · 예비 장비의 실제 이용 수익과 장애비를 포함해 유효 TCO가 낮아야 한다.
다음 확인 · 동일 목표 품질의 완료 시간·실패 손실·예비 자산 회계
판단을 바꿀 조건 · 저숙련 운영 또는 낮은 수렴 효율로 우위가 사라지면 HGX 등 대안 재평가
전력 효율의 이득은 칩과 냉각 조건을 함께 따른다
칩 TDP나 FLOPs/W만으로 시설 생산성을 판단한다.
utility J/token에 서버·네트워크·PUE를 넣어 전력 배정당 유효 학습량을 비교한다.
칩 연산 효율 · DLC 및 chiller 최소화 · 소프트웨어 처리량
적용 범위: H100 PUE1.3 대 GB2001.1 DeepSeek 비교; 비용 표 1.35와 별개
단계: 발행처 보고 벤치마크 · 적용 시기: 2025년 7월 비용·에너지 비교; 100 MW 예시는 12월 성능 전망
이익으로 이어질 조건 · 해당 시설에서 PUE와 sustained throughput이 실제 구현될 때
다음 확인 · 벽전력·PUE·실제 가동률을 같은 부하로 재측정
판단을 바꿀 조건 · 냉각·보조 전력 또는 낮은 이용률이 가정을 깨면 전력 효율 우위 조정
운영 역량에 따라 GPU 제품 선택이 분화한다
대다수 클라우드에 같은 최신 랙이 최선이라고 가정한다.
자동화·공동 진단 역량이 부족한 운영자는 HGX B200/B300을 택하고 NVL72는 적합한 대형·MoE 사용처에 집중된다.
운영 복잡성 · workload별 이득 · 전환 비용
적용 범위: 기사 시점 발행처 관측 및 전망
단계: 제품 선택 사례와 발행처 판단 · 적용 시기: 2025년 8월 기사 시점의 제품 선택 사례와 발행처 판단
이익으로 이어질 조건 · 고객이 운영 신뢰성과 성능을 계약가격으로 인정하고 더 높은 비용을 회수할 때
다음 확인 · 공급업체별 실제 학습 완료 실적·SLA·갱신 및 제품 믹스
판단을 바꿀 조건 · 운영 자동화가 보편화되면 역량 차이의 초과이익 약화
기사에 등장한 기업과 검증 조건
아래는 기사 속 역할 사례입니다. 필요한 제품·기술의 공급자를 새로 찾고 비교하는 조사나 현재 선도성 판정을 대신하지 않습니다.
NVIDIA
GPU·scale-up·CUDA·진단 통합 공급
이익으로 이어질 조건 · 원가 프리미엄보다 큰 안정적 고객 생산성
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
ODM/OEM 및 CSP 운영자
랙 조립·인수시험·자동화·현장 복구
이익으로 이어질 조건 · 낮은 장애·짧은 복구·신뢰 가능한 SLA가 가격 및 유지율로 연결
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
Amphenol
원문에 등장하는 Paladin 커넥터 공급
이익으로 이어질 조건 · 설계 채택·물량·단가·수율 확인; 장애 원인 및 이익 귀속 미검증
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
Google TPU 및 AMD
대체 학습 플랫폼·경쟁 공급
이익으로 이어질 조건 · 동일 workload와 완성도 기준 비교 필요; 이 글에 직접 대조 실험 없음
확인할 것 · 같은 범위의 고객 채택, 실제 가동, 계약 단가와 해당 사업의 매출·이익 노출을 확인한다.
사업 참여와 이익 회수, 상장 여부와 티커, 현재 가치평가는 별도로 확인해야 합니다.
해석의 경계와 반대 근거
- 5월 DeepSeek 본문 30% 성능 개선과 표 958/630≈52.1%가 불일치. 본문 7% 비용 증가와 0.684/0.626−1≈9.3%도 불일치. 표와 본문 모두 보존.
- Llama4 성능/TCO 약 1.52배는 비용 약 34.4% 절감이다. P116–117의 50% cheaper는 같은 뜻이 아니다.
- 70B 본문 2408 GPU는 표 2048과 다르며 FP8 처리량 하락은 약 6.7%이다. 본문 PP2와 이미지 PP4 상충.
- 일반 운영비 표 PUE1.35와 세대별 energy표 H1001.3/GB2001.1을 분리한다. 원가표 내부 검정 가림 때문에 세부 원가 검증 불가.
- 도입 128→2048 GPU 범위와 405B 표 최대 2304 GPU 차이. 본문 배포 후 개월수로 정확한 최초 가동일을 역산하지 않는다.
- I15 recovery 비중은 active16384 및 표시 MTBI·seconds에서 단순 재계산한 값과 소폭 다르다. 원시 계산모형 미확보.
다음에 무엇을 확인할까
- 동일 모델·batch·precision에서 버전별 재현 및 학습 완료 시간
- 고정 목표 품질까지 tokens-to-convergence 및 strong/weak scaling 각각
- 당시 12월 projection을 동일 recipe 실측으로 확인
- 메시지 크기별 collective와 동일 모델 end-to-end 비교
- burn-in 이후 장애 분포, MTBI, MTTR, 백플레인 불량 반품·인수 기록
- 동일 목표 품질의 완료 시간·실패 손실·예비 자산 회계
- 벽전력·PUE·실제 가동률을 같은 부하로 재측정
- 공급업체별 실제 학습 완료 실적·SLA·갱신 및 제품 믹스
원문과 검토 범위
저장본 전문 검토 완료 · 핵심 성능 독립 검증 미완료 · 이미지 15개 모두 시각 검토
- P001–P119 전체 검토. 제목·이미지만 있는 블록도 포함하며 P001은 저장 메타데이터와 첫 본문을 포함한다. 문단 번호는 검토용이며 원문 웹의 위치 표지가 아니다.
- 본문 저장본 전체 및 이미지 15개를 검토했다. 유료 웹 원본의 완전성과 원시 실험 로그는 미확인이다.
- 발행일, 업로드일, 실제 사건일과 미래 적용 시기를 따로 기록했다.
아래는 자기 말로 재서술한 근거입니다. P·I 번호는 검토 사본의 위치이며 원문 웹페이지의 고정 앵커가 아닙니다. 발행처의 보고를 공식 확인 사실로 바꾸지 않습니다.
변화에 연결된 근거
NVIDIA EOS H100 클러스터의 DGXC 레퍼런스와 NeMo Megatron-LM을 이용한 벤치마크이며 네트워크는 서버당 8×400 Gbit/s InfiniBand다. Exemplar Cloud 기준 및 고객 SLA의 성능 기준으로 쓰인다고 설명한다.
모든 클라우드나 Native PyTorch의 성능을 측정한 것이 아니다. DGXC 레퍼런스와 발행처 분석의 기여 구분 및 원시 로그는 확보하지 않았다.
P020–P023원문에서 맥락 확인 ↗GPU당 초기 투자비와 자본 비용은 GB200 NVL72가 H100보다 높고 구매자 규모에 따라 달라진다.
H100 서버 8 GPU와 GB200 랙 72 GPU를 혼동하면 안 된다. 세부 원가 항목은 이미지에서 검게 가려져 있어 검증할 수 없다.
P025–P028 · I01원문에서 맥락 확인 ↗모형의 시간당 GPU 소유 TCO는 하이퍼스케일러 H100 1.42달러, GB200 2.36달러이고, 신생 네오클라우드는 각각 1.948·3.06달러다.
렌탈 마진 없는 소유 모형이다. 약 1.66배 높은 GB200 비용을 넘어서는 유효 성능 향상이 필요하다. 비용 표 PUE와 뒤의 토큰별 에너지 표 PUE가 다르다.
P029–P032 · I02, I03원문에서 맥락 확인 ↗발행처는 클라우드별 실측 공개, PyTorch FSDP2·DTensor로의 최적화 확장, 백플레인 진단·인수시험 강화를 요구한다.
GCP a3-mega의 과거 10–20% MFU 열위는 다른 기사 재인용이며 이 글의 신규 독립 실험은 아니다.
P035–P039원문에서 맥락 확인 ↗동일한 H100 128개에서 GPT-3 175B의 2024년 1월→12월 BF16 처리량은 313→493 tok/s/GPU, FP8은 543→728로 증가했다고 보고한다.
동일 하드웨어의 소프트웨어 버전 비교. MFU는 정밀도별 피크가 분모여서 FP8 MFU가 낮다고 절대 처리량이 낮은 것이 아니다.
P040–P048 · I04원문에서 맥락 확인 ↗융합 커널·collective 등 전체 스택 개선으로 동일 모델의 토큰당 비용과 에너지가 감소했다. FP8 비용은 0.727→0.542달러/백만 토큰, utility 에너지는 3.29→2.46 J/token이다.
최종 단일 학습 비용이며 반복 실험·실패·연구 인건비와 다르다. 에너지는 실측 벽전력만이 아니라 구성요소 및 PUE를 더한 추정이다.
P046–P052 · I04원문에서 맥락 확인 ↗Llama3 405B에서 H100 576→2304개로 늘리고 batch 252→1008로 함께 늘린 약한 확장 비교는 BF16 MFU 54.5→54.2%로 거의 유지됐다.
동일 batch의 강한 확장이 아니다. 15T 토큰 비용 29.1M달러는 2304 GPU 모델링이고 Meta의 실제 16k GPU 학습 총지출과 동일하지 않다. 이미지 DP=-1은 자동/설정값으로 원시 recipe 미확인.
P055–P065 · I05, I06원문에서 맥락 확인 ↗405B BF16 약한 확장 사례의 2304 GPU 비용은 1.948달러/백만 학습 토큰, utility 에너지는 8.83 J/token이다.
원문 총 29.1M은 반올림 차이. 비교 대상 DeepSeek 5M은 모델 아키텍처·활성 파라미터·정밀도·학습 수렴 조건이 달라 우열의 직접 증거가 아니다.
P060–P065 · I06원문에서 맥락 확인 ↗Llama3 70B는 H100 64→2048개 약한 확장시 FP8 MFU 38.1→35.5%, 처리량 1567→1462 tok/s/GPU로 하락하고 BF16은 1121→1104로 작게 하락했다.
본문 2408 GPU와 10% 하락 표현은 이미지의 2048·약 6.7% 처리량 하락과 불일치. PP도 본문 2 대 표 4로 불일치하며 이를 해결했다고 주장하지 않는다.
P066–P070 · I07원문에서 맥락 확인 ↗Llama3.1 8B H100 128개에서는 2024년 11월→2025년 4월 FP8 13360→13739, BF16 10006→10630 tok/s/GPU로 소프트웨어 개선이 상대적으로 작았다.
성숙한 특정 모델·기간의 사례이며 모든 모델 소프트웨어 개선이 끝났다는 뜻은 아니다.
P071–P073 · I08원문에서 맥락 확인 ↗DeepSeek 670B BF16에서 GB200는 2025년 5월 비용 우위가 없었지만 7월 2138 대 H100 842 tok/s/GPU로, 약 2.54배 처리량 및 약 1.52배 성능/TCO를 보였다.
기기·batch 규모가 다르고 신뢰성 반영 전이다. 5월 본문 30% speedup는 표의 약 52%와 다르며 7% 비용열위는 표 기준 9.3%다. 7월까지 H100도 개선됐으므로 고정된 구세대 분모가 아니다.
P078–P083 · I09원문에서 맥락 확인 ↗2025년 12월 GB200 DeepSeek BF16 3957 tok/s/GPU·MFU42%·0.166달러/백만 토큰은 NVIDIA 예상 개선에 기반한 전망이다.
7월 H100 분모와 비교한 미래 GB200다. 출시 당시 전망을 2026년 검토 시점의 달성 사실로 바꾸지 않는다. 14.8T 토큰 비용 약 2.46M은 최종 학습만의 모형.
P081–P087 · I09원문에서 맥락 확인 ↗초희소 MoE의 낮은 활성 파라미터는 추론 비용을 줄이지만 expert dispatch/combine 통신과 학습 안정성 부담을 키운다. 64 GPU all-to-all이 NVL72 내부에서 H100 클러스터 대비 18배 빠르다는 설명이다.
collective 단독 배수와 전체 학습 배수는 다르다. top_k가 4배면 해당 통신량 O(top_k)가 4배라는 조건부 설명. 18배 측정의 메시지 크기·네트워크 상세는 본문에 없다.
P081;P085–P086원문에서 맥락 확인 ↗DeepSeek 7월 utility 에너지는 H100 2.12 대 GB200 0.97 J/token으로 약 2.19배 효율이다.
칩 FLOPs/W뿐 아니라 PUE 가정이 다른 DLC 시설 효과를 포함한다. 100 MW 4배 처리량은 12월 전망의 0.53을 적용한 단위 전력 용량이지 총수요나 실제 전력 절감이 아니다.
P087 · I09원문에서 맥락 확인 ↗Llama4 Maverick 400B·활성 17B FP8 5월 벤치마크는 GB200 128 GPU에서 H100 512 GPU보다 GPU당 처리량 10757/4251≈2.53배, 비용 0.061/0.093≈0.66배다.
약 1.52배 성능/TCO는 약 34% 비용 감소이며 50% 더 저렴함과 다르다. DeepSeek BF16과 모델·정밀도·시점 범위가 다르다.
P088–P091 · I10원문에서 맥락 확인 ↗기사 시점 GB200 대규모 학습은 백플레인 신호 무결성·진단 미성숙으로 어려우며 Paladin 커넥터 체결과 케이블·switch tray 교체가 장애 구분 및 수리 시간을 늘린다고 보고한다.
발행처 운영자 취재 보고이지 전체 설치군의 공식 장애 통계는 아니다. 오류 원인을 커넥터 하나로 단정하지 않는다. 물리 교체시간과 재시작 recovery 모델은 다른 지표.
P004–P006;P093–P108 · I11, I12, I13, I14원문에서 맥락 확인 ↗신뢰성 모형은 NVL72당 64 GPU만 주학습에 사용하고 8개를 선점 가능한 예비로 두며, 별도 예비 랙까지 필요하다고 가정한다.
MTBI GPU-days를 한 랙의 일수나 클러스터 달력 MTBI로 읽으면 안 된다. 모든 workload에 64/72를 강제하는 보편 제품 사양이 아니라 본 학습 운용 모형이다. 표의 시간 손실률 산식은 원시 모형 미확인.
P094–P095;P113–P115 · I15원문에서 맥락 확인 ↗16384 active GPU Llama4 모형에서 GB200의 H100 최상 운영자 대비 비용 우위는 예비 GPU 비용 포함시 0·18·21%, 다른 작업을 하는 예비 GPU 비용 제외시 11·27·30%다.
실제 16k GB200 최종 학습 실적이 아니라 작은 benchmark를 확장한 신뢰성 시나리오다. 서로 다른 batch가 동일 수렴·품질을 보장하는지도 미검증. 예비 GPU의 타 작업 수입 또는 기회비용에 따라 비용 배분이 달라진다.
P116–P118 · I15원문에서 맥락 확인 ↗랙 운영 자동화와 고객·클라우드·NVIDIA의 공동 진단 역량이 중요해지며 일부 네오클라우드는 HGX B200/B300을 선택한다고 보고한다. 기사 시점 GB200 사용은 주로 추론·작은 실험·개발이라는 설명이다.
GB200가 모든 모델 학습에서 이긴다는 결론을 반박한다. 일반 규모 pretraining에는 vanilla B200가 더 나은 TCO일 수 있고 대형 모델·RL은 NVL72가 유리해질 것이라는 마지막 문장은 발행처 판단이다.
P109–P111;P119원문에서 맥락 확인 ↗큰 모델 또는 RL이 중요해질수록 NVL72가 다시 우세하고 보통 규모 pretraining에서는 B200가 더 나아 보인다는 결론.
동일 조건 B200 실측 표가 없고 RL 벤치마크도 이 글에 없다. RL 우위는 확인할 가설이다.
P119원문에서 맥락 확인 ↗