큰 흐름의 한 갈래 · 평가 설계·검수 이력
업무 평가를 더 어렵고 새롭게 유지한다
학습용 환경 공급과 실제 성과를 확인하는 평가는 가까운 역할이지만 같지 않다. 평가 과제를 반복하면 오염과 과적합이 생길 수 있다.
객관식·공개 문제·기존 테스트를 재사용한 평가가 중심이었다.
업무 환경·전문가 기준표를 보완하고 검수·누출 통제·갱신에 자원을 쓴다.
비공개 문제도 오류가 있을 수 있다. 사람이 검수한 과제와 실제 고객 업무의 성과를 함께 확인해야 한다.
예산 배정은 공급사 매출·이익이 아니다.
적용 범위 · 공개 평가의 역사와 실제 업무 평가
이 흐름의 원인과 다른 흐름의 연결
누출과 불공정 채점을 줄이려고 과제를 다시 만들고 전문가 검수를 보완한다.
비공개화 자체가 품질 보증은 아님.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- 초기 객관식·단답형 평가가 포화되면서 더 어렵고 전문가가 작성하는 문항으로 이동했으나 오류와 대표성 문제가 남았다고 설명한다. · 분석 근거 읽기 →C-CODE003-18 / P087-P100발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- SWE-bench는 자동 수집 평가에서 사람이 검수한 500문항으로 좁혀졌고, 2026년 OpenAI는 불공정 채점·오염 문제로 그 점수 발표를 중단하고 Pro를 권고했다. · 분석 근거 읽기 →C-CODE003-20 / P105-P119발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 평가 대상은 코드 테스트를 넘어 앱·파일·업무 환경의 결과물로 넓어지고 전문가 기준표와 사람 또는 LLM 채점이 쓰인다. · 분석 근거 읽기 →C-CODE003-21 / P125-P141발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 발행처 자체 평가에는 비용을 줄이기 위한 부분 표본과 제한된 MCP 서버가 사용됐고 회사 발표와 harness도 달랐다. · 분석 근거 읽기 →C-CODE003-23 / P153-P157; I24발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
업무 과제·평가 전문성은 학습 자원과 성과 측정 양쪽에 쓰일 수 있다.
학습 신호 생산과 출시 전후 성과 평가가 같은 구매·같은 데이터라는 뜻은 아님.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- Google이 2025년에 HLE형 STEM 문항을 Mercor·Surge·Handshake 등에 조달하는 데 9자리 달러 예산을 배정했다는 발행처 보고다. · 분석 근거 읽기 →C-CODE003-19 / P100-P102발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- SWE-bench는 자동 수집 평가에서 사람이 검수한 500문항으로 좁혀졌고, 2026년 OpenAI는 불공정 채점·오염 문제로 그 점수 발표를 중단하고 Pro를 권고했다. · 분석 근거 읽기 →C-CODE003-20 / P105-P119발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 평가 대상은 코드 테스트를 넘어 앱·파일·업무 환경의 결과물로 넓어지고 전문가 기준표와 사람 또는 LLM 채점이 쓰인다. · 분석 근거 읽기 →C-CODE003-21 / P125-P141발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 도입부 P1~P9. 발행처 판단: RL 확장을 위해서는 별도로 만든 과제와 데이터가 필요하며, 응용 서비스의 사용 이력도 후속 학습에 활용될 수 있다. · 분석 근거 읽기 →C01 / paragraphs: P002–P010; images: ; sections: Introduction발행처 판단 · 독립 검증 전원문 발행 2026-01-06 · SemiAnalysis 원문 ↗
- “During a Gold Rush…” P24~P32, “So You Want to Make a Coding Environment?” P34~P43. 발행처 보고와 일부 추정. · 분석 근거 읽기 →C03 / paragraphs: P025–P045; images: ; sections: During a Gold Rush, Sell Shovels. In an RL Scaling Boom…, So You Want to Make a Coding Environment?발행처 판단 · 독립 검증 전원문 발행 2026-01-06 · SemiAnalysis 원문 ↗
- “Data Foundries and Expert Contractors” P45~P60. 원문은 Mercor·Handshake·Surge 등을 사례로 들고, 모델이 평가 기준을 만드는 시도도 소개한다. · 분석 근거 읽기 →C04 / paragraphs: P048–P061; images: ; sections: Data Foundries and Expert Contractors발행처 판단 · 독립 검증 전원문 발행 2026-01-06 · SemiAnalysis 원문 ↗
훈련에 쓰이지 않은 과제와 전문 평가가 점수 상승이 실제 업무에 전이됐는지 확인한다.
학습용 과제와 검증용 과제의 누출·중복을 통제.
연결 근거 · 해석
분석자의 연결 해석 · 기록 2026-10-12 · 실제 시작 시점 미확정
이 연결은 독립 검증 전인 분석자의 해석입니다.
- SWE-bench는 자동 수집 평가에서 사람이 검수한 500문항으로 좁혀졌고, 2026년 OpenAI는 불공정 채점·오염 문제로 그 점수 발표를 중단하고 Pro를 권고했다. · 분석 근거 읽기 →C-CODE003-20 / P105-P119발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 평가 대상은 코드 테스트를 넘어 앱·파일·업무 환경의 결과물로 넓어지고 전문가 기준표와 사람 또는 LLM 채점이 쓰인다. · 분석 근거 읽기 →C-CODE003-21 / P125-P141발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 발행처 자체 평가에는 비용을 줄이기 위한 부분 표본과 제한된 MCP 서버가 사용됐고 회사 발표와 harness도 달랐다. · 분석 근거 읽기 →C-CODE003-23 / P153-P157; I24발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
어떤 역할을 맡는 기업인가
| 기업·주체 | 연결되는 역할 |
|---|---|
| Mercor·Surge·Handshake·Scale | 전문 과제·평가의 공급 사례 |
| 모델 개발사·고객 | 평가 설계와 업무 성과 검증 |
연결된 자료에 등장한 역할 사례입니다. 공식 계약·현재 실적이나 선두 지위의 확인표, 상장주 추천 목록은 아닙니다.
흐름이 이어지는지 확인할 것
- 미학습 업무와 점수의 상관
- 전문가 채점 일치·누출·공정성 및 과제 재구매
이 판단을 만든 글과 근거
- 초기 객관식·단답형 평가가 포화되면서 더 어렵고 전문가가 작성하는 문항으로 이동했으나 오류와 대표성 문제가 남았다고 설명한다. · 분석 근거 읽기 →C-CODE003-18 / P087-P100발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- Google이 2025년에 HLE형 STEM 문항을 Mercor·Surge·Handshake 등에 조달하는 데 9자리 달러 예산을 배정했다는 발행처 보고다. · 분석 근거 읽기 →C-CODE003-19 / P100-P102발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- SWE-bench는 자동 수집 평가에서 사람이 검수한 500문항으로 좁혀졌고, 2026년 OpenAI는 불공정 채점·오염 문제로 그 점수 발표를 중단하고 Pro를 권고했다. · 분석 근거 읽기 →C-CODE003-20 / P105-P119발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 평가 대상은 코드 테스트를 넘어 앱·파일·업무 환경의 결과물로 넓어지고 전문가 기준표와 사람 또는 LLM 채점이 쓰인다. · 분석 근거 읽기 →C-CODE003-21 / P125-P141발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 발행처 자체 평가에는 비용을 줄이기 위한 부분 표본과 제한된 MCP 서버가 사용됐고 회사 발표와 harness도 달랐다. · 분석 근거 읽기 →C-CODE003-23 / P153-P157; I24발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
- 자료의 빈칸에는 API 이용 불가·실패가 포함되고 같은 이름의 모델도 Pro 여부·harness·도구·추론 수준이 섞여 비교표끼리 점수가 달라진다. · 분석 근거 읽기 →C-CODE003-35 / I06; I08; I15; I22; I23; I24발행처의 관측 보고 · 독립 검증 전원문 발행 2026-04-24 · SemiAnalysis 원문 ↗
원문 주장을 연결한 해석입니다. 같은 원문을 여러 해설에서 사용해도 독립 증거가 늘어나지는 않습니다. 기술·계약의 실제 시작 시점이 불명확한 관계는 미확정으로 남겼습니다.