Qwen3.8 Max 벤치마크: 공식 결과와 프로덕션 근거

근거 매트릭스

초기 제3자 테스트가 알려 주는 것

Trilogy AI의 초기 Repository Architecture Test는 269개 파일에서 Qwen3.8 Max Preview와 Kimi K3를 비교했습니다. Blind Review 점수는 Kimi 83, Qwen 80이었습니다. Qwen은 일부 System Boundary와 Replay Metadata 결정에서 강했고, Kimi는 더 빠르고 적은 Token으로 완료하며 Lifecycle State를 더 폭넓게 다뤘습니다.

Task 구조, 오류, Token 및 질적 차이를 보고했다는 점에서 유용하지만, 하나의 Task, 모델당 한 Session, 특정 Serving Route에 한정돼 일반 Benchmark는 아닙니다.

방법론상 중요한 교훈은 다음과 같습니다.

• 고정된 입력으로 비교합니다.
• 산출물 구조뿐 아니라 Claim의 정확성도 평가합니다.
• Model Behavior와 Route Behavior를 분리합니다.
• 품질과 함께 Latency와 Token을 공개합니다.
• 가능하면 Reviewer를 Blind 처리합니다.
• 총점뿐 아니라 Failure Analysis를 남깁니다.

Qwen 실행은 대화형 Coding Harness의 Token Plan Endpoint를 사용했습니다. 개인 Plan은 Custom Backend, 자동 Script, 비대화형 Batch를 금지합니다. 따라서 83 대 80은 특정 날짜의 End-to-End 평가 경로 비교이지 교환 가능한 두 프로덕션 API 비교가 아닙니다.

아직 부족한 Qwen3.8 증거

완전한 공식 Benchmark 공개

Model Version, Reasoning 설정, Tool Access, Prompt Policy, Trial 수, 채점 방법, 경쟁 모델 설정이 필요합니다. Harness가 없는 Score는 재현하기 어렵습니다.

독립 Coding 및 Agent 재현

함수 생성만이 아니라 Repository 탐색, 다중 파일 변경, Test, Tool Call, 실패 복구 및 Review를 포함해야 합니다.

멀티모달 Task 증거

OCR, Visual Grounding, 문서 이해, Chart Reasoning, Sampling한 Video Frame, Hallucination을 분리해야 합니다. Native Video Input은 아직 가정하지 않습니다.

Latency와 Token 효율

점수가 높아도 긴 추론, 큰 출력, 불안정한 Latency로 제품 경험과 비용이 악화될 수 있습니다.

Route 안정성과 이용 권한

정확한 ID, 날짜, 채널, 지역, Client, 설정을 기록합니다. Interactive Evaluation, 자동 Regression, Application Backend, Batch 사용 권한도 별도 확인합니다.

재현 가능한 이용 권한

대화형 구독에서 가능한 작업과 앱 Backend 또는 자동 회귀 Test에서 허용되는 작업을 구분해 기록합니다. Route 이용 조건은 품질 Score와 별도의 Gate입니다.

공개 Benchmark가 프로덕션 팀을 오도하는 이유

향후 EvoLink Qwen3.8 Benchmark Gate

이 Protocol은 프로덕션 적격 API Route가 공개된 뒤에만 실행합니다. 공개된 Test 결과도 아니며 지금 대규모 Token Plan 시험에 지출할 이유도 아닙니다.

1. Task Set 고정

API 공개 후 소규모 Pilot으로 시작하고 결과와 Route 조건이 타당할 때만 확대합니다. Qwen3.7 Max, Kimi K3, Claude, GPT 등 현재 Route를 Baseline으로 둡니다.

2. 환경 고정

Model ID, 날짜, Provider Route, 지역, System/User Prompt, Reasoning, Tool 권한, Timeout, Retry, Fallback, Input/Output Token, Cache Hit를 기록합니다.

3. Style보다 Acceptance 우선

Test, Schema, 인용, 숫자 및 필수 산출물을 먼저 판정하고 유지보수성, 명확성, 선호도를 다음에 평가합니다.

production_score = acceptance_rate
                 - severe_defect_rate
                 - intervention_penalty
                 - timeout_penalty

4. 성공 작업 경제성 계산

accepted_task_cost = model_calls + retries + fallback_calls + reviewer_time + repair

QwenCloud upstream Token 가격은 공개됐지만 EvoLink Route 가격은 미정입니다. 같은 채널의 실제 청구와 성공 작업 비용을 사용하고 Preview Credits는 이력으로만 다루세요.

5. 보편 순위가 아니라 Route 역할 결정

새로운 Score를 읽는 8가지 질문

1. 발표자는 Vendor, 비교 대상 또는 독립 평가자 중 누구인가?
2. 정확한 Qwen3.8 Build와 Route는 무엇인가?
3. Reasoning을 켰고 Effort는 무엇인가?
4. Tool, Browsing, Code Execution을 쓸 수 있었나?
5. Trial은 몇 번인가?
6. Prompt와 채점이 재현 가능한가?
7. 우리 제품의 실제 Task를 측정하는가?
8. Latency, Token, Retry, Failure를 포함하는가?

이 정보가 없으면 방향성 증거로 표시하고 Winner 표에 넣지 않습니다.

EvoLink 사용자 권장 사항

모든 점수 뒤에 재현 가능한 증거를 남긴다

Model ID, Route, 날짜, Region, Client, Thinking 설정, Tool 권한, Cache, Prompt Hash, 실행 수, Judge, Acceptance Rule을 저장하세요. 없으면 Model Revision이나 Route 변경을 성능 향상으로 오해할 수 있습니다.

평균뿐 아니라 실패 분포를 보고하세요. 잘못된 Tool Call, 깨진 JSON, Timeout, Retry, Fallback, 사람 수정을 분모에서 빼면 안 됩니다. 4회 성공 후 1회 무한 Loop가 나는 모델은 점수가 조금 낮아도 안정적인 모델보다 운영 가치가 낮을 수 있습니다.

평가 Package를 버전 관리한다

Prompt, Fixture, Raw Response, Tool Log, Usage, 청구, Judge Rule, 사람 결정을 날짜와 함께 보관하세요. Model, Client, Route, Region 또는 Thinking 설정이 바뀌면 이전 결과를 덮어쓰지 말고 새 Run으로 기록합니다. 성공 사례뿐 아니라 Unsupported Media, Schema Repair, Timeout, 429/5xx, Fallback과 Reviewer 수정도 Failure Taxonomy에 포함해야 합니다.

자주 묻는 질문

Qwen3.8 벤치마크 점수는 무엇인가요?

신뢰할 수 있는 단일 종합 점수는 없습니다. Qwen은 Terminal-Bench 2.1 86.6, SWE-bench Pro 67.7, HLE 43.6, OmniDocBench 1.5 92.1을 공개했지만 Vendor 결과이지 보편 순위가 아닙니다.

Fable 5 다음으로 2위인가요?

Qwen 자체 평가에 대한 Vendor 해석이며 독립 검증된 보편 순위가 아닙니다. Workload별 Route 역할을 정하세요.

독립 테스트가 있나요?

269개 파일 Repository 비교 같은 초기 테스트가 있지만 종합 순위를 정하기에는 범위가 좁습니다.

코딩에 좋은가요?

주요 출시 Use Case이지만 프로덕션에서는 Repo 변경, Tool, Recovery, Test, Review까지 검증해야 합니다.

Kimi K3와 어떻게 비교하나요?

입력, 권한, 평가 기준, Budget을 고정하고 여러 번 실행하여 품질, Latency, Token, 개입 및 비용을 따로 측정합니다.

Token Plan Credits를 비용 비교에 쓸 수 있나요?

안 됩니다. Credits는 Preview 구독 실험 소비만 설명하며 프로덕션 비교에는 같은 실행에서 실제 청구된 Provider 또는 EvoLink Route 가격을 사용해야 합니다.

어떤 Baseline을 포함해야 하나요?

실제로 교체할 수 있는 Qwen3.7 Max와 Kimi K3에 더해 품질 상한을 볼 Fable 5나 GPT-5.6 등을 포함하세요. 사용할 수 없는 모델을 장식용 비교 대상으로 삼지 마세요.

언제 프로덕션 준비가 되나요?

정확한 Route, ID, 가격, 제한, 동작, Fallback을 검증하고 반복한 실제 작업이 Acceptance 기준을 통과했을 때입니다.

출처

• QwenCloud 모델 릴리스 로그
• Qwen3.8 Max 기술 릴리스 및 Benchmark
• Qwen Token Plan 개인용 개요
• Qwen Chat API
• Qwen Kilo CLI 설정
• Kimi K3 개요
• Trilogy AI 비교
• Qwen3.8 발표

다음 단계: Harness 연결