
Qwen3.8 跑分与评测:确认信息、证据缺口与早期实测
快速结论:Qwen3.8 目前没有完整、可复现的 Benchmark 成绩表。Qwen 将 2.4 万亿参数的 Qwen3.8 Max Preview 描述为当前最强模型之一,并在厂商定位中把它放在 Fable 5 之后;但完整官方表格尚未发布,也不存在广泛独立复现。由于 EvoLink 生产路由还不存在,EvoLink 没有运行自有 Qwen3.8 API 测评。
**名称辨析:**Qwen3.8 Max Preview 不是 Qwen3-8B。Qwen3-8B 的分数属于旧版 80 亿参数模型,不能拿来充当 Qwen3.8 的证据。
本文只能判断哪些事实和局限已有记录,不能断言 Qwen3.8 综合胜过 Fable 5、GPT-5.6、Kimi K3 或 Qwen3.7 Max,也不会展示模拟的 EvoLink 结果。
当前 Qwen3.8 跑分与评测证据
现有证据可以分成四层。
| 证据层级 | 当前是否存在 | 能支持什么 | 不能支持什么 |
|---|---|---|---|
| 官方模型状态与文档功能 | 有 | Preview 身份、渠道、推理/视觉/文本分类 | 综合质量排名 |
| Qwen 发布定位 | 有 | 测试假设和竞品选择 | 独立的胜负结论 |
| 第三方工作负载测试 | 有限 | 对某项任务和路由的具体观察 | 通用模型能力或稳定平均值 |
| 广泛独立 Benchmark 覆盖 | 仍不充分 | 未来跨模型比较 | 当前任何确定排行榜结论 |
Qwen 发布帖提供了头部定位,Token Plan 和 API 官方文档则提供更安全的运营事实。两者不能混成一张“已确认 Benchmark”表:有文档的功能不是性能分数,厂商排名也不是独立证据。
Qwen 官方声称了什么
Qwen 表示 Qwen3.8 拥有 2.4 万亿总参数,会持续演进,计划开放权重,并在内部评测中接近前沿头部。其发布定位尤其指向编程、推理、Agent 和复杂生产力任务。
每条声称都需要正确解读。
| Qwen 表述 | 有价值的 Benchmark 假设 | 不安全的结论 |
|---|---|---|
| 2.4 万亿总参数 | 测试更大规模是否改善高难任务 | 参数更多就必然输出更好 |
| 接近前沿的内部定位 | 纳入 Fable、GPT、Kimi 和 Qwen3.7 基线 | Qwen3.8 已被独立评为第二 |
| 聚焦编程与复杂工作 | 测试仓库任务和长工具循环 | Qwen3.8 是最佳编程模型 |
| 开放权重计划 | 提前准备服务与可复现问题 | 发布权重会与托管 Preview 完全一致 |
尚未公布的激活参数与架构细节同样重要。总参数不能直接说明推理成本、延迟、内存需求或每个 Token 实际使用的计算量。
早期第三方实测能告诉我们什么
Trilogy AI 在 7 月 19 日发布的一项早期仓库架构对照测试,让 Qwen3.8 Max Preview 与 Kimi K3 处理一个包含 269 个文件的任务。盲审后 Kimi 得分 83,Qwen 得分 80。Qwen 在部分系统边界和可重放元数据决策上更强;Kimi 完成更快、Token 更少,并更完整地覆盖生命周期状态。
这项结果有价值,因为它公布了任务结构、错误、Token 和定性差异。但它不构成通用 Benchmark,因为只有一个任务、每个模型一次会话,而且使用了不同订阅端点:Qwen 使用国际 Token Plan,Kimi 使用 Kimi Code。客户端、缓存、路由容量和发布期流量都属于结果的一部分。
正确结论是方法论:
- 对两个模型使用冻结输入;
- 除输出结构外,还要审核事实声称;
- 区分模型行为与路由行为;
- 同时报告延迟、Token 和质量;
- 尽可能对审查者隐藏模型身份;
- 不只发布总分,也发布失败分析。
路由合同也是结果的一部分。引用的 Qwen 运行使用 Token Plan 端点和交互式编程 Harness;Qwen 个人版条款禁止把该订阅 Key 复用于自定义后端、自动化脚本或非交互批处理。因此,83 比 80 比较的是两个带日期的端到端评测路径,不是两个可互换的生产 API。
社区对速度、冗长、循环或编程质量的反馈可以增加测试思路,但不能证明模型的普遍上限,因为 Prompt、工具、客户端和预期各不相同。
Qwen3.8 仍然缺少哪些证据
生产团队要有信心解读模型,市场还需要更广泛的证据。
完整官方 Benchmark 披露
有用的厂商表格应该说明模型版本、推理设置、工具权限、Prompt 策略、试验次数、评分方式和竞品配置。只有分数而没有 Harness,很难复现或公平比较。
独立的编程与 Agent 复现
编程 Benchmark 不能只覆盖孤立函数生成。生产证据应包含仓库探索、多文件修改、测试、工具调用、失败恢复和审查。
多模态任务证据
Qwen 文档说明 Preview 支持视觉理解。独立测试应拆分 OCR、视觉证据定位、文档理解、图表推理、抽帧后的视频画面分析和幻觉;这里不假定其原生支持视频输入。
延迟与 Token 效率
没有服务数据的能力结论并不完整。模型可能得分很好,但输出很长、推理 Token 很多或延迟不可预测,从而改变产品体验和成本。
路由稳定性与生命周期
Preview 可能在观察期内变化。测试必须记录准确模型 ID、日期、渠道、区域、客户端和配置,否则后续运行可能测的是另一个 Preview。
可复现的访问权限
如果测试凭证在政策或运维层面不能承载目标工作负载,该 Benchmark 就无法在生产中复现。应记录路由是否允许交互式评测、自动回归、自定义应用后端和批量流量,并把访问政策就绪度与模型质量分开评分。

为什么公开跑分经常误导生产团队
Benchmark 把性能压缩成一个分数,产品团队运营的却是包含延迟、工具、重试、计费、回退和人工审查的系统。
| Benchmark 盲区 | 可能隐藏的生产失败 | 更好的衡量方式 |
|---|---|---|
| 单次回答质量 | 计划正确但实现损坏 | 端到端通过验收的任务 |
| 理想 Prompt | 对真实用户输入很脆弱 | Prompt 变化通过率 |
| 没有工具失败 | 一次错误调用后 Agent 循环 | 注入失败后的恢复 |
| 单次运行 | 高波动和格式不稳定 | 多次试验与置信区间 |
| 只看 Token 单价 | 调用便宜但反复重试 | 通过验收的任务成本 |
| 最大上下文 | 长输入中检索质量差 | 受控位置的证据召回 |
| 最终答案得分 | 漂亮文字隐藏无来源声称 | 声称级证据审计 |
这些盲区对 Qwen3.8 尤其重要,因为 Preview 正被当作编程和 Agent 模型讨论。Agent 价值取决于状态、工具、恢复和停止行为,而不只是最终响应。
未来 EvoLink Qwen3.8 的评测门槛
生产可用 API 路由出现后,EvoLink 才能通过路由无关的测试套件评估 Qwen3.8,并决定默认、专用或升级角色。在此之前,这只是协议,不是已发布测试结果,也不是现在投入大型 Token Plan 测试预算的理由。
1. 冻结任务集
先从小规模 Pilot 开始,只有路由与初步结果值得继续时才扩大。任务应有明确验收标准,并包含目前由 Qwen3.7 Max、Kimi K3、Claude、GPT 或其他现实基线处理的工作。
| 类别 | 最低测试 | 验收信号 |
|---|---|---|
| 仓库编程 | Bug 修复与跨模块功能 | 测试通过;无无关修改 |
| 编程 Agent | 使用多个工具的长任务 | 调用正确;没有未解决循环 |
| 推理 | 多步骤技术决策 | 结果正确;假设可追踪 |
| 长上下文 | 仓库或文档证据检索 | 证据正确并带引用 |
| 视觉理解 | 截图、图表或文档任务 | 基于视觉证据作答;低虚构率 |
| 数据/生产力 | 表格分析与报告交付物 | 数字准确;输出可用 |
| 日常任务 | 常见小任务 | 前沿路由有可衡量增量 |
2. 锁定环境
记录:
- 准确模型 ID 和日期;
- 供应商路由与区域;
- system prompt 与 user prompt;
- 推理设置;
- 可用工具与权限;
- 超时、重试和回退策略;
- 输入与输出 Token;
- 是否命中缓存。
不要把工具丰富的编程客户端与裸 API 路由放在一起,并假装唯一变化只是模型。
3. 先评验收,再评风格
先使用硬性验收:测试、Schema、引用、数字准确性和必需交付物;再审查可维护性、清晰度和用户偏好。
一个实用评分卡是:
生产得分 = 验收率
- 严重缺陷率
- 人工介入惩罚
- 超时惩罚成本和延迟应与得分并列,而不是藏进一个混合权重数字。
4. 计算成功任务的经济性
通过验收的任务成本 = 模型调用 + 重试 + 回退调用 + 审查时间 + 修复Qwen3.8 标准按 Token 价格尚未公布,因此经济性评测目前无法公平完成。Preview 实验可以记录 Token Plan Credits,但不能把它表述为通用 API 价格。
5. 分配路由角色,而不是通用排名
评测输出应该是一条策略:
| 可能角色 | 所需证据 |
|---|---|
| 默认路由 | 常见流量上的验收率、延迟和成本稳定 |
| 编程专用 | 在仓库与工具任务上有明确优势 |
| 长上下文专用 | 在真实 Prompt 长度上召回和一致性更好 |
| 高质量升级 | 在高难或失败代价高的任务上验收率更高 |
| 仅列入观察 | 尚无生产可用路由、价格或可复现 API 证据 |
在 EvoLink 启用并验证 Qwen3.8 路由前,“仅列入观察”是正确的当前角色。
如何解读新出现的 Qwen3.8 跑分
分享新结果前,先问八个问题:
- 发布者是谁——模型厂商、对比模型厂商,还是独立评测者?
- 使用了哪个准确的 Qwen3.8 Build 和路由?
- 是否启用推理,强度是多少?
- 是否允许工具、浏览或代码执行?
- 跑了多少次?
- Prompt 与评分能否复现?
- 结果是否衡量产品真正执行的任务?
- 是否包含延迟、Token、重试和失败?
如果缺少这些字段,就把分数标为方向性证据,不要放进“谁赢了”表格。
给 EvoLink 用户的建议
常见问题
Qwen3.8 的 Benchmark 得分是多少?
不存在一个可靠的综合分数。Qwen 已公布前沿定位,但完整官方表格与广泛独立复现仍然有限。
Qwen3.8 真的仅次于 Fable 5 吗?
这是 Qwen 的厂商定位,不是经过独立验证的通用排名。应把它视为比较假设。
Qwen3.8 有独立实测吗?
已有少量第三方工作负载测试,包括一次匹配的仓库架构对比。它们提供了有价值的观察,但范围太窄,不能建立综合排名。
Qwen3.8 编程能力好吗?
编程是核心发布场景,但生产团队应该测试仓库修改、工具、恢复、测试和审查,而不是只依赖宣传标题中的单一跑分。
应该如何比较 Qwen3.8 与 Kimi K3?
使用冻结输入、相同权限、相同验收标准、多次试验,并分别衡量质量、延迟、Token、人工介入和成本。
Token Plan Credits 能用于 Benchmark 成本对比吗?
它可以描述 Preview 实验的订阅消耗,但不应换算为通用按 Token API 价格,也不能与其他供应商标价直接比较。
Qwen3.8 测试应该包含哪些基线?
包含产品实际能够路由的模型:Qwen3.7 Max 代表上一代稳定性,Kimi K3 代表当前长上下文挑战者,再加入高难任务当前使用的 Claude 或 GPT 路由。
Qwen3.8 什么时候适合生产?
当准确路由、ID、价格、限制、行为和回退都经过验证,并在重复工作负载测试中达到你的成功任务门槛时。


