一、总览
在同一项 3DMark 图形测试中,R9700 得了 7,008 分,RTX 5070 Ti 得了 6,967 分,两张卡相差不到 1%。32 GB 的价值是让 35B Q4 权重全进显存,同时给长文档的上下文缓存和运行留空间。 一份 35B Q4 权重约 19.7 GiB,16 GB 卡通常要卸载到系统内存,或换更低位宽的量化。24 GB 卡已有全显存样本,R9700 再多 8 GB 名义容量,可留给上下文或并发。 UL 图形横评 · 35B Q4 权重及实测 · KV 缓存说明
AMD 工作站样机先看 R9700 32 GB。 RX 7900 XTX AI ULTRA 48 GB 适合有更大显存需求的配置,RTX 5090 32 GB 是长文档推理速度参照。48 GB 板卡、三款 5090 与最新价格样本见 RX 7900 XTX AI ULTRA 48 GB 专项调研。
| 型号 | 推理速度 | 板卡规格 | 价格与评分 | |||||
|---|---|---|---|---|---|---|---|---|
| Qwen 35B Q4 生成token/s | Llama 2 7B 生成token/s | 显存GB | 显存带宽GB/s | FP32TFLOPS | 功耗W | 大陆价格 / 预算元 | 规格分/10 | |
| Radeon AI PRO R9700AMD | 127.4配对实测 | 152.7Vulkan 实测 | 32 | 640 | 47.8 | 300 | 17,899此前优惠 | 8 |
| RTX 5070 TiNVIDIA | 153推测解码实测 | 176.2Vulkan 实测 | 16 | 896 | 43.9 | 300 | 7,102–9,240渠道 | 6 |
| RTX 5090 原版NVIDIA | 194.0配对实测 | 245.5MLPerf 实测 | 32 | 1,792 | 104.8 | 575 | 51,000双宽涡轮 | 8 |
| RTX 5090 D 首版NVIDIA | 约 195估算依据 | 248.2MLPerf 实测 | 32 | 1,792 | 约 105估 | 575 | 47,199–49,499京东卡片 | 8 |
| RTX 5090 D v2NVIDIA | 145–170估算依据 | 214.9MLPerf 实测 | 24 | 1,344 | 约 105估 | 575 | 41,699–48,599京东卡片 | 6 |
| RX 7900 XTX AI ULTRA 48 GBAMD · 供方规格 | 约 95估算依据 | 约 170估算依据 | 48 | 864 | 61 | 约 295 | 20,000–30,000W7900 预算参照 | 9 |
| RX 7900 XTX 标准版 24 GBAMD | 104.79独立实测 | 190.9Vulkan 实测 | 24 | 960 | 61.4 | 355 | 7,899此前跟踪 | 6 |
5090 原版的 35B Q4 生成是 R9700 的 1.52 倍,32K 预填充是 3.44 倍。
与 5070 Ti 的 Steel Nomad 得分接近,Blender 样本为 3,726 对 7,882。
7B 来自 Llama 2 的 MLPerf 或 Vulkan 样本。35B 的配对实测使用相同权重,其余实测的模型、引擎或量化有差异。标有「估算依据」的数字来自实测与规格外推。规格分按显存、带宽与功耗计算,价格为 11 月 20 日汇总。 查看生成速度的测试条件与出处。
查看扩展对照表
| GPU | 显存 GB · 显存带宽 GB/s · 功耗 W | FP32/FP8/BF16 TFLOPS | 图形分/4K FPS | 7B 生成 token/s | 35B Q4 生成 token/s · 驻留 | 训练与微调 | 大陆样本 元 | 综合分 /100 |
|---|---|---|---|---|---|---|---|---|
| AMD 盈通 R9700(基准) | 32 GDDR6 · 640 · 300 | 47.8/383¹/— | 7,008 基准/— | 152.70 | 153.4 · 全显存 | ROCm,4B LoRA 有样本 | 17,899 | 72 |
| AMD R9600D | 32 GDDR6 · 640 · 150 | 24.8/199¹/— | —/— | — | 容量同档,待实测 | Linux ROCm | 待询 | 52–86 |
| AMD RX 9070 XT | 16 GDDR6 · 640 · 304 | 48.7/389¹/— | 7,273 ↑3.8%/65.8 | 142.00 | 50.64 · CPU 混合 | ROCm,16 GB 需控制批量 | 5,299–6,199 | 56 |
| AMD RX 7900 XTX | 24 GDDR6 · 960 · 355 | 61.4/无原生 FP8/— | 6,866 ↓2.0%/70.6 | 190.92 | 104.79 · 全显存 | ROCm | 7,899 | 75 |
| NVIDIA RTX 5070 Ti | 16 GDDR7 · 896 · 300 | 43.9/175.8/87.9 | 6,967 ↓0.6%/68.6 | 176.18 | 约 50 · WebUI,配置未详 | CUDA,16 GB 需控制批量 | 7,549–10,399 | 61–64 |
| NVIDIA RTX 5080 | 16 GDDR7 · 960 · 360 | 56.3/225.1/112.6 | 8,938 ↑27.5%/77.4 | 192.17 | 约 50 · 专家卸载 | CUDA,16 GB 需控制批量 | 8,999–15,399 | 60–63 |
| NVIDIA RTX 4090 | 24 GDDR6X · 1,008 · 450 | 82.6/330.3/165.2 | 9,225 ↑31.6%/89.1 | 190.10 | 147.73 · 全显存 | CUDA,4B LoRA 有样本 | 23,920 涡轮均价 | 74 |
| NVIDIA RTX 5090 原版 | 32 GDDR7 · 1,792 · 575 | 104.8/419.0/209.5 | 14,636 ↑108.8%/110.8 | 273.68 | 194.0 · 全显存 | CUDA | 51,000 涡轮 | 82 |
| NVIDIA RTX 5090 D 首版 | 32 GDDR7 · 1,792 · 575 | 约 105(估)/—/— | —/— | 248.2(MLPerf) | 约 195(估算) | CUDA | 47,199–49,499 挂牌 | 62–82 |
| NVIDIA RTX 5090 D v2 | 24 GDDR7 · 1,344 · 575 | 约 105(估)/—/— | —/— | 214.9(MLPerf) | 145–170(估算) | CUDA | 41,699–48,599 挂牌 | 55–75 |
| NVIDIA RTX PRO 4500 Blackwell | 32 GDDR7 · 896 · 200 | 51/—/— | —/— | 168.90(CUDA) | — | CUDA | 39,999 较早挂牌 | 74(较早价) |
三款 5090 的价格为 2026 年 11 月 20 日可见的渠道与挂牌样本。首版 5090 D 与原版同为 32 GB、1,792 GB/s,D v2 为 24 GB、1,344 GB/s。两款 D 的 FP32 是按核心数和加速频率估算的理论峰值。7B 的 MLPerf 样本与本表的 Vulkan 样本使用不同引擎。 7B 实测与 35B 估算依据 · 首版 D 官方规格 · D v2 官方规格 · 京东挂牌样本 · 原版 5090 渠道样本
7B 两张卡都放得下,5070 Ti 的公开同协议样本生成快约 15%。 到 35B Q4,4090 和 7900 XTX 是 24 GB 全显存参照,R9600D 是 AMD 同容量低功耗参照,RTX PRO 4500 是 NVIDIA 同容量工作站参照。35B 一列使用各卡实际配置。5090 的 194.0 来自早期配对,当时 R9700 为 127.4。权重配方和后端见第四节。相同模型、量化和输入下,显存容量本身主要影响可运行的模型与上下文。 7B Vulkan 跑分 · 7B CUDA 跑分 · 35B 配对记录
如果考虑 R9600D,AMD 参考规格为 150 W、被动散热,整机需提供匹配风道。它的实测吞吐和含票供货价待核。 AMD R9600D 产品规格
表里的显存带宽是 GPU 芯片与板载显存之间的理论读写上限。 R9700 的 640 GB/s 比 5070 Ti 的 896 GB/s 低约 29%,比 5080 的 960 GB/s 低约 33%。PCIe 是显卡和主机之间的通道。 权重和 KV 缓存留在显存时,PCIe 对单卡持续生成通常影响较小。加载模型或频繁和系统内存交换数据时,PCIe 才更相关。 AMD R9700 规格 · NVIDIA 显存规格 · 显卡与主机数据传输
图形分取 Steel Nomad DX12,百分比相对 R9700。4K 帧率取同一组原生光栅测试。FP8 和 BF16 为稠密矩阵峰值,NVIDIA 按 FP32 累加,¹ 为 AMD 产品页所列 FP8 峰值。— 表示缺对应数据。原版 35B BF16 检查点约 67 GiB,需更大显存。 原生 4K 横评 · AMD 专业卡规格 · AMD 消费卡规格 · AMD FP8 支持矩阵 · Qwen 权重索引
二、使用场景与目标客群
办公 Agent 和本地 AI 生图是 R9700 的两个主要用途。 个人和团队都可以在单卡上运行 35B Q4 办公 Agent。生图时,32 GB 显存能容纳更大的模型,并给分辨率、批量和工作流留出空间。评分综合考虑这些用途能否用上 32 GB、公开实测表现和软件适配成本。
| 使用场景 | 潜在客群 | 适配度 /5 |
|---|---|---|
| 办公 Agent | 个人办公用户、业务团队 | 5 |
| 本地 AI 生图 | 个人创作者、设计团队 | 4 |
| LoRA/QLoRA 微调 | AI 开发者、研发组、实验室 | 4 |
| 3D 渲染 | 设计师、技术美术 | 3 |
| 仅轻量问答或游戏 | 轻量使用者、玩家 | 2 |
| 单卡 35B BF16、全量训练 | 大模型研发组、服务团队 | 1 |
办公 Agent(5/5)。个人在自己的电脑上也可以运行 35B Q4 模型,让 Agent 读取多份报价、核对价格和交付条件、更新对比表,并为每条数据附上原文出处。R9700 已有 Qwen 35B Q4 全显存运行的公开样本。32 GB 让约 20 GiB 的量化权重上卡后仍能给上下文缓存和运行开销留空间。7–8B 可以用于简单任务,模型大小按实际任务的结果选择。验收时看任务完成率、来源是否准确、交付文件是否可用和全程耗时。有离线要求时,验证断网能否完成全流程。 R9700 的 35B Q4 实测
Back2Gaming 在同一台架上用 llama.cpp 模拟 Agent 的多轮长输入、短回复,配置 32K 上下文上限。用 27B UD-IQ4_XS 时,R9700、RTX 5070 Ti、RX 9070 XT 分别生成 30.6、28.3、26.4 token/s。换成 Qwen3.5-9B Q4_K_M,RTX 5070 Ti 为 117.1 token/s,R9700 为 79.8 token/s。这是模型回复速度样本。办公文件准确率和端到端耗时需在交付镜像上跑真实任务。 三卡 Agent 模拟实测
本地 AI 生图(4/5)。适合个人创作者和设计团队批量做商品图、封面和概念图。公开 SDXL 1024×1024 连续出图测试中,R9700 为 9.03 张/分钟,RTX 5070 Ti 为 9.84,RX 9070 XT 为 8.22。32 GB 的优势在更重的流程里更明显。AMD 的指南列出的 FLUX.1 Schnell 去噪模型一项约占 23.8 GB 显存,16 GB 卡跑这份配置时需要量化或卸载。给 4 分是因为已有实测支持生图,升级到更大模型或多节点流程时也有容量优势,但部署仍取决于实际使用的驱动、运行后端和自定义节点。按目标工作流实测出图时间、峰值显存和批量运行稳定性。 SDXL 三卡实测 · AMD 显存用量指南 · AMD ComfyUI 配置与测试
做 LoRA 或 QLoRA 时,32 GB 显存可以给训练中间结果和批量留余量。先核对 Linux ROCm 环境,在 Windows 上按支持矩阵核对 WSL。固定模型、精度和训练软件版本,持续试跑后再验收。 AMD WSL 支持矩阵
3D 渲染(3/5)。32 GB 能容纳更大的场景和贴图,渲染速度取决于软件和后端。公开 Blender 样本中 RTX 5070 Ti 更快。 Puget 应用渲染实测
只做短问答或玩游戏时,通常有成本更低的选项,按实际响应速度或目标游戏帧率选卡。
原版 35B BF16 仅权重就约 67 GiB。要求全驻留或做全量训练时,按权重、运行开销或训练状态核算,并评估更大显存或多卡方案。 Qwen 权重索引
工作站预装是整机厂、集成商面向企业采购方或个人交付办公 Agent、生图和微调等用途的方式。整机验收用随机器交付的镜像跑实际办公任务和生图流程,并检查重装恢复、满载温度和噪音,明确售后范围。 预装验收口径
三、本调研综合评分
以单卡工作站运行 35B MoE Q4、本地 7B 交互和小规模 LoRA/QLoRA 为目标,按中国大陆单卡样本价评分。各项权重和满分阈值按这三项用途设定,分数满分 100。办公 Agent 和生图按第二节的使用场景适配度与任务实测判断。
| GPU | 35B 驻留 /25 | 7B 速度 /20 | 微调部署 /15 | 硬件 /25 | 价格 /15 | 综合 /100 | 样本条件 |
|---|---|---|---|---|---|---|---|
| AMD R9700 | 25 | 11 | 13 | 14 | 9 | 72 | 全显存基准,微调走 ROCm |
| NVIDIA RTX 4090 | 20 | 16 | 13 | 19 | 6 | 74 | 24 GB 余量较小,价格为涡轮均价 |
| NVIDIA RTX PRO 4500 Blackwell | 25 | 13 | 15 | 18 | 3 | 74 | 7B 取 CUDA,价格为较早挂牌 |
| AMD R9600D | 25 | 0–20 | 13 | 13 | 1–15 | 52–86 | 7B 同协议与报价待补 |
| AMD RX 9070 XT | 8 | 11 | 9 | 13 | 15 | 56 | Q4 CPU 混合,16 GB |
| AMD RX 7900 XTX | 20 | 12 | 11 | 17 | 15 | 75 | 24 GB 低价,35B Q4_0 实测 |
| NVIDIA RTX 5070 Ti | 8 | 14 | 11 | 16 | 12–15 | 61–64 | 16 GB,价格跨两档 |
| NVIDIA RTX 5080 | 8 | 15 | 11 | 17 | 9–12 | 60–63 | 16 GB,价格跨两档 |
| NVIDIA RTX 5090 原版 | 25 | 20 | 15 | 21 | 1 | 82 | 渠道涡轮价 |
| NVIDIA RTX 5090 D 首版 | 25 | 0–20 | 15 | 21 | 1 | 62–82 | 7B 同口径待测 |
| NVIDIA RTX 5090 D v2 | 20 | 0–20 | 13 | 21 | 1 | 55–75 | 7B 同口径待测 |
| AMD PRO W7900 | 25 | 0–20 | 13 | 17 | 1–15 | 56–90 | 7B 同协议与现价待补 |
| AMD PRO W7800 48 GB | 25 | 0–20 | 13 | 16 | 1–15 | 55–89 | 7B 同协议与现价待补 |
| NVIDIA RTX PRO 4000 Blackwell | 20 | 10 | 13 | 14 | 9 | 66 | 7B 取 CUDA,价格为挂牌 |
| NVIDIA RTX 5000 Ada | 25 | 0–20 | 15 | 15 | 1–15 | 56–90 | 7B 同协议与现价待补 |
| NVIDIA RTX 4090 D | 20 | 17 | 13 | 18 | 6 | 74 | 7B 取 CUDA |
三款 5090 的价格分按总览所列的 11 月 20 日样本计,均在 ¥40,000 以上。总览已列出两款 D 的 7B MLPerf 实测,7B 评分按 Vulkan 协议,暂保留各 0–20 分的区间。首版 D 的 32 GB 在 35B 驻留和微调部署两项合计比 D v2 的 24 GB 多 7 分。
- 35B 驻留 25 分。针对本报告约 18–21 GiB 的 Q4 权重样本,按名义显存 ≥32 GB/24 GB/16 GB 给 25/20/8 分。评估权重驻留及运行余量。未跑同模型的型号按容量估计,交付需验实际 KV、上下文和并发
- 7B 速度 20 分。Llama 2 7B Q4_0、FA 开、tg128 最高 12 分、pp512 最高 8 分,各按实测达到 250 和 12,000 token/s 的比例计分,封顶后相加取整。优先取 Vulkan,明确标注的型号用同测试阶段 CUDA 样本。此分反映对应运行路径的观测速度
- 微调部署 15 分。16/24/≥32 GB 分别给 6/8/10 分,表示固定小模型 LoRA 与 QLoRA 的显存余量。后端路径在原生 Windows 和 Linux 均可核实给 5 分,以 Linux 为可核实的训练基线给 3 分。本次 NVIDIA 按 PyTorch CUDA 路径计,AMD 按 Linux ROCm 路径计,适用的 WSL 环境仍按版本复核。训练吞吐见第四节。 PyTorch 安装与平台 · NVIDIA GPU 支持 · AMD Linux 支持矩阵 · AMD WSL 支持矩阵
- 硬件 25 分。FP32 向量峰值按达到 100 TFLOPS 的比例给至多 10 分,显存带宽按达到 1,200 GB/s 的比例给至多 10 分。参考功耗按 ≤200/≤300/≤400/≤500/>500 W 给 5/4/3/2/1 分,三项相加取整。FP16、BF16 峰值的累加和稀疏口径需另行对齐,本项采用可核的 FP32 规格计算
- 价格 15 分。按 ≤8,000/≤12,000/≤18,000/≤25,000/≤40,000/>40,000 元给 15/12/9/6/3/1 分。样本价跨档给区间。较早挂牌只用于该价格情形,批发均价和挂牌的条件见总表
复算。R9700 为 25+11+13+14+9=72。缺测时给该项可取范围,累计成总分区间。区间重叠的型号需先补测或询价。若只跑 7B Q4,去掉 35B 驻留项后 R9700 为 47/75,RTX 5070 Ti 为 53–56/75,预算判断随用途变化。显存和软件兼容属于硬条件时,先做可行性筛选。
四、公开实测与跑分
(一)Qwen 35B 量化推理
速度随权重文件、KV 缓存精度、后端、上下文和 CPU 卸载设置变化。127.4/194.0 token/s 来自 2026年2月的早期配对样本,Unsloth 后续修订了同名 Q4 配方。 配对原始记录 · Unsloth 配方修订
| GPU | 显存 GB | 模型与量化 | 后端与权重驻留 | 生成 token/s | 预填充 token/s | 公开实测 | 本调研驻留分 /25 |
|---|---|---|---|---|---|---|---|
| AMD R9700(基准) | 32 | 3.5 · UD-Q4_K_XL(早期) | Vulkan,全 GPU | 127.4(平均) | 2,713(512)/1,877(32K) | llama.cpp 配对测试 | 25 |
| NVIDIA RTX 5090 | 32 | 3.5 · UD-Q4_K_XL(早期) | CUDA,全 GPU | 194.0(↑52.3%)(平均) | 7,026(512,↑159.0%)/6,461(32K,↑244.2%) | 同一配对测试 | 25 |
| AMD R9700 | 32 | 3.5 · UD-Q4_K_XL | Linux Vulkan/RADV,全 GPU | 153.4(tg128) | 3,314(512)/3,131(8K) | 独立 R9700 实测 | 25 |
| NVIDIA RTX 4090 | 24 | 3.5 · Q4_K_M | CUDA,全 GPU | 147.73(tg128) | 4,995.94(512) | llama-bench 原始输出 | 20 |
| NVIDIA RTX 5080 | 16 | 3.5 · UD-Q4_K_XL | CUDA,部分专家留在系统内存 | 约 50 | — | llm-server S012 | 8 |
| NVIDIA RTX 5080 | 16 | 3.5 · Q3_K_S | CUDA,权重全 GPU,KV 为 IQ4_NL | 109/119(64K/128K 配置) | — | Q3 显存与上下文测试 | 8 |
| NVIDIA RTX 5070 Ti | 16 | 3.5 · Q4_K_M | llama.cpp,仅 12 层上 GPU | 81.4(5 并发测试) | 444.8(5 并发测试) | LLM Benchmark 原始记录 | 8 |
| NVIDIA RTX 5070 Ti | 16 | 3.5 · Q4_K_M | llama.cpp WebUI,配置披露有限 | 约 50 | — | LocalLLaMA 用户报告 | 8 |
| AMD RX 9070 XT | 16 | 3.5 · Q4_K | Vulkan,CPU/GPU 混合 | 50.64(tg128) | 548.78(512) | LLAMA-DX 实验 | 8 |
| AMD RX 7900 XTX | 24 | 3.5 · Q4_0 混合配方 | Vulkan,全 GPU | 104.79(tg128) | 2,104.92(512) | llama-bench 原始记录 | 20 |
| AMD R9700(卸载对照) | 32 | 3.6 · UD-Q4_K_XL | Vulkan,20/40 层专家留在 CPU | 46.7/29.7(tg64) | — | llama.cpp 同机卸载测试 | 25 |
| NVIDIA RTX 5080 | 16 | 3.6 · UD-Q4_K_XL | Vulkan,20/40 层专家留在 CPU | 51.8(↑10.9%)/32.5(↑9.4%)(tg64) | — | 同机卸载测试 | 8 |
(二)7B 推理、图形与渲染
| GPU 设计厂商 | 型号 | Llama 2 7B 生成 token/s | Llama 2 7B 预填充 token/s | Steel Nomad 图形分 | Blender 分数 | Linux vLLM 综合相对值 | 本调研 7B 速度分 /20 |
|---|---|---|---|---|---|---|---|
| AMD | Radeon AI PRO R9700(基准) | 152.70 | 5,907.66 | 7,008 | 3,726 | 100% | 11 |
| AMD | Radeon RX 9070 XT | 142.00(↓7.0%) | 5,603.63(↓5.1%) | 7,273(↑3.8%) | 3,722(↓0.1%) | — | 11 |
| AMD | Radeon RX 7900 XTX | 190.92(↑25.0%) | 3,889.54(↓34.2%) | 6,866(↓2.0%) | 4,941(↑32.6%) | — | 12 |
| AMD | Radeon PRO W7900 | — | — | — | — | 约 68.0%(↓32.0%) | 待测 |
| 英伟达(NVIDIA) | GeForce RTX 5070 Ti | 176.18(↑15.4%) | 7,567.94(↑28.1%) | 6,967(↓0.6%) | 7,882(↑111.5%) | — | 14 |
| 英伟达(NVIDIA) | GeForce RTX 5080 | 192.17(↑25.8%) | 8,054.59(↑36.3%) | 8,938(↑27.5%) | 9,035(↑142.5%) | — | 15 |
| 英伟达(NVIDIA) | GeForce RTX 4090 | 190.10(↑24.5%) | 10,830.41(↑83.3%) | 9,225(↑31.6%) | — | — | 16 |
| 英伟达(NVIDIA) | GeForce RTX 5090 | 273.68(↑79.2%) | 11,796.38(↑99.7%) | 14,636(↑108.8%) | 15,872(↑326.0%) | — | 20 |
| 英伟达(NVIDIA) | RTX PRO 4500 Blackwell | 168.90(CUDA) | 7,251.66(CUDA) | — | — | — | 13 |
| 英伟达(NVIDIA) | RTX PRO 4000 Blackwell | 136.38(CUDA) | 5,674.44(CUDA) | — | — | — | 10 |
| 英伟达(NVIDIA) | GeForce RTX 4090 D | 191.57(CUDA) | 12,506.97(CUDA) | — | — | — | 17 |
llama.cpp Vulkan 跑分 · llama.cpp CUDA 跑分 · UL 图形结果 · Puget 渲染测试 · Phoronix vLLM 综合成绩
(三)训练与微调实测
| GPU | 公开任务 | 训练结果 | 峰值显存 | 本调研微调部署分 /15 |
|---|---|---|---|---|
| AMD R9700 | Qwen3.5-4B 固定 token LoRA,ROCm | 5.31 核心秒/5 步,120.58 目标 token/核心秒 | 17.28 GB 已分配 | 13 |
| NVIDIA RTX 4090 | 同任务,CUDA | 10.88 核心秒/5 步,58.81 目标 token/核心秒 | 17.14 GB 已分配 | 13 |
| AMD R9700 | Qwen2.5-Coder-32B 4-bit QLoRA,LLaMA-Factory、ROCm 6.3 | 用户报告约 142 训练 token/s,三轮 | 约 28 GB | 13 |
| NVIDIA RTX 4090 | FLUX.1-dev NF4 QLoRA,BF16 混合计算,Diffusers | 约 41 分钟/700 步,512 × 768 | 约 9 GB | 13 |
4B 样本固定模型版本、token、LoRA 配置和优化器,在不同主机各测五步。两卡均通过。R9700 的前向和参考计算阶段用时较短,RTX 4090 的反向和优化器阶段更快。表中指标为核心阶段计时,完整训练需另外测端到端耗时与收敛。另两行分别说明不同微调配置的可行性。AMD ROCm 10.1 记录修复了 R9700 等卡在部分 PyTorch 微调任务中的重置问题。 4B 原始配对 · 32B 训练记录 · RTX 4090 FLUX 训练 · ROCm 修复记录
五、精度与测试批注
- 权重与计算精度。BF16 和 FP16 都是 16 位浮点,但数值范围不同。Q4_K_M 和 UD-Q4_K_XL 是不同的 GGUF 权重量化配方。算子的乘法、累加及 KV 缓存可以各用不同精度,Q4 推理结果无法换算成 BF16 吞吐,也无法由硬件 INT4 或 FP4 峰值直接推得。 llama.cpp 量化说明
- 矩阵规格。R9700 的 191 TFLOPS 是稠密 FP16 矩阵峰值,383 TFLOPS 为结构化稀疏口径。AMD 文档确认 gfx1201 支持 BF16 输入、FP32 累加的矩阵指令,R9700 产品页未单列 BF16 峰值。英伟达 BF16 数字取白皮书各卡稠密值。 R9700 规格 · AMD GPU 架构规格 · AMD 矩阵指令 · GeForce Blackwell 白皮书 · GeForce Ada 白皮书 · RTX PRO 4000 规格 · 4090 D 和 5090 D v2 规格
- 35B 跑分口径。3.5 和 3.6 分别指 Qwen3.5-35B-A3B 和 Qwen3.6-35B-A3B。tg128/tg64 是测 128/64 个输出 token。预填充的 512、8K、32K 是输入 token 数。RTX 5080 的 64K/128K 是服务上下文配置,实际请求长度更短。5070 Ti 的 81.4 来自五并发报告,约 50 为另一份配置披露有限的 WebUI 报告
- 35B 对标。RTX 4090 和 R9700 的独立 tg128 样本分别为 147.73 和 153.4 token/s,量化、后端和版本不同,尚缺同条件配对。R9700 与 RTX 5090 的 3.5 配对使用相同权重及 commit、不同主机与后端。R9700 与 RTX 5080 的 3.6 同机对照为 PCIe 4.0 ×4/×16,速度取改动前的基线
- 其他跑分口径。7B 采用 llama.cpp、Q4_0、Flash Attention 开启、pp512/tg128。默认 Vulkan,标注行采用 CUDA,主机和构建版本各异。Steel Nomad 为 DX12 公开提交中位数。Blender 使用各平台的 GPU 渲染后端
- 价格口径。 表中区分零售样本、历史挂牌和涡轮批发均价。美国基准取当地在售板卡样本。盈通 WA 京东标价为 17,999 元,加其余硬件暂估 4,000–7,000 元,自建单台预算约 2.2–2.5 万元。 盈通京东商品
- 板卡与验收。 盈通 WA 为双槽涡轮,约 280 × 125 × 40 mm。样机待验证 FP16 GEMM、显存持续读写、PCIe 双向传输、SSD 冷加载及预装。固定权重文件及其哈希、KV 类型、后端版本和 CPU 卸载设置,以 7–8B 和 27–35B Q4 分别测首 token、生成速度、显存峰值和功耗。若交付要求 BF16,选能放下的固定模型单独跑对应后端。若要对比训练吞吐,统一模型、数据、序列长度、有效批量、精度、LoRA rank 与 step,记录吞吐、显存、loss 和持续稳定性。 预装验收
六、计算、显存与价格总表
基准为盈通 R9700 32 GB。 ↑/↓ 为相对基准的增减,=为持平,— 为缺可比公开数值。BF16 列使用稠密矩阵和 FP32 累加。英伟达 FP16 列按 FP16/FP32 累加排列,AMD 产品规格未列 FP16 峰值的累加精度。RTX 4090 D 的 FP32 取英伟达公布的 74 TFLOPS。RTX 5090 D v2 按官方 21,760 个 CUDA 核心、2.41 GHz 和每周期每核心 2 次浮点运算估算 FP32 峰值。 RTX 4090 D 规格 · RTX 5090 D v2 规格 · RTX Blackwell 白皮书
价格以 2026年11月16–19日渠道快照为主。中国大陆相对盈通 WA 京东当时优惠价 ¥17,899.01,美国相对当地 R9700 板卡样本低点 $1,999.99。
| GPU 设计厂商 | 型号 | FP32 TFLOPS | 稠密 FP16 矩阵 TFLOPS | BF16 矩阵 TFLOPS | 显存 GB | 显存带宽 GB/s | 参考功耗 W | 中国大陆 元 | 美国 USD | 本调研硬件分 /25 |
|---|---|---|---|---|---|---|---|---|---|---|
| AMD | Radeon AI PRO R9700(基准) | 47.8 | 191 | 支持,峰值未列 | 32 | 640 | 300 | 17,899.01 | 1,999.99–2,379.99 | 14 |
| AMD | Radeon AI PRO R9600D | 24.8(↓48.1%) | 99(↓48.2%) | — | 32(=) | 640(=) | 150(↓50.0%) | — | — | 13 |
| AMD | Radeon RX 9070 XT | 48.7(↑1.9%) | 195(↑2.1%) | — | 16(↓50.0%) | 640(=) | 304(↑1.3%) | 5,299–6,199(↓70.4% 至 ↓65.4%) | 959.99(↓52.0%) | 13 |
| AMD | Radeon RX 7900 XTX | 61.4(↑28.5%) | 123(↓35.6%) | — | 24(↓25.0%) | 960(↑50.0%) | 355(↑18.3%) | 7,899(↓55.9%) | 跟踪缺货 | 17 |
| AMD | Radeon PRO W7900 | 61.3(↑28.2%) | 123(↓35.6%) | — | 48(↑50.0%) | 864(↑35.0%) | 295(↓1.7%) | 33,264(2024 历史) | — | 17 |
| AMD | Radeon PRO W7800 48 GB | 45.2(↓5.4%) | 90.4(↓52.7%) | — | 48(↑50.0%) | 864(↑35.0%) | 260(↓13.3%) | — | — | 16 |
| 英伟达(NVIDIA) | GeForce RTX 5070 Ti | 43.9(↓8.2%) | 175.8/87.9 | 87.9 | 16(↓50.0%) | 896(↑40.0%) | 300(=) | 7,549–10,399(↓57.8% 至 ↓41.9%) | 1,400–1,499(↓30.0% 至 ↓25.0%) | 16 |
| 英伟达(NVIDIA) | GeForce RTX 5080 | 56.3(↑17.8%) | 225.1/112.6 | 112.6 | 16(↓50.0%) | 960(↑50.0%) | 360(↑20.0%) | 8,999–15,399(↓49.7% 至 ↓14.0%) | 2,235–2,670.02(↑11.8% 至 ↑33.5%) | 17 |
| 英伟达(NVIDIA) | GeForce RTX 4090 | 82.6(↑72.8%) | 330.3/165.2 | 165.2 | 24(↓25.0%) | 1,008(↑57.5%) | 450(↑50.0%) | 23,920(↑33.6%) 涡轮均价 | 4,999(↑150.0%) | 19 |
| 英伟达(NVIDIA) | GeForce RTX 5090 | 104.8(↑119.2%) | 419/209.5 | 209.5 | 32(=) | 1,792(↑180.0%) | 575(↑91.7%) | 43,785(↑144.6%) 涡轮均价 | 6,549–7,799.99(↑227.5% 至 ↑290.0%) | 21 |
| 英伟达(NVIDIA) | RTX PRO 4000 Blackwell | 37(↓22.6%) | — | — | 24(↓25.0%) | 672(↑5.0%) | 145(↓51.7%) | 15,000(↓16.2%) 挂牌 | — | 14 |
| 英伟达(NVIDIA) | RTX PRO 4500 Blackwell | 51(↑6.7%) | — | — | 32(=) | 896(↑40.0%) | 200(↓33.3%) | 39,999(↑123.5%) 较早挂牌 | 4,799.99–5,199(↑140.0% 至 ↑160.0%) | 18 |
| 英伟达(NVIDIA) | RTX 5000 Ada | 65.3(↑36.6%) | — | — | 32(=) | 576(↓10.0%) | 250(↓16.7%) | 待询 | — | 15 |
| 英伟达(NVIDIA) | GeForce RTX 4090 D | 74(↑54.8%) | — | — | 24(↓25.0%) | 1,008(↑57.5%) | 425(↑41.7%) | 20,554(↑14.8%) 涡轮均价 | — | 18 |
| 英伟达(NVIDIA) | GeForce RTX 5090 D v2 | 104.9(↑119.5%,估算) | — | — | 24(↓25.0%) | 1,344(↑110.0%) | 575(↑91.7%) | 19,999(↑11.7%) | — | 21 |
AMD R9700 · 英伟达 GeForce 规格 · 英伟达工作站规格 · 大陆零售跟踪 · RTX PRO 4000 大陆价格线索 · RTX PRO 4500 工包挂牌入口 · 批发公开索引 · 美国消费卡价格 · Amazon 跟踪 · 美国 R9700 板卡样本 · B&H RTX PRO 4500
七、R9700 与 7900 XTX AI ULTRA 及三款 5090
R9700 32 GB 是 AMD 办公 Agent 工作站的样机首选。 5070 Ti 16 GB 是轻负载 CUDA 参照,7900 XTX AI ULTRA 48 GB 是大显存备选,原版 5090 32 GB 是长文档吞吐参照。首版 5090 D 也是 32 GB,5090 D v2 是 24 GB。
| GPU 设计厂商 · 型号 | 显存 GB | 带宽 GB/s | FP32 TFLOPS | 功耗 W | 35B Q4 生成 token/s | 大陆公开价样本 |
|---|---|---|---|---|---|---|
| AMD · Radeon AI PRO R9700 | 32 | 640 | 47.8 | 300 | 127.4(配对) | ¥17,899(此前优惠) |
| AMD · RX 7900 XTX AI ULTRA | 48 | 864 | 61 | 约 295 | 约 95(估算) | ¥20,000–30,000(W7900 预算参照) |
| AMD · RX 7900 XTX 标准版 | 24 | 960 | 61.4 | 355 | 104.79(独立) | ¥7,899(此前跟踪) |
| NVIDIA · GeForce RTX 5070 Ti | 16 | 896 | 43.9 | 300 | 153(3.6 Agent,推测解码) | ¥7,102–9,240(渠道) |
| NVIDIA · GeForce RTX 5090 原版 | 32 | 1,792 | 104.8 | 575 | 194.0(配对) | ¥51,000(涡轮) |
| NVIDIA · GeForce RTX 5090 D 首版 | 32 | 1,792 | 约 105(估) | 575 | 约 195(估算) | ¥47,199–49,499(挂牌) |
| NVIDIA · GeForce RTX 5090 D v2 | 24 | 1,344 | 约 105(估) | 575 | 145–170(估算) | ¥41,699–48,599(挂牌) |
- 7B 速度看后端,35B 先看容量。 Llama 2 7B Q4_0 Vulkan 的公开记录中,5070 Ti 与 R9700 生成约 176 对 153 token/s,主机和软件构建不同。35B Q4 样本权重约 18–20 GiB,32 GB 可给上下文留余量。做样机时按同一交付镜像测实际任务总耗时、生图节点和峰值显存。 7B Vulkan 实测 · 35B 权重与实测
- 原版 5090 与 R9700 同是 32 GB,公开样本主要差在速度。 同一 35B Q4 权重的对照中,5090 的生成速度是 R9700 的 1.52 倍,32K 输入预填充是 3.44 倍。两者采用不同主机和后端。首版 D 与原版同容量、同标称显存带宽,D v2 少 8 GB、带宽低 25%。两款 D 的实测按各自料号核对。标准版 7900 的 35B 独立样本使用不同量化配方。 35B 配对实测 · 标准版 7900 实测 · 首版 D 官方发布 · D v2 规格
- 48 GB 面向超出 32 GB 的工作流。 优先验证 70B Q4、更大的生图工作流或多个模型同时驻留。按供方规格书,AI ULTRA 是 48 GB/864 GB/s,带宽为 GPU 访问板载显存的峰值。它的 PCIe 4.0 ×16 影响的是主机与显卡之间搬运数据。样卡需实际分配超过 32 GB 并完成业务任务。 AI ULTRA 规格书
- 价格按渠道与完整型号复核。 表中两款 D 的价格为 2026 年 11 月 20 日检索时可见的京东商品卡片,原版 5090 为渠道双宽涡轮样本。第六节保留此前样本。供货、含税交付和可用保修以书面报价为准。 京东 SKU 样本 · 原版 5090 渠道样本
两款 D 在两份 MLPerf 评测中的 Llama 2 7B 综合生成实测为 248.24 与 214.9 token/s。首版 D 的 35B 估点来自同带宽的原版 5090,约 195。D v2 则按带宽和 7B 实测相对差距外推为 145–170。外部网站对 Qwen3.6 35B 的估算为 162.6 与 208。 7B 实测图表与 35B 估算依据
48 GB 板卡、三款 5090 的规格来源与估算口径,以及生图、供货和样机验收,见 RX 7900 XTX AI ULTRA 48 GB 专项调研。