绿色 = 显存充裕 黄色 = 显存紧张 灰色 = 显存不足 橙色 = 精度受限(所选量化精度与 GPU 架构不匹配,如 FP8 权重需 Ampere 软件反量化、NVFP4 仅 Blackwell 原生支持)
★ 红色左边框 = 重点推荐(L20 / H20 / A100 40G / A800 40G / A800 80G / DGX Spark / 昇腾 950PR)
KV Cache 计算口径:每 token KV = 2 × 产生 KV 的层数 × KV 头数 × head_dim × 每元素字节数;对采用混合线性注意力(Gated DeltaNet / KDA / QSA / 滑窗注意力)的模型,仅统计真正产生全局 KV 的全注意力层(卡片中标注为「N/M 层」);对官方公布 KV 字节数的模型(DeepSeek V4 全系)直接采用官方口径。线性注意力层(Gated DeltaNet / KDA)维护的是固定大小的循环状态,不随上下文与并发增长,量级通常仅数十 MB(如 Qwen3.8-27B 的 48 层 GDN 合计约 72 MiB),故未计入上式。权威核验示例:Qwen3.8-Flash-Next 按 12 层 QSA(2 KV 头 / head_dim 256)复算 262K 窗口 = 6.44 GB,与官方公布「约 6.5 GB」一致。
原生精度支持(依据官方数据手册 / 白皮书核验,每款显卡卡片下方已标注):
· Ampere(A100/A800/A10/RTX30):Tensor Core 支持 FP64/FP32/TF32/FP16/BF16/INT8/INT4,无 FP8;Ada(L20/L40/L40S/RTX40/RTX 6000 Ada):4 代 Tensor Core 增加 FP8(L40 无 Transformer Engine,FP8 吞吐减半);Hopper(H100/H200/H800/H20):Transformer Engine 支持 FP8/INT8/FP16/BF16/TF32,H20/H800 的 FP64 削减至 1 TFLOPS;Blackwell(B200/B300/RTX50/RTX PRO 6000):5 代 Tensor Core 再增加 FP6/NVFP4。
· 昇腾达芬奇(910B/910C):FP16/BF16/INT8 原生,无 FP8;INT4 需 ATC 转 OM(MindIE);310P(Atlas 300I Duo)仅 FP16/INT8、无 BF16。· 昇腾 950(950PR/950DT):新增 FP8/MXFP8/HiF8 与 MXFP4 原生支持(自研 HBM;HiF4 属昇腾 960,950 不含);低比特 INT 权重仍需 ATC 转换。
· GB10 桌面级(DGX Spark):FP4/FP8 原生 + INT4,128GB LPDDR5x 统一内存,带宽仅 273 GB/s。· AMD CDNA:MI325X 至 FP8;MI355X 增加 FP6/MXFP4(NVFP4/NF4 格式需 Quark 转换)。