11-19 更新 实时

技术栈

TECH 收录 17 篇 更新于 1 小时前
跳至最新报道 ↓

大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。

GPU 显存计算器

选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数

资料库同步 · 2026-11-09 TECH / TOOL
窗口内可滚动:方案推荐、显卡清单与口径说明都在下方窗口内可滚动

口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。

部署速查

人工整理 · 2026-11-13 核对 · 只给选型口径,不替代压测

推理引擎对照

多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎

TECH / STACK
引擎关键机制量化与并行硬件平台选型提示
vLLM通用开源首选 PagedAttention 分页 KV、连续批处理、前缀缓存 AWQ / GPTQ / FP8;TP、PP 并行 NVIDIA / AMD / 昇腾(社区版) 生态最广、特性跟进快,生产环境锁版本
SGLang高并发与多轮对话 RadixAttention 前缀树复用、约束解码 与 vLLM 主流量化基本一致;TP NVIDIA / AMD 前缀命中收益取决于请求相似度
TensorRT-LLM固定模型追极致吞吐 编译期图优化、In-flight Batching FP8 / FP4(按架构);按卡型编译 NVIDIA 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine
LMDeploy国产开源模型适配快 TurboMind 引擎、KV 量化 AWQ / INT4 KV NVIDIA 新模型支持跟进快,覆盖面不及 vLLM
llama.cpp / Ollama单机、边缘、个人 GGUF 量化、CPU/GPU 混合卸载 Q2–Q8 GGUF CPU / Apple Silicon / 消费卡 并发弱,不适合多租户生产
MindIE昇腾原生栈 CANN + ATB 算子、连续批处理 昇腾量化(W8A8 等) 昇腾 910B / 910C / 950 系列 模型需完成算子适配,交付前逐项验证
左右滑动查看全部列 →

三条落地路径

按预算与合规要求选档,不是模型越大越好
  1. 试水 单卡 24–48GB POC、内部知识库、离线批处理

    卡型RTX 4090 24GB / L40S 48GB

    模型8B–32B,INT4/AWQ

    引擎Ollama 起步,转 vLLM

    约束并发与长上下文先到瓶颈

  2. 生产 8 卡 96GB 级(TP=8) 在线推理、多租户 API

    卡型H20 96GB / 昇腾 950PR 112GB

    模型70B FP8 或百 B 级 MoE

    引擎vLLM / SGLang / TensorRT-LLM

    约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域

  3. 信创 8 卡国产加速卡 合规要求、行业私有云

    卡型昇腾 910C 128GB / 910B 64GB

    模型同参数档国产开源模型

    引擎MindIE + CANN

    约束算子覆盖与模型迁移成本先评估

上线前 6 项硬检查

按顺序过一遍,能挡掉大部分返工
  • 01
    显存留 15% 余量KV Cache 峰值随并发与长请求抖动
  • 02
    max_model_len 与业务上下文对齐超限请求会被直接拒绝,不是截断
  • 03
    TP>2 走 NVLink 或 PCIe 4.0 x16否则卡间通信先成为瓶颈
  • 04
    gpu_memory_utilization 默认 0.9同卡还有别的进程时要下调
  • 05
    先锁引擎 / 驱动 / CUDA 版本矩阵再压测,避免「升级即回退」
  • 06
    先定 SLO(TTFT、每用户 token/s)再调批处理与分块预填充

厂商专栏

✦ 人工精选(阅读量 10 万+ · 来源可核验)· 其余为站内采集 · 每次打开取最新

国内厂商

美团 3 篇
EMNLP 2026 | 美团技术团队学术论文精选 采集 · 美团技术团队 · 14 小时前
查看该厂商全部 →
字节跳动 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →
腾讯 · 混元 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →
智谱 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →
月之暗面 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →
MiniMax 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →
百度 · 飞桨 0 篇
采集收集中,命中该厂商的技术稿将自动上卡
查看该厂商全部 →