MoE 路由策略:Top-K、Sigmoid 与动态路由
MoE 路由策略决定每个 Token 由哪些专家处理。本指南讲解 7 种方法,从 Mixtral 的 top-2 softmax 到 DeepSee…
大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。
选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数
口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。
多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎
| 引擎 | 关键机制 | 量化与并行 | 硬件平台 | 选型提示 |
|---|---|---|---|---|
| vLLM通用开源首选 | PagedAttention 分页 KV、连续批处理、前缀缓存 | AWQ / GPTQ / FP8;TP、PP 并行 | NVIDIA / AMD / 昇腾(社区版) | 生态最广、特性跟进快,生产环境锁版本 |
| SGLang高并发与多轮对话 | RadixAttention 前缀树复用、约束解码 | 与 vLLM 主流量化基本一致;TP | NVIDIA / AMD | 前缀命中收益取决于请求相似度 |
| TensorRT-LLM固定模型追极致吞吐 | 编译期图优化、In-flight Batching | FP8 / FP4(按架构);按卡型编译 | NVIDIA | 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine |
| LMDeploy国产开源模型适配快 | TurboMind 引擎、KV 量化 | AWQ / INT4 KV | NVIDIA | 新模型支持跟进快,覆盖面不及 vLLM |
| llama.cpp / Ollama单机、边缘、个人 | GGUF 量化、CPU/GPU 混合卸载 | Q2–Q8 GGUF | CPU / Apple Silicon / 消费卡 | 并发弱,不适合多租户生产 |
| MindIE昇腾原生栈 | CANN + ATB 算子、连续批处理 | 昇腾量化(W8A8 等) | 昇腾 910B / 910C / 950 系列 | 模型需完成算子适配,交付前逐项验证 |
卡型RTX 4090 24GB / L40S 48GB
模型8B–32B,INT4/AWQ
引擎Ollama 起步,转 vLLM
约束并发与长上下文先到瓶颈
卡型H20 96GB / 昇腾 950PR 112GB
模型70B FP8 或百 B 级 MoE
引擎vLLM / SGLang / TensorRT-LLM
约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域
卡型昇腾 910C 128GB / 910B 64GB
模型同参数档国产开源模型
引擎MindIE + CANN
约束算子覆盖与模型迁移成本先评估
MoE 路由策略决定每个 Token 由哪些专家处理。本指南讲解 7 种方法,从 Mixtral 的 top-2 softmax 到 DeepSee…
本文是一份完整的编程指南,介绍 NVIDIA 的 Dory 1.0 4B 循环语言模型。了解如何构建锁定版本的 llama.cpp 分支、分析逐循环…
Nous Research 重新训练了阿里巴巴的 Qwen3.8-27B,产出 Arete-27B,基本剥离了其亲中偏见。宣传率从 22% 降至不到…

写代码变快了,但围绕代码的工作没有。看看如何借助 GitHub Copilot 规划、编写代码、审查变更和排查生产问题,以及哪些工作仍需你的判断。
Privacy Pass 等密码学协议在保护网站免遭滥用的同时,也保护了用户隐私。本文探讨这些协议面临的量子威胁,以及一些或可……的新型后量子密码学…

面向初学者的 AI 智能体,第 2 部分:该智能体在三种数据库工具之间做选择,用每次返回的结果决定下一次调用,若陷入卡顿则在第八轮触发断路机制停止。

Jörg Schad 网络研讨会回顾:为什么智能体检索到了每一份相关文档却仍会答错,以及 AI 智能体在 RAG 之外还需要什么。

今天,我们正式宣布推出一条简单且经济高效的数据湖现代化升级路径。Amazon S3 表类数据存储服务现在支持将 Apache Hive 表托管迁移至…
GitHub 的新 Git 存储架构在设计上支持数千个智能体同时向单个仓库推送。以下介绍其工作原理。

AI 智能体代表数百万用户行动,但服务器看到的却是剥离了用户可见性的中间方。本文界定了这一问题空间,并介绍一种协作方式,以安全地识别、允许和管理这类…

GitHub 现在会突出显示 ACCESSIBILITY.md 文件,并帮助维护者记录无障碍目标、已知障碍、支持的环境、贡献者预期和报告流程。

五次智能体运行都产出了可用的脚本,评估分数也看不出任何问题。但轨迹讲述的是另一个故事:每次运行都以原始字节读取 DLL 来查找插件名,而有三个脚本会…