英伟达庆祝首款支持 CUDA 显卡 GeForce 8800 GTX 诞生 20 周年,同步推出纪念游戏带 PC 玩家重返 2006 年
IT之家 11 月 5 日消息,英伟达官方今日庆祝 GeForce 8800 GTX 显卡诞生 20 周年, 同步推出一款 Steam 演示游戏 ,…
大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。
选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数
口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。
多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎
| 引擎 | 关键机制 | 量化与并行 | 硬件平台 | 选型提示 |
|---|---|---|---|---|
| vLLM通用开源首选 | PagedAttention 分页 KV、连续批处理、前缀缓存 | AWQ / GPTQ / FP8;TP、PP 并行 | NVIDIA / AMD / 昇腾(社区版) | 生态最广、特性跟进快,生产环境锁版本 |
| SGLang高并发与多轮对话 | RadixAttention 前缀树复用、约束解码 | 与 vLLM 主流量化基本一致;TP | NVIDIA / AMD | 前缀命中收益取决于请求相似度 |
| TensorRT-LLM固定模型追极致吞吐 | 编译期图优化、In-flight Batching | FP8 / FP4(按架构);按卡型编译 | NVIDIA | 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine |
| LMDeploy国产开源模型适配快 | TurboMind 引擎、KV 量化 | AWQ / INT4 KV | NVIDIA | 新模型支持跟进快,覆盖面不及 vLLM |
| llama.cpp / Ollama单机、边缘、个人 | GGUF 量化、CPU/GPU 混合卸载 | Q2–Q8 GGUF | CPU / Apple Silicon / 消费卡 | 并发弱,不适合多租户生产 |
| MindIE昇腾原生栈 | CANN + ATB 算子、连续批处理 | 昇腾量化(W8A8 等) | 昇腾 910B / 910C / 950 系列 | 模型需完成算子适配,交付前逐项验证 |
卡型RTX 4090 24GB / L40S 48GB
模型8B–32B,INT4/AWQ
引擎Ollama 起步,转 vLLM
约束并发与长上下文先到瓶颈
卡型H20 96GB / 昇腾 950PR 112GB
模型70B FP8 或百 B 级 MoE
引擎vLLM / SGLang / TensorRT-LLM
约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域
卡型昇腾 910C 128GB / 910B 64GB
模型同参数档国产开源模型
引擎MindIE + CANN
约束算子覆盖与模型迁移成本先评估
IT之家 11 月 5 日消息,英伟达官方今日庆祝 GeForce 8800 GTX 显卡诞生 20 周年, 同步推出一款 Steam 演示游戏 ,…
用 Hermes Agent 和 Ollama 搭建一个本地多智能体旅行规划器:一个协调者加三个专业智能体,分别负责研究目的地、推荐住宿,并生成真实…

MI355X 以 288GB HBM3E 与 8TB/s 带宽对标 B200,市场价约 2 万美元。SemiAnalysis 测算其性能价比可达 D…
arXiv:2611.05380v1 公告类型:新论文 摘要:视觉自回归生成涵盖两大主流范式:面向图像与视频的下一尺度预测,以及面向视频的下一帧预测…
摘要:用归因短链分发 CloudFront 签名 URL 时,短链追加的归因参数会让签名校验失败,下载返回 4 […]

随着人工智能与加速计算不断拓展可能性边界,最新发布的 NVIDIA CUDA 版本旨在解锁……

在生产级 AI 智能体中,上下文管理才是真正的瓶颈。本文提出四层上下文工程框架(架构、提示词、基于文件的工具与验证智能体),并已在可运行代码中实现……


个人 AI 智能体改变了用户与网络交互的方式,模糊了自动化流量与人类流量之间的界限。了解 Cloudflare 如何让站点所有者获得可见性与控制力,…
模型、流量与芯片都在不断变化。Polymorphic Inference 能分别适配这三者,而 Together Compiler 使用 AI 智能…

Together Compiler 使用智能体与持久化引擎,在 24 小时内优化开放模型;随着流量变化,吞吐最高可提升 3.7 倍。

比较用于生产服务的 LLM 推理框架,涵盖请求批处理、KV 缓存管理和高效部署。

你的 eval 可能在智能体读到任何一条指令之前,就已经告诉它这是一场测试。评测工具每次运行都需要一个全新的文件夹,而拿到它的最简单方式,是用一个像…