单租户 Titus:多租户容器平台的 VM 级隔离
Samartha Chandrashekar 与 Nick Parker。你在周五晚上点击播放,在随后的一秒里,数十个服务在毫秒内作出响应。它们大多…

大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。
选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数
口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。
多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎
| 引擎 | 关键机制 | 量化与并行 | 硬件平台 | 选型提示 |
|---|---|---|---|---|
| vLLM通用开源首选 | PagedAttention 分页 KV、连续批处理、前缀缓存 | AWQ / GPTQ / FP8;TP、PP 并行 | NVIDIA / AMD / 昇腾(社区版) | 生态最广、特性跟进快,生产环境锁版本 |
| SGLang高并发与多轮对话 | RadixAttention 前缀树复用、约束解码 | 与 vLLM 主流量化基本一致;TP | NVIDIA / AMD | 前缀命中收益取决于请求相似度 |
| TensorRT-LLM固定模型追极致吞吐 | 编译期图优化、In-flight Batching | FP8 / FP4(按架构);按卡型编译 | NVIDIA | 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine |
| LMDeploy国产开源模型适配快 | TurboMind 引擎、KV 量化 | AWQ / INT4 KV | NVIDIA | 新模型支持跟进快,覆盖面不及 vLLM |
| llama.cpp / Ollama单机、边缘、个人 | GGUF 量化、CPU/GPU 混合卸载 | Q2–Q8 GGUF | CPU / Apple Silicon / 消费卡 | 并发弱,不适合多租户生产 |
| MindIE昇腾原生栈 | CANN + ATB 算子、连续批处理 | 昇腾量化(W8A8 等) | 昇腾 910B / 910C / 950 系列 | 模型需完成算子适配,交付前逐项验证 |
卡型RTX 4090 24GB / L40S 48GB
模型8B–32B,INT4/AWQ
引擎Ollama 起步,转 vLLM
约束并发与长上下文先到瓶颈
卡型H20 96GB / 昇腾 950PR 112GB
模型70B FP8 或百 B 级 MoE
引擎vLLM / SGLang / TensorRT-LLM
约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域
卡型昇腾 910C 128GB / 910B 64GB
模型同参数档国产开源模型
引擎MindIE + CANN
约束算子覆盖与模型迁移成本先评估
Samartha Chandrashekar 与 Nick Parker。你在周五晚上点击播放,在随后的一秒里,数十个服务在毫秒内作出响应。它们大多…

Pinecone 如何把集成嵌入构建进 Documents API,将全文检索与向量检索结合起来,让你发送文本而不是向量。
Weaviate 在不到 17 小时内为其全部客户资产和基础设施平台完成补丁修复,以降低 eMudhra 证书颁发机构八张证书泄露带来的风险。

我们在智能体评测中用本地 git 远程替换了 GitHub。按请求执行 rebase 和 push 未受影响,但智能体自行 push 的频率减少了…
用 SFT 或 RL 把 Qwen、GLM、Kimi 等开放 LLM 后训练成你自有的定制模型。你负责编写训练循环,Together 负责运行那些复…

来自 Cloudflare 的 27B 多模态决策模型 Clef 现已上线 Ollama,可在本地或 Ollama 云端运行。

Prasanna Vijayanathan、Renzo Sanchez-Silva。2024 年 11 月 Jake Paul 与 Mike Tys…


Reflection 的首个开放权重模型现已在 Ollama 上线,仅限时免费;Beam 面向软件工程、推理与长时间运行的智能体任务,可通过 Oll…
Weaviate v1.39.3 修复了 nearObject GraphQL 操作符中一个中危级别的授权问题。

Meta 面向智能体式编程的开放权重模型 Meta Muse Spark Open 已在 Together AI 上线,在无服务器与专属基础设施上提…

Weaviate 1.40 新增 PathSeer——这是来自一篇 SIGMOD 2026 论文的第三种 HNSW 过滤策略,由该论文第一作者贡献。…


AI 智能体现在可以在 Fly.io 的云计算机中安全使用 Ollama 的云端模型。