Perplexity 年化营收破 10 亿美元,增 4 倍
2026 年 11 月 16 日——Computer 迎来 Teammates,Perplexity 发布 Monitor API,另有一家新研究实…
大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。
选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数
口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。
多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎
| 引擎 | 关键机制 | 量化与并行 | 硬件平台 | 选型提示 |
|---|---|---|---|---|
| vLLM通用开源首选 | PagedAttention 分页 KV、连续批处理、前缀缓存 | AWQ / GPTQ / FP8;TP、PP 并行 | NVIDIA / AMD / 昇腾(社区版) | 生态最广、特性跟进快,生产环境锁版本 |
| SGLang高并发与多轮对话 | RadixAttention 前缀树复用、约束解码 | 与 vLLM 主流量化基本一致;TP | NVIDIA / AMD | 前缀命中收益取决于请求相似度 |
| TensorRT-LLM固定模型追极致吞吐 | 编译期图优化、In-flight Batching | FP8 / FP4(按架构);按卡型编译 | NVIDIA | 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine |
| LMDeploy国产开源模型适配快 | TurboMind 引擎、KV 量化 | AWQ / INT4 KV | NVIDIA | 新模型支持跟进快,覆盖面不及 vLLM |
| llama.cpp / Ollama单机、边缘、个人 | GGUF 量化、CPU/GPU 混合卸载 | Q2–Q8 GGUF | CPU / Apple Silicon / 消费卡 | 并发弱,不适合多租户生产 |
| MindIE昇腾原生栈 | CANN + ATB 算子、连续批处理 | 昇腾量化(W8A8 等) | 昇腾 910B / 910C / 950 系列 | 模型需完成算子适配,交付前逐项验证 |
卡型RTX 4090 24GB / L40S 48GB
模型8B–32B,INT4/AWQ
引擎Ollama 起步,转 vLLM
约束并发与长上下文先到瓶颈
卡型H20 96GB / 昇腾 950PR 112GB
模型70B FP8 或百 B 级 MoE
引擎vLLM / SGLang / TensorRT-LLM
约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域
卡型昇腾 910C 128GB / 910B 64GB
模型同参数档国产开源模型
引擎MindIE + CANN
约束算子覆盖与模型迁移成本先评估
2026 年 11 月 16 日——Computer 迎来 Teammates,Perplexity 发布 Monitor API,另有一家新研究实…
探索 ChatGPT 中全新的 Sales 插件以及 30 多个新增和扩展的合作伙伴插件,用于调研潜在客户、准备推介材料、更新 CRM 并推动交易进…
稀疏注意力已越来越多地被生产环境中的 LLM 用于长上下文推理,但服务系统仍必须保留完整的 KV 历史,这使 GPU 的高带宽内存(HBM)容量成为…
少量复制胜过少量依赖。—— Go Proverbs,via 标签:go、programming
大语言模型(LLM)的强化学习后训练受制于推演环节:重尾响应使引擎在每一步等待最长响应时陷入空闲。异步训练只能掩盖这种空闲,而无法将其消除……
大语言模型(LLM)在个性化教育上潜力巨大,但面向青少年的部署会带来有毒、有偏见、误导性或不符合其发展阶段的内容风险。我们认为,教育…
块式扩散语言模型(DLM)可并行细化多个 Token,为逐 Token 自回归解码提供了另一种选择。然而其长上下文推理仍受制于内存瓶颈…
手机和笔记本电脑上的聊天模型通常是所评估模型的 4 比特副本,而针对这类副本的审计对量化究竟如何影响拒答行为存在分歧。4 比特版本只是众多权重扰动之…
Agent 流量也带来了新的机会,流量有机会转化为数据服务收入。 本项目围绕这个过程构建了一套 实践方案。通过 Amazon Bedrock 和 A…

选择 Transformer 等标准神经网络架构,是因为它们能用梯度下降很好地训练,并在 GPU 上运行得很快。在权重空间编程中,大语言模型(LLM…
智能体式工作负载、长文档和大型代码库正将上下文长度从数万 Token 推向数十万 Token。在这样的长度下,……

Astra for Law 在覆盖 24 个法律领域的发布评测中排名第一。所有 ChatGPT Enterprise 客户现在均可申请使用权限。