用 EC2 Spot 优化 AssemblyAI 语音转文本推理成本
了解 AssemblyAI 如何在 AWS 上大规模运行成本优化的语音转文本推理:借助 Amazon ECS、Amazon EC2 Spot GPU…

大模型从架构到上线的实现路径:框架怎么选、模型怎么部署、Token 怎么省、厂商怎么做。
选模型与精度,实时拆解权重 / KV Cache / 框架开销,并给出可落地卡型与卡数
口径:工具为资料库同名页面的站内副本(发布版本 15,数据更新 2026-11-09),测算含权重冗余、KV Cache、框架开销与 5% 安全余量,结果为选型参考,实际以压测为准。价格为该工具自带口径(人民币含税渠道价 / 美区按需折算),与本频道下方「部署速查」和算力频道的价格表分开阅读,不可互相推算。上游更新后重跑 tools/sync_vram_tool.py 同步,版本号随之变化,浏览器缓存自动失效。
多数团队先用 vLLM 起步,压测后再按吞吐或国产化要求换引擎
| 引擎 | 关键机制 | 量化与并行 | 硬件平台 | 选型提示 |
|---|---|---|---|---|
| vLLM通用开源首选 | PagedAttention 分页 KV、连续批处理、前缀缓存 | AWQ / GPTQ / FP8;TP、PP 并行 | NVIDIA / AMD / 昇腾(社区版) | 生态最广、特性跟进快,生产环境锁版本 |
| SGLang高并发与多轮对话 | RadixAttention 前缀树复用、约束解码 | 与 vLLM 主流量化基本一致;TP | NVIDIA / AMD | 前缀命中收益取决于请求相似度 |
| TensorRT-LLM固定模型追极致吞吐 | 编译期图优化、In-flight Batching | FP8 / FP4(按架构);按卡型编译 | NVIDIA | 与驱动、CUDA、TRT 版本强绑定,升级要重建 engine |
| LMDeploy国产开源模型适配快 | TurboMind 引擎、KV 量化 | AWQ / INT4 KV | NVIDIA | 新模型支持跟进快,覆盖面不及 vLLM |
| llama.cpp / Ollama单机、边缘、个人 | GGUF 量化、CPU/GPU 混合卸载 | Q2–Q8 GGUF | CPU / Apple Silicon / 消费卡 | 并发弱,不适合多租户生产 |
| MindIE昇腾原生栈 | CANN + ATB 算子、连续批处理 | 昇腾量化(W8A8 等) | 昇腾 910B / 910C / 950 系列 | 模型需完成算子适配,交付前逐项验证 |
卡型RTX 4090 24GB / L40S 48GB
模型8B–32B,INT4/AWQ
引擎Ollama 起步,转 vLLM
约束并发与长上下文先到瓶颈
卡型H20 96GB / 昇腾 950PR 112GB
模型70B FP8 或百 B 级 MoE
引擎vLLM / SGLang / TensorRT-LLM
约束要 NVLink 或 PCIe 4.0 x16,看 TTFT 与故障域
卡型昇腾 910C 128GB / 910B 64GB
模型同参数档国产开源模型
引擎MindIE + CANN
约束算子覆盖与模型迁移成本先评估
了解 AssemblyAI 如何在 AWS 上大规模运行成本优化的语音转文本推理:借助 Amazon ECS、Amazon EC2 Spot GPU…

像 ARTEX 这类由 AI 编排的渗透测试平台,已日益成为能对暴露基础设施发起有效攻击的强大工具。在此我们分享 Cloudflare 的观察结果与…

卷积神经网络(CNN)能够利用几乎不含或完全不含目标物体的背景主导图像块对图像进行分类,表明它们会利用上下文信息。此前的研究检测到……
基于 LLM 的验证器正越来越多地被用于评估智能体的执行过程,但其可靠性通常只在轨迹的单一表示形式下加以测量。在已部署的智能体系统中,同一次执行可能…
智能体会话可能涉及频繁的上下文编辑,这实际上会使已缓存的 KV 状态失效,并迫使请求在解码前等待重新预填充。我们提出 Callo,一种分离式服务系统…
Apple 在其操作系统 27.3 beta 版本中发布 Siri AI 开发者预览版,让开发者与应用能够与这一助手集成,并把操作交由 Siri 执…
OpenAI 联合创始人兼总裁 Greg Brockman 有一种简单的方式来描述 AI……

推出 ChatGPT Wallet,为 ChatGPT Work、Codex 和 dots 中的智能体提供一种安全方式,在用户批准并享有现有银行卡保…
美团发布 LongCat-2.5,一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿,每个 token 激活约 480 亿参数,在…

本文结合美团基础技术部在 AI 评审、问题排查和自动化开发中的真实实践,分享 AI 能帮上什么忙、容易在哪些地方犯错,以及哪些地方仍需要人来把关。比…
本文分享这套系统的设计理念、架构演进与可信度设计,希望对大家有所帮助或启发。


支出管理为 Cloudflare Workers 和 Durable Objects 增加了可选启用的支出上限,后续还将覆盖更多产品。以下是我们如何…