英伟达披露 GPU 租赁价格上涨:Hopper 最高翻倍,B300 涨超 60%
IT之家 11 月 19 日消息,英伟达在最新财报电话会议上披露,随着 AI 推理需求持续增长,公司旗下不同代际 GPU 的租赁价格均出现上涨。 其…
IT之家 11 月 19 日消息,英伟达在最新财报电话会议上披露,随着 AI 推理需求持续增长,公司旗下不同代际 GPU 的租赁价格均出现上涨。 其…
Exa 的神经搜索引擎由自研向量数据库支撑,因此嵌入数十亿网络文档的单位经济性直接决定其业务。本文分享 Exa 如何在 AWS 上优化嵌入推理……

此次新部署整合了 AMD Instinct MI350X GPU、AMD EPYC 处理器以及 AMD ROCm 软件生态。

11 月 16 日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,将限制范围从芯片实物进一步延伸至远程算力访问,旨在封堵中国企业通过海外…
视觉无障碍智能体、机器人等应用,需要在有限的过去帧窗口(例如最近两分钟)内,及时回答关于近期视频内容的问题。混合视觉语言模型……
视觉无障碍智能体、机器人等应用,需要在有限的过去帧窗口(例如最近两分钟)内,及时回答有关近期视频内容的问题。混合视觉语言模…
目标识别是指从智能体被观测到的行为中推断其意图目标的任务。多数现有工作聚焦于高层的符号识别,把智能体据以实现目标的连续运动抽象掉……
推理时扩展通过采样多个回复并评估其集体效用,提升大语言模型的性能。然而,许多现有方法是通过反复采样…来获得这些样本的。
ArisGlobal 在 Amazon Bedrock 上运行其生命科学 AI 引擎 NavaX。通过缓存共享的提示前缀而非逐份案例文档,ArisG…

稀疏注意力已越来越多地被生产环境中的 LLM 用于长上下文推理,但服务系统仍必须保留完整的 KV 历史,这使 GPU 的高带宽内存(HBM)容量成为…
从图像重建可动画的 3D 人体虚拟人,对游戏和增强现实等应用十分重要。前馈方法把推理时间压缩到几秒,让虚拟人重建更易普及…
块式扩散语言模型(DLM)可并行细化多个 Token,为逐 Token 自回归解码提供了另一种选择。然而其长上下文推理仍受制于内存瓶颈…
智能体式工作负载、长文档和大型代码库正将上下文长度从数万 Token 推向数十万 Token。在这样的长度下,……

测试时增强(TTA)在推理时聚合模型对输入多个变换视图的预测。由于组织学图像没有规范朝向,$D_4$ TTA——对 8 个旋转变换……进行池化……
智能体工作负载对推理系统提出了更高要求。AI 智能体在多轮交互中携带不断增长的对话历史,并生成推理、工具……


美团正式开源 LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外授权。
IT之家 11 月 16 日消息,腾讯 WorkBuddy 国际版昨日宣布,已正式上线谷歌 Gemini 4 Carbon 模型,主要面向需要更深入…
前缀缓存帮助编程智能体在对话不断增长时保持快速响应。提示词、工具调用与推理路由决定模型能复用多少工作。

两套 NVIDIA DGX Spark GB10 系统通过 200 GbE 直连,可服务更大的语言模型并提升推理容量,但收益取决于部署方式。我们对…

边缘 AI 应用往往需要在有限的计算与功耗预算内运行多个神经网络。NVIDIA 深度学习加速器(DLA)……
斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了
IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发…
在您自己的 AWS 账户中,通过 Amazon SageMaker JumpStart 部署 OpenFold3-preview,预测蛋白质、DNA…


了解 AssemblyAI 如何在 AWS 上大规模运行成本优化的语音转文本推理:借助 Amazon ECS、Amazon EC2 Spot GPU…
本文从 AI 工作负载各阶段的 I/O 特征出发,对比 Amazon Simple Storage Service(Amazon S3)、Amazo…

空间专项模型反而不如通用模型?浙大庄越挺团队提出空间智能新基准 作者丨 张岂萍 编辑丨 幸丽娟 空间智能正在成为 AI 竞赛的主战场。视觉语言模型(…
IT之家 11 月 13 日消息,荷兰芯片初创企业 Axelera AI 当地时间 12 日 公布了其第三代 AIPU 芯片 Titania 的架构…

本文为SLM(Small Language Model, 小参数量语言模型0.5~1B)在搜推场景的大规模落地提供了一套高性能、可复用的工程实践。
美团智播围绕 AI 主播「长得真→动得准→演得活→卖得好」构建了完整技术闭环:真人 1:1 复刻、换装换背景身份不跑偏;动作自然流畅,告别「木偶戏」…

即使你优化了提示词和应用逻辑,Amazon Bedrock 的推理账单仍可能持续攀升。四个请求级选择(缓存时长、服务层级、推理投入和 maxToke…

模型架构决定了 LLM 的扩展行为、训练效率与推理成本,因而成为产业界和学术界共同关注的核心。在产业界,DeepSeek、Qwen 和 Kimi 背…
模型架构决定 LLM 的扩展行为、训练效率与推理成本,因此是产业界和学术界共同关注的核心。在产业界,DeepSeek、Qwen、Kimi 背后的团队…
局部二值模式(LBP)至今仍是从工业检测到医学影像领域使用最广泛的纹理描述子之一。然而其半径、采样角度、颜色变换与阈值对每种……都需要手工固定。
端侧推理需要能有效利用本地加速器的内核。对生成 Apple Metal 内核的模型而言,高效的训练与评估可受益于原生 macOS 工具以及并发的智能…
数据中心规模的大语言模型(LLM)推理从根本上受制于内存容量与带宽瓶颈。由于模型权重是只读的,且在各实例间完全相同,传统架构……
真是风波不断的一周。Nvidia 周四上午表示,这家全球市值第二高公司的 CEO 兼联合创始人 Jensen Huang 已辞职,此前有报道称其卷入…
智能体任务的高效批处理执行对 LLM 训练与开发工作流至关重要,包括基准测试评估、合成数据生成和 RL 推演。由于这些任务在 LLM 推理…之间交替…
爆料人 Aaron Perris 在 11 月 10 日发现了苹果内部的一个新 Mac 应用,名字叫 Harbor。它的定位写在功能描述第一句:把你…
一批快速成长的初创公司从云厂商租用算力再转售,自身在 AI 芯片上分文未花,如今却走到了十字路口。它们发现越来越难凑齐足够的算力…

AWS Marketplace 现已支持 Amazon SageMaker 双向流式推理的按用量计量,使模型提供方可以按客户在实时流中实际消耗的用量…
了解如何使用延迟、Token 生成速度和系统负载等关键指标与公式来衡量 LLM 推理性能。

QCon AI New York 已公布 2026 年 12 月 15 日至 16 日的完整议程。来自 LinkedIn、Netflix、DoorD…
本文基于 Transit Gateway Connect、FRR 与 Linux TC,在 VPC 中构建主备式 QoS VNF,实现对VPC出口流…

神经网络正日益不再仅被当作预测系统来研究,而是被视为内部计算本身即成为科学探究对象的复杂系统。机械可解释性领域近期的进展……
神经网络正日益不仅被当作预测系统来研究,也被视为复杂系统——其内部计算本身即是科学探究的对象。机械可解释性领域近期的进展……
视觉问答(VQA)给视觉语言模型(VLM)带来大量计算开销,这促使业界探索与模型无关的输入缩减方法,以便便捷地应用于各类 VLM,包括……
即便使用高性能存储设备,低效的数据管理也可能使其无法达到全速。KAIST 的研究人员开发出一项技术,改进了数据移动与重组的流程……


蚂蚁集团旗下机器人业务 Robbyant 发布了 LingBot-Touch 的模型权重与推理代码,该模型旨在帮助机器人手借助触觉抓取和操作物体。它…
11 月 10 日,Claude Fable 5.2 发布同日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch。一款面向数字世界的通用大模…
全新的 Google TPU 8tx 将 AMD EPYC Turin 主机与机密计算相结合,而 TPU 8i Max 则将用于推理的内存带宽翻倍。

常驻智能体正承担更长、更复杂的企业工作流。单个请求可能涉及阅读文档、跨来源核对信息,……

百度的 ERNIE Evolve 是一个自动化研究系统,可修改代码、运行实验,并只保留经验证的改进。它在 NanoChat 和 NanoGPT Sp…
面向所有运行推理服务器的人:一个零方差对照、五条流量轨迹,以及引擎与调度器的拆分对比,揭示了性能收益来自何处。

近几个月来,能够推理、规划并使用外部工具完成多步任务的 AI 智能体,已经重塑了计算机编程、在线购物、餐厅预订和网络攻击。

在本期节目中,Edoardo Vacchi 探讨了 WebAssembly 在后端不断演进的格局、使用 TornadoVM 在 GPU 上运行 Ja…
我们提出一种实时方法,利用紧凑、低成本的场景特征与统计量,在直接光照与环境光照下重建渲染体积介质中完全积分后的像素辐射亮度。……
Pinterest 已将用户旅程推理系统从多阶段聚类流水线迁移至经过微调的 40 亿参数语言模型,并报告邮件点击率提升 1.1%、推送打开率提升 1…
这种名为 FLEX 的新方法,有望带来更直观、更具交互性的家用与辅助机器人。

即便进行逐步推理,这些模型的准确率仍徘徊在 33% 左右,其中一个模型正确引用了主持人的规则,随后却将其无视。

IT之家 11 月 8 日消息,特斯拉公布了更新后的 AI 加速器路线图,进一步揭示了公司未来几年的芯片研发方向。根据这份路线图,特斯拉第六代推理加…