8GB 变 80GB 显存:英伟达 CMP 170HX 矿卡被解锁,单项测试超越 A100
IT之家 11 月 19 日消息,科技媒体 TechRadar 昨日(11 月 18 日)发布博文,报道称硬件研究者 Kate 通过“电压故障注入”…
IT之家 11 月 19 日消息,科技媒体 TechRadar 昨日(11 月 18 日)发布博文,报道称硬件研究者 Kate 通过“电压故障注入”…
IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发…
Gemma 4 E2B 起草回复,Bespoke Labs 的 Nimble 9B 决定接受、修改还是转人工复核,只有被标记的问题才会进行一次针对性…


本文为SLM(Small Language Model, 小参数量语言模型0.5~1B)在搜推场景的大规模落地提供了一套高性能、可复用的工程实践。
SGLang-Neuron 现已通过 AWS Deep Learning Container 公开可用。借助 SGLang-Neuron,你可以在…

企业常常需要让员工、外包或外部合作伙伴访问部署在 VPC 私网中的系统。传统基于网络边界的访问控制一旦放行,就给出了整段网络的可达性,难以做到按应用…

面向所有运行推理服务器的人:一个零方差对照、五条流量轨迹,以及引擎与调度器的拆分对比,揭示了性能收益来自何处。


微软副总裁 Scott Hanselman 发布了一个名为 gputaskman 的开源 GitHub 新项目。
本文是一份完整的编程指南,介绍 NVIDIA 的 Dory 1.0 4B 循环语言模型。了解如何构建锁定版本的 llama.cpp 分支、分析逐循环…
面向初学者的 AI 智能体,第 2 部分:该智能体在三种数据库工具之间做选择,用每次返回的结果决定下一次调用,若陷入卡顿则在第八轮触发断路机制停止。

用 Hermes Agent 和 Ollama 搭建一个本地多智能体旅行规划器:一个协调者加三个专业智能体,分别负责研究目的地、推荐住宿,并生成真实…

MI355X 以 288GB HBM3E 与 8TB/s 带宽对标 B200,市场价约 2 万美元。SemiAnalysis 测算其性能价比可达 D…
arXiv:2611.05380v1 公告类型:新论文 摘要:视觉自回归生成涵盖两大主流范式:面向图像与视频的下一尺度预测,以及面向视频的下一帧预测…
比较用于生产服务的 LLM 推理框架,涵盖请求批处理、KV 缓存管理和高效部署。

Ollama 现已支持语音模型,首个是来自 Gradium 的 Phonon。可用五种语言、数十种音色朗读文本,生成即流式输出,在 Apple Si…


来自 Cloudflare 的 27B 多模态决策模型 Clef 现已上线 Ollama,可在本地或 Ollama 云端运行。
Reflection 的首个开放权重模型现已在 Ollama 上线,仅限时免费;Beam 面向软件工程、推理与长时间运行的智能体任务,可通过 Oll…

AI 智能体现在可以在 Fly.io 的云计算机中安全使用 Ollama 的云端模型。

Ollama 现已支持决策模型,其基于 TypeSafe 的 Jev API,可实现快速、带类型的决策。决策模型现在可以零成本、低延迟运行,基于文本…


Ollama 的 Pro、Max 和 Team 套餐现在采用行业标准的按 Token 计价方式,每个套餐均包含一定用量。