MoE-LoRA 多语言适配方法:系统性实证研究
路由式低秩适配器提供了一种参数高效的手段,可提升大语言模型(LLM)在各类任务上的表现。因此,人们认为它们也可用于改善对低资源语…
路由式低秩适配器提供了一种参数高效的手段,可提升大语言模型(LLM)在各类任务上的表现。因此,人们认为它们也可用于改善对低资源语…
阿里巴巴发布 Qwen4-Max,这是一款专有的 2.4T 参数混合专家模型,拥有 71B 激活参数、原生视觉能力和 100 万 Token 上下文…
多模态持续指令微调要求多模态大语言模型依次获得新能力,同时不发生灾难性遗忘。混合专家(MoE)架构提供了一条有前景的途径……
Google 发布 TPU Sync,这是一个开源 C++ 库,可在 TPU 高带宽内存(HBM)、主机 DRAM、存储与网络之间迁移 KV 缓存和…
IT之家 11 月 13 日消息,荷兰芯片初创企业 Axelera AI 当地时间 12 日 公布了其第三代 AIPU 芯片 Titania 的架构…
IT之家 11 月 11 日消息,华为麒麟官方公众号今日发文,详细介绍了首款「逻辑折叠」技术 τ 芯片 —— 麒麟 9050 系列的新一代达芬奇架构…
对 10 个开放 MoE 模型如何路由 Token 的配置核验式对比:总参数与激活参数、专家数量、top-k、共享专家、门控函数以及负载均衡方法。
MoE 路由策略决定每个 Token 由哪些专家处理。本指南讲解 7 种方法,从 Mixtral 的 top-2 softmax 到 DeepSee…
Thinking Machines Lab 发布 Inkling 2 Small,这是一款 594B 参数、17B 激活参数的混合专家(MoE)模型…
11 月 5 日,百度正式开源最新基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用 MoE 架构,总…
昇腾 950 超节点 1024 张 NPU、售价过亿元。采购方的问法从“多少钱一张卡”变成“能不能给我十万片”。
Mistral 于 10 月 29 日发布 Large 4 的开源权重,采用修改版 MIT 许可,API 价格降至 0.70/2.10 美元。