百度发布最新基座模型 ERNIE 5.5 Flash Base:效率、开源、高性价比
11 月 5 日,百度正式开源最新基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用 MoE 架构,总参数量 2800 亿,每个 Token 激活 140 亿参数,使用 33.5 万亿个 Token 完成预训练,预训练上下文长度最高达 128K,微调与推理阶段支持最长 100 万 Token 上下文。 据介绍,ERNIE 5.5 Flash Base 没有经过任何中...
本文为自动采集的摘要速览
全文正在由采集器补抓,稍后刷新本页即可看到完整译文;也可先前往来源站点阅读原文。
本文由采集器自动同步
阅读原文 ↗
原文发布于 开源中国,本站仅保留摘要与标题。