给万卡国产芯装个“超级外挂”!清华团队要造最强国产Token工厂
这是中国日均Token调用量的增长规模。2024年初,这一调用量还是1000亿;到2026年6月时,已达到约500万亿。
Agent应用深入千行百业,模型能力不断突破,AI对算力的需求正在以前所未有的速度扩张。

由于众所周知的外部环境,非国产先进算力供应的不确定性持续存在,国产芯片正加速走向主场。市场研究机构TrendForce预测,2026年中国高端AI芯片市场中,国产方案的出货份额将接近90%。
毋庸置疑的一点是,国芯国模,正在从重要的技术选择,成为中国AI产业必须掌握的基础能力。
但这条主线上依然布满障碍。不同厂商的芯片对应不同的软件栈,模型适配与开发者生态仍在完善;设备上架后难以匹配真实流量,算力利用率不足……
更深层的矛盾在于,供给侧按卡数、机柜和峰值算力衡量资源,需求侧却按照有效Token产出、响应速度和服务质量采购。
一家出身清华系的AI基础设施企业——清昴智能,正尝试成为这中间的“翻译官”。
11月17日,清昴联合华为昇腾生态及多家产业伙伴,正式发起昇腾950DT万卡级Token工厂联合运营计划。
按照计划,清昴将以打造国内规模最大的独立国产Token工厂为目标,将分散、异构的国产算力组织起来,通过RSI驱动的软件技术和运营体系,转化为可计量、可验收、稳定交付的Token产能。
未来五年,清昴还会进一步建设覆盖多地域、多芯片的十万卡级Token工厂网络,让国产芯片真正成为支撑大模型与Agent持续运行的生产力。
万卡计划背后,国产AI产业正在孕育一场新的分工。
建设万卡级算力集群,解决的是计算资源的规模问题。而要让这些算力成为一座持续生产、稳定交付Token的工厂,还需要更完整的技术与运营体系。
除了芯片、机房和电力,Token的生产还涉及模型适配、资源调度和真实业务需求。这些能力和资源,通常分散在产业链上的不同企业手中。
清昴此次万卡计划的特殊之处,就在于“联合运营”四个字。
按照最新公布的路线图,清昴计划于2027年推进昇腾950DT万卡级联合运营,建设国内领先的独立国产Token工厂。
他们还计划,未来五年,将这套体系扩展为十万卡级别自主可控的Token工厂网络,实现多地域、多芯片的统一调度与全国产算力供需匹配。
面对如此庞大的算力规模,清昴选择让不同企业各展所长,共同参与Token生产。
模型与流量方提供真实业务需求,并参与服务质量验收;
清昴智能作为生态组织者,承担中间的软件优化、集群调度、统一计量和联合运营工作,让分散的算力统一调度,再将最终产出的Token交付给客户。
四方围绕真实Token产出建立合作机制,通过服务质量协议(SLA)和统一计量体系,明确各自的投入、运营责任与收益分配。
芯片、机房和模型需求来自不同企业,但最终交付的是符合统一标准的Token服务。各方的合作,也由设备和资源的供给,进一步深入到生产与运营环节。
清昴公布的首批运营合作方,包括北京智源人工智能研究院、上海数据港、中国电信湖北分公司、湖北大数据集团和北京国际算力服务有限公司等。
而支撑这项万卡计划的,是清昴此前积累的国产算力运营基础。
截至目前,清昴已联合20余家算力中心开展运营,积累近2万张国产卡的调度经验,完成了15款以上国产芯片的适配优化,并推进了近10套昇腾910C超节点落地。
新一代硬件也有了落地进展。作为华为首批950DT超节点合作伙伴,清昴披露,多套昇腾950算力已经落地武汉、芜湖等地机房,相关全栈适配与运营能力正在建设中。
这些跨芯片、跨中心的实践经验,也让清昴有机会通过昇腾950DT平台,将Token生产能力铺向更大的算力网络。
一条不同于传统算力中心建设的商业路径,也由此逐渐清晰起来。
传统智算中心的扩张,往往伴随着大量芯片采购、机房建设和配套投资。企业投入多少资本,很大程度上决定了能够掌握多少计算资源。
清昴则通过联合运营参与Token生产,让算力服务的扩张不再完全依赖自有设备数量,技术效率、资源组织和客户交付能力的重要性随之提高。
不过,万卡规模只是基础。同样是一万张卡,模型适配效率不同、资源调度水平不同,最终能够交付的Token产量与质量往往相去甚远。
既然差距真实存在,那Token工厂该怎样建立一套可比较的标尺呢?
清昴智能创始人、首席执行官关超宇,提出了衡量Token工厂实力的核心验收标准:多、快、好、省。
多,衡量支持模型的丰富程度与有效Token吞吐;
快,关注首Token时延、输出速度及新模型适配效率;
好,要求模型精度一致、服务稳定,并满足客户SLA;
省,则落在每百万有效Token的综合成本与单位能耗产出。
这四项标准最终指向同一个目标——在既定的服务质量下,让有限的计算资源持续产出更多高质量Token。
而在国产算力快速扩张的当下,要让一座万卡工厂真正高效运转,实际还有大量的工程难题横亘其间。
国产算力发展到今天,首先遭遇的是模型与硬件之间的时间差。
模型一日千里,硬件却有自己的生长周期。一款芯片从规划、研发到发布,可能需要三年左右。但短短一年多,模型规模、上下文长度、推理方式及客户对响应速度的要求,就可能发生巨大变化。
更何况,国产算力正呈现多元化发展格局。不同芯片拥有不同的架构和软件栈,新模型投入使用,往往还需要经过兼容、算子调优和性能验证。
北京智源人工智能研究院副院长兼总工程师林咏华认为,国内已经拥有不少优秀的芯片团队,产业更需要完善的是让不同硬件共享技术成果、协同发展的软件体系。
所以,芯片的选择愈加丰富后,模型与硬件之间的软件适配,就成为必须跨越的第一道关口。
而第二道关口,在数据中心的实际运行中——设备上架率,并不等于算力利用率。
真实业务里,长短请求大多混杂,并发量不断波动,Agent还会在复杂任务中反复调用模型,产生大量长上下文和缓存需求。
固定的模型部署与调度方案,很难始终匹配这样的负载变化。芯片即便完成部署,仍需要持续优化并行策略、缓存管理和资源分配,才能充分释放计算能力。
因此,算力建设与业务需求之间,同样存在时间错位。
国产算力扩张的最后一道关口,落在实际交付上。
芯片厂商关注计算性能,算力中心关注卡数和资源利用率;真正购买模型服务的客户,却更加关心Token吞吐量、响应时延、服务稳定性和实际成本。
尤其是Agent应用,单次任务可能涉及多轮推理与工具调用,中间某个环节发生故障,就会影响整个流程。
看似便宜的Token,如果频繁引发任务失败或反复调用,最终的业务成本可能反而更高。
至此,三道关口最终都指向了Token工厂的生产能力。
模型适配决定芯片能否高效运行,资源调度影响已有算力能够释放多少性能,服务质量则关系到Token能否真正进入企业生产。
其中任何一个环节存在短板,最终都将反映在Token的产量、成本和交付质量上。
一座成熟的Token工厂,需要将这些原本分散的工程能力组织起来,让每一张芯片产生的计算能力,最终变成稳定、可预期的Token产出。
Token服务,正在成为AI基础设施竞争的新阵地。
大型云厂商已经将Token服务纳入AI基础设施布局。它们拥有庞大的算力资源、客户网络和成熟的服务体系,部分企业还将自研芯片、基础模型与应用流量组织在同一生态内。
另一边,很多独立企业也在围绕高性能推理、异构算力调度和模型服务拓展市场,依靠底层效率与跨平台能力参与竞争。
同样提供Token服务,各家企业所依托的资源与技术路径并不相同。
清昴选择的,是更靠近Token生产环节的一条路。
而要在这场竞争中立足,清昴必须凭借软件优化与专业化运营,让分散在不同企业手中的国产算力创造更高的实际产出。
2022年10月,关超宇与本科时期的伙伴姚航共同创立清昴智能。
关超宇在清华大学研究自动机器学习,曾带队研发自动图学习开源项目AutoGL;姚航曾在华为担任资深工程师,带队研发IC硬件,长期专注国产芯片适配。
清昴的创始团队成员也大多来自清华大学计算机系,在自动机器学习、模型压缩和边缘计算等方向拥有技术积累。
最初,清昴致力于提高AI模型在不同芯片上的运行效率。国产芯片与大模型加速发展后,这项研究逐渐扩展到更大规模的算力集群。2024年,华为旗下哈勃投资入股清昴,公司业务也进一步向国产算力优化延伸。
但随着集群规模的扩大,整体效能和稳定交付又成了新的挑战。清昴的技术体系随之扩展,逐渐形成两套核心软件。
MLGuider推理引擎负责优化模型在底层硬件上的计算效率;玄武智算云则将不同芯片与算力中心纳入统一管理,承担资源调度、运行监控和Token计量等工作。
真实业务请求进入工厂后,需要先匹配合适的计算资源,再通过高效推理生成Token,最终按照客户要求完成计量与交付。整个过程中,资源利用率、响应速度和服务稳定性,都直接影响最终产能。
围绕这些环节,清昴此前积累的六项技术能力,恰好形成了一套相互衔接的软件基础。
智能网关负责请求分配,多级KV Cache减少重复计算;算子加速与分布式并行提高推理效率和集群吞吐;稳定性运维保障持续交付,RSI自进化优化则让运行中积累的经验得到复用,推动整套系统不断改进。
原本服务于模型部署和算力优化的技术,如今被进一步应用到Token生产与运营之中。而这些能力也在沿着请求的流向依次发挥作用。
Agent应用涉及大量长上下文和连续调用,不同请求对计算资源的需求差异明显。清昴通过智能网关动态分配算力,并利用四级KV Cache复用已有计算结果,减少重复运算。
据公司披露,相关场景的缓存命中率最高达到99%,算力利用率曾由30%~40%提升至约80%,重复计算与闲置资源问题得到了明显改善。
也就是说,同样一批芯片,可以承接更多真实业务请求,算力中心无需完全依靠增加设备来扩大服务能力,也为降低Token生产的综合成本创造了空间。
资源得到充分利用之后,还要进一步提高Token的实际产出速度。
相比单个算子的性能变化,集群吞吐和响应时延更接近客户能够感受到的服务能力。前者意味着同等时间内可以处理更多Token,后者则反映出高延迟请求的等待时间得到改善。
清昴通过底层算子和分布式并行优化,在相关测试中将特定MoE算子的执行性能提升84倍,Linear Attention算子性能提升63.4倍。
集群层面,每分钟Token吞吐量由4000万提升至1.4亿,P99首Token时延由180秒缩短至40秒。
对于需要连续调用模型的Agent应用,稳定性直接关系到Token服务的实际使用成本,这也是工厂能够进入企业生产环境的重要前提。
为此,清昴建立了覆盖运行监控、故障隔离和业务恢复的运维体系,尽可能保障99.99%的服务可用性。
这些技术共同作用于Token生产的吞吐、响应、稳定性和成本控制,对应的正是清昴提出的“多快好省”标准。
不过,万卡工厂真正的难题,还在于规模化复制。
面对数万张芯片、大量不同的模型组合,以及业务负载的变化,如果还要依靠传统方法,让工程师反复调试完成优化,成本与难度都会暴增。
清昴为此将RSI自进化技术引入了Token工厂,尝试“用AI优化AI”,让AI参与优化支撑自身运行的计算系统。
目前,这套系统已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线。
这意味着,新模型和新硬件接入时,部分原本需要工程师重复完成的工作,有机会借助已有经验更快完成。模型适配与优化周期的缩短,也有助于减少新算力投入使用之前的等待时间。
清昴早期在自动化优化领域的积累,也由此延伸到了大规模基础设施运营中,随着Token工厂的运营网络扩大而进一步释放。
而且联合运营网络,让清昴得以进入更多合作伙伴的算力中心。不同芯片、模型和实际业务产生的运行数据,又反过来为RSI系统提供更多优化经验,进一步改善Token生产效率。
沿着这条路径,清昴正在构建一套面向国芯国模的国产Token算力底座。
底层连接多地域、多芯片的计算资源,上层承接大模型、Agent及行业应用的真实需求,中间通过推理优化、统一调度和持续运营,将分散的算力转化为稳定、可扩容的Token供给。
随着国产芯片供给持续扩大、模型能力不断突破,新的软件体系、运营服务和商业协作机制正在形成。国芯国模的竞争,开始深入整个产业体系的组织与运行。
更深层的变化,是中国AI产业正在建立自己的生产秩序。
非国产先进算力的供应在经历反复波动,国内模型的迭代和应用需求却不会停下来。
每一代芯片的进步、每一款模型的突破,都需要成熟的软件体系和产业协作承接,让技术成果沉淀为持续、稳定的供给能力。
国芯国模的崛起,终究要超越单个产品的技术突破,形成一套自主运转、自我进化的产业体系。
只有将芯片、模型与生产体系牢牢掌握在自己手中,中国AI才能真正按照自己的节奏向前。
原文发布于 量子位,正文由采集器自动抓取,版权归来源站点所有。
