11月16日,美国商务部工业与安全局(BIS)最新出口管制政策正式实施,限制范围从芯片实物扩展至远程算力访问,旨在切断中国企业通过海外数据中心获取先进AI算力的路径。这一政策变化加速了国内算力供给侧的结构性调整,迫使产业界在硬件供给紧俏的背景下,聚焦于如何提升现有国产芯片及存量集群的“有效Token产能”。11月17日,北京智源人工智能研究院与清昴智能在2026清昴AI伙伴大会上,联合发布了基于众智FlagOS的“国产Token工厂端到端推理优化方案”,标志着基于国产芯片的商用Token工厂正式上线。

破解算力周期剪刀差与生态割裂

当前大模型迭代速度以周或月为单位,而底层算力基础设施更新周期通常为两到三年,这种“周期剪刀差”导致硬件部署后可能迅速面临适配新模型的性能瓶颈。同时,算力成本与供应链安全成为核心关切,行业亟需将按卡采购的硬件转化为按秒交付的标准Token服务。智源团队指出,国内芯片厂商众多,但缺乏统一的软硬件协同生态。为此,智源联合高校与芯片厂商推进开源FlagOS系统软件栈,旨在通过通用算子库、训推并行框架、统一编译器与通信库,实现跨硬件的优化经验共享。截至目前,FlagOS生态已覆盖35款AI芯片,汇聚21家芯片企业与86家生态伙伴,其沉淀的1,454个开源Triton算子中,近八百个在至少5款国产芯片上达到原生算子80%以上的性能。

微秒级内核重构提升推理效率

针对商用Token工厂对延迟与吞吐的高要求,优化方案深入至华为昇腾910C集群的微秒级内核,重点优化智谱GLM-5.3系列模型。在计算密集的Prefill阶段,团队重构混合注意力架构的计算路径,协调向量与矩阵单元并行分工,使81,920输入长度下的波次吞吐提升3.41%,256K超长输入下的TTFT p50下降4.94%。在访存密集的Decode阶段,通过LI量化写回技术合并动态量化与HBM缓存写回操作,将原生链路耗时从18.03微秒压缩至2.04微秒,实现接近9倍提速。实测数据显示,端到端商业场景中Decode阶段的ITL整体下降超过10%,TPOT降低8%以上,显著提升了同等算力规模下的并发承载能力。

盘活存量集群支持长上下文服务

面对大量已部署的昇腾910B存量集群,方案通过系统软件架构挖掘其潜力,以支持百万(1M)上下文的新一代模型。在BAAI Token Hub中,48张910B被组织为Prefill与Decode分离的推理集群,其中32张卡负责长序列输入,16张卡保障多并发流式输出。该服务连续稳定运行两周,线上TTFT P50保持在2.3秒左右,TPOT P50稳定在22毫秒。此外,通过重构缓存与搬运链路,打通跨Prefill域的Prefix Cache复用,前缀命中率从82.65%推升至94.15%,复用阶段首字时延中位数从16.63秒降至3.10秒,降幅达81.4%。多芯横向测试显示,FlagOS 2.2在平头哥810E上将DeepSeek-V4.1-Flash推理性能提升77%至82%,在海光BW1100上使GLM-5.3-Flash推理性能提升25%以上。这一统一软件栈不仅降低了适配成本,也为国产算力在存量与增量市场中的高效利用提供了关键支撑。