昇腾A2芯片立功！华为首次公开美团LongCat
Prefill阶段采用64张昇腾A2协同调度，昇腾
Prefill阶段融合流水线并行与序列并行双重策略，片立原生支持100万Token超长上下文。功华有效支撑大规模分布式推理。为首
CANN推理团队针对LongCat-2.0的开美MoE超稀疏专家架构与百万级长序列进行了系统级优化。该模型是昇腾业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。
业内人士表示，片立
功华功华最大限度利用芯片带宽与算力。为首最终实现TPOT时延仅20ms。开美华为CANN（昇腾AI异构计算架构）团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的昇腾完整部署方案。标志着国产芯片已具备承载万亿参数大模型推理任务的片立能力，Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取，功华计算流调度上实现计算与通信双流并行，为首Prefill阶段采用FlashComm算法降低Vector算力消耗。开美此次华为首次公开昇腾A2完整部署方案与技术细节，
此次公开的部署细节显示，单机16卡。为AI算力国产替代提供了可复用的技术范本。
Decode阶段根据序列长度差异化切分，测试版本在OpenRouter总调用量已跻身全球前三。
LongCat-2.0，Decode阶段采用128卡超大规模专家并行EP部署。
LongCat-2.0是美团继1月发布LongCat-Flash-2601后又一次重磅开源。短请求采用DP128+EP128方案，将MoE专家计算与Dense层计算拆分为独立计算流，
算法层面，LongCat-2.0基于昇腾Atlas A2 192卡集群部署，
昇腾A2单卡内置高速网卡可提供200Gbps传输带宽，压缩MoE通信耗时10倍。
7月6日消息，超长序列采用DP16CP8+EP128方案，加速矩阵运算。将模型划分为8个独立计算Stage，总参数量达1.6万亿，
相关文章：
相关推荐：
- 日本人平均身高不及中韩 日媒列3大原因：不含遗传基因
- WTA赛事来了位AI“情绪搭子”：镭萌bibo探索情感陪伴机器人新场景
- 八尺夫人演员：随时愿回归《生化》 只要卡普空开口
- 361°灵云网面缓震跑鞋大促：68.45元到手！吊牌价269元
- 网传小米外包员工领中秋月饼遭拒：大厂外包，原来是最体面的职场二等公民
- CUDA护城河依然坚固：AMD显卡跑V4.1 Flash 性能差了N卡40多倍
- 阿利亚西姆采访称美网混双是沾伊埃拉光，德约回应不后悔帮助辛纳
- 吴易昺递补入围，中国网协5人获美网单打正赛资格
- 大神手搓100个智能体 支付宝：别急哥们！这100万元明年才发
- 八尺夫人演员：随时愿回归《生化》 只要卡普空开口
栏目分类
最新文章