推理成本最高可降低83%,豆包概念股午后走强

来源:观察者网

2025-02-12 14:08

今日(2月12日)A股市场,豆包概念股午后大幅走强,创业板汉得信息拉升封板,广和通、移远通信、润欣科技、博通集成等纷纷大幅冲高。

同花顺iFinD

消息面上,2月12日,豆包大模型团队在其公号发布文章《全新超稀疏架构,推理成本较MoE最高可降83%》。文章称,近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。

文章称,该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。

公众号"豆包大模型团队"

本文系观察者网独家稿件,未经授权,不得转载。

责任编辑:周毅
观察者APP,更好阅读体验

“一个月少做一亿产值”,关税战下外贸企业绝地求生

欧盟挑事:中美都不可靠,选我

“示威者是暴徒和专业分子”,特朗普引来军中欢呼

美媒竟委屈上了:车企还能抱怨,国防巨头只能默默扛

愈演愈烈,抗议浪潮蔓延美国多地