【新智元导读】LLM战场的新玩家，一出手就是王炸！信仰Scaling Law的阶跃星辰，一口气带来了Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型的预览版。而阶跃星辰之旅，终点就是AGI。

　　Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型预览版。

　　据悉，Step-2万亿参数MoE语言大模型预览版，还是国内大模型初创公司发布的首个万亿参数模型！

　　这就让人自然而然地想到Scaling Law的核心本质——当模型规模不断扩大，性能就会不断提升，发生阶跃。

　　最近一周，OpenAI频频曝出大动作，比如它正联合微软打算豪掷超千亿美元，打造一台百万芯片的「星际之门」超算。

　　而在硅基发展的道路上，AI模型的规模和性能，是否还会沿着Scaling Law的路径不断攀升？

　　那么接下来，就让我们看看在千亿级参数Step-1和Step-1V的加持下，产生的应用有多么强大。

　　此外，它还具备了联网搜索、代码分析增强（POT）等能力，高效理解和回应用户的查询，提供连贯且相关的对话。

　　它可以能够识别真实世界的万事万物，能够理解和分析复杂的金融图表，甚至还能够理解热梗图片中的深意。

　　打工人们在工作中时常会遇到这种情况，动辄几十万字的政策性文件、通知、财报等，需要给出一个总结。

　　这其中的玄机可以举个例子说明。比如，在上面的例子中，预留的文字框就只有这么大，如果总结一千字，就爆了。

　　这个Agent，在虚拟之间让我经历了大起大落的人生体验：在90年代末创办互联网公司、扩大业务范围、放弃感情选择专注事业……

　　据介绍，Step-1在模型架构、算法与系统上进行了创新，拥有优秀的长文理解和生成能力、多轮指令跟随能力以及现场学习能力。

　　在中国权威的大型模型评估平台「司南」（OpenCompass）多模态模型评测榜单中，Step-1V位列第一，性能比肩GPT-4V。

　　Step-1V可以精准描述和理解图像中的文字、数据、图表等信息，并根据图像信息实现内容创作、逻辑推理、数据分析等多项任务。

　　通过Scaling Law可以预测出，在参数量、数据量以及训练计算量这三个因素变动时，大模型性能损失值（loss）的变化。

　　同年5月，爆火全球的1750亿参数大模型GPT-3诞生。23年横空出世的GPT-4曾被爆料有1.8万亿参数。

　　而要实现接近人类水平的大模型，最少拥有200万亿的参数。显然，当前大模型的参数量，还远远不够。

　　同样，继Step-1成功之后，阶跃星辰团队立即开展了下一代万亿参数语言大模型Step-2的训练。

　　模型训练的时候，衡量GPU使用效率需要看有效算力输出（MFU）指标，这个数字比例越高，代表着系统搭建的越好。

　　稳定性，就需要系统能够随时检测出哪一张卡出现问题，然后把任务进行隔离迁移，进而不影响整个训练过程。

　　在整个训大模型的过程中，最艰难的是从头搭建系统，而且从算力提供商、硬件质量等多个方面分析了，芯片就是LLM时代的硬件彩票。

　　而阶跃星辰团队则有了一个令人惊喜的发现：其实，大模型对语言并不敏感，一个知识点不管用中文还是英文，它都能学会。

　　模型到了万亿参数，训练都是用混合专家的稀疏架构。MoE怎么训？目前业内鲜有公开资料，全靠团队去摸索。

　　在Step-2的过程中，阶跃星辰团队突破了5D并行、极致显存管理、完全自动化运维等关键技术，让训练效率和稳定性处于业界领先水平。

　　目前，Step-2发布的是预览版，提供API接口给部分合作伙伴试用。等后续小编拿到体验机会，再向大家展示。

　　去年到现在， OpenAI打法看似纷繁复杂，发布GPT系列语言模型、文生图模型DALL-E、文生视频模型Sora，投资了具身智能公司Figure，放出Q*计划……

　　- 如今多种模态走向融合，但融合的并不彻底，理解和生成的任务还是分开的，造成模型的理解能力强但生成能力弱，或者反之。

　　多模态理解和生成统一后，就可以把模型和「具身智能」结合起来，让它去探索这个世界，与世界进行交互。

　　在世界模型的基础上，再加上复杂任务的规划、抽象概念归纳的能力，以及超级对齐能力，就有可能实现AGI。

　　从Step-1千亿参数语言大模型，Step-1V千亿参数多模态大模型，到Step-2万亿参数MoE语言大模型预览版，阶跃星辰正按照既定路线，一步一步推进大模型研发。

　　作为自然语言处理领域的全球知名专家，他在机器学习、数据挖掘、自然语言处理和生物信息学等领域，有着丰富的研究及工程经验。

　　焦斌星博士此前担任微软必应引擎核心搜索团队负责人，负责利用数据挖掘和NLP算法，优化索引和搜索质量。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。