What？？？

一直低调行事的国内初创公司，旗下模子暗暗地跃升成国内第一、寰球第五（仅排在 o1 系列和 Claude 3.5 之后）！

而且是前十名中的独逐一家国产公司。

（该榜上国产第二名是阿里开源的 qwen2.5-72b-instruct，总榜第 13）。

而且它登上的这个名次榜 LiveBench，天然当今还莫得大模子竞技场（LMSYS Chatboat Arena）那么广为东说念主知，但履历杠杠的——

图灵奖得主、Meta 首席 AI 科学家杨立昆（Yann LeCun），结合纽约大学等在本年 6 月推出。

堪称是"全球首个无法舞弊的 LLM 基准测试"。

而此次冷不防杀出来的黑马，其实相比纯熟国内大模子竞争样式的一又友们仍是猜到了——

Step 系列，背后是大模子六小虎之一的阶跃星辰。

提示奉陪高分拿下全球第一

在 LiveBench 榜单上，阶跃星辰自研的万亿参数谈话大模子 Step-2-16k-202411 在 Global Average 上拿下 57.68 分。

位列总榜第五、国产第一。

这个榜单之前出现频率不高，一方面是它如实很新，本年 6 月才刚推出；另一方面愈加现实，那便是此前国产大模子并未在这个榜单塔尖获得傲东说念主收成。

这倒也不迂缓榜单自己的实力——

LeCun 和纽约大学等机构联手推出，专为大模子想象，现时包含 6 个类别的 17 个不同任务，每月更新新问题。

贪图是确保榜单的问题不易受到浑浊 ，况且横暴猖獗、准确、公说念地进行评估。

强调不易受到浑浊，是因为查考数据中包含了大量互联网执行，好多 BenchMark 很容易受到浑浊。

比如群众相比纯熟的数学测试集 GSM8K，最近被阐明注解有好些模子仍是在它这儿过拟合了。这显然为评估模子才智带来了困扰。

除了要防范 BenchMark 被浑浊，确保评估神态公说念、无偏见也很伏击。

一般来说，群众王人取舍的是 LLM 担任评委或东说念主类当裁判这两种神态。而 LiveBench 取舍取舍客不雅、基技艺实判断来评估每个问题。

那么，当我们初度正视这个榜单的时候，我们还能从其中看出些什么？

先说收成出色的 Step-2。

IF Average 一项，也便是提示奉陪，它以最高分拿下全球第一。

这个神志的执行，是对《卫报》近期新著作进行改写、简化、回来或生成故事。

86.57 这个收成是确凿相等高——榜单上其余世东说念主（哪怕是 OpenAI 和 Anthropic 家的模子们）王人在 70-80 分段，单项第二名的 Meta-LLaMA-3.1-405b-instruct-turbo 比它低了 8 分多。

这意味着，Step-2 在谈话生成上对细节有强扫尾力，息争才智 max，然后更好地顺从东说念主类提示。

更具体些不错息争为，当我们平庸东说念主输入语句倒置、语意不清、表意朦胧的非专科 · 真平庸 · prompt 时，Step-2 能结合高下文、具体情境揣度使用者的具体需求，把一个朦胧提示从" 360p "进行" 1080p "的息争，精确捕捉朦胧提示背后的的确意图。

同期意味着执行创作才智也很强，比如让它创作一首古诗词，它在字数、格律、押韵、境界等方面，王人能有精确的把控。

完全自主研发，MoE 架构，万亿参数

在此次因为 LiveBench 又出来炸场一波之前，Step-2 留给外界的最久了印象，一定有一个是"国内首个由初创公司推出的万亿参数大模子"。

这有点像阶跃作风的具像化。在大模子六小虎中，阶跃的 Step 系列发布最晚，但动手绝不隐约。

本年 3 月，Step-2 在全球开辟者前锋大会开幕式预览亮相，一下子就从前作 Step-1 的千亿参数规模，拉升到了万亿参数规模。

吊足了胃口后，夏天的 WAIC 2024 时代，Step-2 推出郑再版。

模子取舍了 MoE 架构。

一般而言，主流查考 MoE 模子有两种神态，否则就基于已有模子通过 upcycle（朝上复用）运行查考，否则就从新运行查考。

Upcycle 神态所需算力相对更低、查考后果更高，但随敷衍便就到这种神态的天花板了。

比如基于拷贝复制得到的 MoE 模子，相等容易出现众人同质化严重的情况。

而取舍从新运行查考 MoE 模子的话，横暴探得更高的模子上限，但看成代价，查考难度也会增大。

但阶跃团队照旧取舍了后者，取舍完全自主研发，取舍从新运行查考。

过程中，通过部分众人分享参数、异构化众人想象等蜕变 MoE 架构想象，Step-2 这个羼杂众人模子中的每个众人王人得到了充分查考。

故而，Step-2总参数目达到万亿级别，每次查考或推理所激活的参数目也超越了市面上的大部分 Dense 模子。

此外，Step-2 的查考过程中，阶跃的系统团队窒碍了 6D 并行、极致显存责罚、完全自动化运维等关键本事，因循起了总计模子的高效查考。

初亮相时，阶跃官方示意：

Step-2 在数理逻辑、编程、汉文学问、英文学问、提示奉陪等方面体感全面迫临 GPT-4。

结合此次 LiveBench AI 的收成来看，团队对 Step-2 的定位、上风场合，把合手得很明晰。

基座模子本事才智强，关键是要让东说念主用起来才行。

官方音信是，Step-2仍是接入了阶跃星辰的 C 端智能生涯助手「跃问」，Web 端和 App 王人不错试一把。

若是是开辟者，不错在阶跃星辰洞开平台通过 API 接入使用 Step-2。

谈话模子和多模态模子十足要

开篇我们提到，Step 模子是一个系列，而 Step-2 是其谈话模子的实力代表。

在这个系列中，除了谈话模子，阶跃星辰的多模态模子也很有看头。

Step-1.5V是阶跃星辰的多模息争大模子，这款模子在三个方面上风隆起：

一是感知才智。蜕变的图文混排查考重要，让 Step-1.5V 能息争复杂图表、过程图、准确感知物理空间复杂的几何位置，还横暴处理高辞别率和极限长宽比的图像。

二是推理才智。字据图像执行进行各样高档推理任务，如解答数学题、编写代码、创作诗歌等。

三是视频息争才智。它不仅横暴准确识别视频中的物体、东说念主物和环境，还横暴息争视频的举座氛围和东说念主物心思。

生成方面，阶跃手里有Step-1X 图像生成大模子。

Step-1X 取舍 DiT（Diffusion Models with transformer）架构，有 600M、2B 和 8B 三种不同的参数目，语意息争和图像创意完结两手抓。

具体而言，不管文本提示浅显照旧复杂，不管是画单一双象照旧多头绪、复杂内涵场景，它王人能 cover。

另外，该模子还赞助针对中国元素的深度优化，使生成执行更符合国东说念主的审好意思作风。

至于谈话模子和多模态模子十足要，阶跃有我方的真理。

从设立一运行，阶跃星辰就明确了自己通往 AGI 的道路图：

单模态——多模态——多模态息争和生成的统一——寰球模子—— AGI。

换言之，阶跃的贪图是开辟出横暴完结 AGI 的多模态大模子，并诈欺这些自主研发的大模子，创造新一代的 AI 应用。

为着这个贪图，这一年多来，阶跃仍是写下了属于我方的谜底。

研发迭代速率很快，不到一年，无论 Step-1 到 Step-2， 照旧 Step-1V 到 Step-1.5V，举座赓续跑步前进中。

家具也有我方的念念法，莫得局限在 ChatBot 上。Step-2 登顶国内的并吞天，阶跃旗下的跃问还上了一个新功能：

浅显树立，就能通过 iPhone 16 右下方侧边的"相机扫尾"按钮，一键调用"拍照问"功能。

莫得 iPhone 16 的苹果用户，把系统升级到 iOS18 也能一设施用国产 AI 了。

天然仍是在六小虎中占据一席，但近日看阶跃，仍然念念以黑马来样貌它。

论本事和实力，Step-2 能一霎杀到业界巨擘榜单国内第一，成为全球榜单前十独一国产玩家。

大模子海浪奔腾于今，仍是有快两年的时代了。

两年里，投身其中的本事从业者们王人在（看似散播其实共同）打造一个愿景，一个好多东说念主王人兴隆参与并与之有关在沿路的愿景。

多情理敬佩，阶跃 Step 系列，以及中国的大模子们，王人会因为稀奇的本事实力和不懈的蜕变追求，越来越熠熠生辉。

One More Thing

上个月，智源征询院推出狡辩平台 FlagEval Debate，旨在通过引入模子狡辩这一竞争机制对大模子才智评估提供新的度量标尺。

和大模子竞技场玩法有点近似，便是俩模子一个正方一个反方，双盲测试，狡辩完后用户投票。

然后才揭晓正反两边王人是谁。

模子狡辩，主要靠的是信息息争、学问整合、逻辑推理、谈话生成和对话才智。

天然了，同期还能测复杂语境中信息的处理深度和迁徙应变才智，反应其学习与推理的进汲水平。

浅玩了一下，有些议题还蛮有真理。

比如"博物馆着火，只可救一个，救猫照旧救《蒙娜丽莎》"这个议题。

俩模子吵到背面，"猫有九条命"的话王人说出来了，笑死。

终末反复投了几次，Step-2 大捷 o1。

看来它狡辩才智也很强呀……

榜单官网：https://livebench.ai/#/blog

跃问结合：https://yuewen.cn

FlagEval Debate 官网：https://flageval.baai.org/#/debate

—  完  —

点这里� � 柔和我，铭刻标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿施展日日相遇 ~