反超谷歌王牌模型!决策新王拿下全球榜首,全尺寸开源
新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王! 最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。 通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。 比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复杂推理还要贵出 4.8倍 ! 极度焦虑中,硅谷的「决策模型」大战全面打响。 初代标杆Jev率先开辟了「不写字、只判断」的快思考赛道,OpenAI、微软、亚马逊与Cloudflare等巨头紧随其后纷纷下场。 前两天,谷歌CEO劈柴也亲自下场,高调推出闭源决策模型 Gemini Decision 1 。 巨头混战、炮火连天。一匹开源黑马 Karpo Decision 31B 强势杀出! 在 300个模型 同台厮杀的 Decision Index 权威评测总榜上,它一举冲上榜首,夺得 全球第一 ! https://huggingface.co/spaces/multimodalart/jev-decision-index 这次,0.8B到31B全尺寸Karpo Decision家族已全部开源! 其中,夺冠的31B旗舰单卡中位延迟低至 94毫秒 ,校准误差压到 0.023 ,单题最多可同时评估 255个选项 。 硬刚谷歌闭源王牌 开源黑马三局连胜 不同于逐字生成的传统大模型,Karpo Decision专为AI智能体的高频拍板而生。 只需输入当前状态和问题,它一次前向推理就能直接算出所有选项的概率,全程不生成任何Token。 靠着这套极速判断机制,Karpo开源即登顶总榜第一,并在多项评测中 正面击败了谷歌闭源王牌Gemini Decision 1 ! 更戏剧性的是,这匹夺冠的开源黑马,还是用谷歌自家的开源底座 Gemma 4 31B后训练 出来的。 在目前公认最权威的 Decision Index 与 JevBench 两大独立榜单上,Karpo把闭源与开源对手赢了个遍。 其中,Decision Index横跨37项公开基准与未公开的私有题库,吸引全球 300个模型 同台打榜。 JevBench则由独立机构在自有显卡上 全程断网盲测 ,1500道考题中有1200道永久封存。 在这份Decision Index总榜上,Karpo以 73.9分 一举夺魁,远超初代标杆Jev 1.14的60.2分。 不仅分数领先,它的中位延迟也只有 94毫秒 ,比Jev 1.14的196毫秒 快了整整一倍 ! 而真正拉开差距的,是防刷榜的私有题库盲测。 公开榜前十名的模型一旦进入同技能私有盲测,成绩平均要暴跌 6.8分 。 唯独Karpo只掉了 4.3分 ,在前十名里抗跌能力最强,到了全新领域私有题上更是拿下 78.6分 ! 而在与谷歌 Gemini Decision 1 交锋中,Karpo打出了漂亮的多连胜。 虽然两边在JevBench公开集上同以 92.2% 打平,但一进到真实Agent考场,高下立判。 第一场较量,比的是Agent最核心的行动判断。 以权威基准 When2Call 为例,它专门考验Agent在对话中「该调工具、追问还是停手」。 在这项测试里,Karpo一举拿下 90.4% ,比谷歌的79.9%高出 10.5个百分点 。 而在看网页截图点按钮的 Mind2Web多模态测试 中,Karpo同样以 90.0% 力压谷歌的86.2%。 第二场较量,来到考验言外之意与细粒度分类的赛场。 在考验读懂隐含语气的 纽约客漫画配文测试 里,Karpo飙到 90.5% ,把谷歌的79.7%甩开 10.8个百分点 ! 到了商品意图极其细碎的 Amazon ESCI电商分类 中,Karpo也以 64.7% 稳压谷歌的58.7%。 第三场较量,则是37项公开基准的全面摸底。 在Decision Index的37项公开基准同台实测中,Karpo拿下 75.0分 ,直接把谷歌的 60.9分 甩开了 14.1分 ! 细分到陌生领域( 72.3% )、知识准确率( 56.0% )与安全判断( 93.4% )三大维度,Karpo同样全线胜出。 同时,它也把KnowLine、GLiDE、Sieve等原榜单前三的开源对手悉数甩在身后。 而在 JevBench 刚出炉的 1500道题官方断网盲测 中,Karpo同样交出了惊艳答卷。 在这场由榜单维护方独立运行的严苛大考里,Karpo一举拿下了 89.53分 的当期能力分。 更难得的是,它在 1200道封存私有题上拿到85.67分,甚至反超了公开题的80.45分 ,校准分更是飙到 96.00分 ! 折算到榜单统一标尺后,在261个开源模型中,Karpo以 87.2分 的折算能力分杀入全球前三。 与同场参测的
为家庭成员提供量身定制的家庭健身方案和训练指导,适合不同年龄段。...