Mostik 出洞:让模型隔着潜空间握手

Latent CommunicationMulti-AgentOpen-WeightStartup
2026 年 9 月 3 日 · 解读:PaperDog

大模型只负责读题,小模型写完全部的字,两者之间不经过一个词。成绩正好卡在两个模型中间,价格是全量大模型的 1/20。做这件事的公司叫 Mostik——俄语"小桥"——刚走出隐身模式,General Catalyst 和 Foundation Capital 押了注,WIRED 拿到全球首发报道。

团队 15 人、12 个博士、成立 4 个月,首席科学家是 2010 年菲尔兹奖得主 Stanislav Smirnov。首发结果:GLM-5.2(753B)× Qwen-3.5(4B),数学奥赛上关闭两模型差距的 79%,混合系统成本为全量大模型的 1/20
WIRED 首报配图
WIRED 首发报道配图:神经网络的"机器心灵感应"(Photo-Illustration: WIRED Staff; Getty Images)

十七个 bit 的钥匙孔

先看一笔账。模型生成一个 token,背后要构建上百个 hidden vector、上百万个数字、约 2MB 的内部状态——这是它对眼前问题的全部理解。最后它从约 15 万的词表里挑出一个词:约 17 个 bit 离开模型,那 2MB 从此丢弃。

今天所有把模型连起来的系统——coding subagent、model council、router——都跑在这 17 个 bit 上。Mostik 的原话是:在几千个维度里思考的系统,正隔着钥匙孔互相说话。

一个 token 与它的两兆字节
一个 token ≈ 17 bits,背后是上千个连续维度、约 2MB 的内部状态(图源:mostik.ai/read-more)

扔掉的不是脚手架

直觉上,hidden state 只是草稿,token 才是成品。过去两年的可解释性研究说不是这样。

Hanna 和 Ameisen(ICLR 2026)发现 Qwen-3 在写出 "an accountant" 前几个 token,就已经带着 accountant 的表示——正是这个表示产出了冠词 "an",而且模型越大,这种文本之外的内藏越多。Anthropic 团队在 Claude 3.5 Haiku 里看到同样机制跨整行诗句运行:韵脚先定,文字后至(Lindsey et al., 2025)。

更进一步,他们的 Jacobian 透镜能识别模型随时准备说出的概念集合(J-space):可以让模型默默持有一个概念,而可见输出毫无变化(Gurnee et al., 2026)。

所以,当一个模型把句子写给另一个模型时,丢掉的不是格式,是选择背后的全部计算

桥:唯一被训练的部件

Mostik 的做法:两个模型全部冻结,中间只训练一个小的 bridge。sender 交出 hidden states,receiver 直接消费——没有任何文字经过通道,双方权重一个参数都不动。

潜空间交接架构
Latent hand-off:frozen sender → 潜消息 → trained bridge → frozen receiver。两个冻结模型之间,桥是唯一学习的东西(图源:mostik.ai/read-more)
“两个 AI 模型之间如何找到共同点——合适的数学语言到现在还不存在。桥是权宜之计,但它也可能反过来揭示:模型和人推理时,共享着某种结构。” —— Stanislav Smirnov,日内瓦大学教授、2010 年菲尔兹奖得主、Mostik 首席科学家

第一个结果:753B 出题,4B 答卷

实验配置刻意选了部署里最想要的那种搭配:GLM-5.2(753B)做 sender,Qwen-3.5(4B)做 receiver——一个知道得多,一个写得便宜。关键的不对称在读和写的成本差:写答案一个 token 一个 token 出,很贵;读 prompt 是一次并行 pass,便宜得多。

于是大模型永远不写字。它读完题,内部状态过桥,停机。4B 做全部生成。

潜通道成绩单
avg@4 成绩:receiver 单干 → 加潜通道 → sender 上限。数学奥赛关闭 79% 的差距,AIME 关闭 38%,MBPP 关闭约 56%(图源:mostik.ai/read-more)

整体来看,桥关闭了两个模型间约一半的差距,相当于 4B 自身准确率提升 25%。在 sender-receiver 差距最大的难子集上,提升超过 2.5 倍——而且官方留了一个可操作的旋钮:保留差距最大的那部分任务,子集越小越难,放大倍数越高。

提升幅度与差距大小的关系
AIME 22-26:横轴是保留数据集的比例(右移 = 更小更难的子集),纵轴是 receiver 提升,最高超过 ×2.5(图源:mostik.ai/read-more)

WIRED 给的直观版本:这个混合系统的性能正好卡在两个模型中间,成本是全量 GLM-5.2 的 1/20。换个算法:和一个"分数恰好等于桥接组合"的中型号相比,桥接系统省 2.5 倍计算。

贵的不是算力,是翻译

Mostik 把自己的方案和标准的多模型协作方式逐一对打:routing、advising、model council、延长推理。每一局里,大模型都先算一部分再交给小模型——文本交接交的是"写到目前的字",潜交接交的是"推理时攒下的内部状态"。

结果:潜交接在所有大模型算力档位上都占优,最多领先 10 个百分点。优势最大的时刻,是手交发生得最早的时候——此刻文本方案手里空空如也,潜状态里已经装满了读题算出的东西。随着给大模型的算力增加,两者最终都收敛到大模型水平,但潜交接的性价比曲线全程在上。

成本-质量前沿
AIME 22-26 成本-质量前沿:桥接组合相对路由(AUC 0.8 的 router)、顾问、多模型议会与延长思考的 Pareto 优势(图源:mostik.ai/read-more)

顺带一提:他们还悄悄做了一个爬到 ARC-AGI 3 榜首的系统——细节不肯讲,因为想赢比赛。

冻结的深意

两个模型都冻住,不是偷懒,是一个刻意设计的严格测试:不同团队、不同数据训出的模型,表征竟然相似到不做任何微调就能互译。桥没有制造对齐,它利用的是本来就在的结构——问题从来不是"翻译是否存在",而是"找到翻译要花多少功夫"。

工程上这直接兑现为即插即用。今天很多系统已经用大模型给小模型当顾问:关键节点上,顾问读完对话、把知道的东西写成字、再交给小模型。这意味着付两次钱——一次读上下文,一次把知识变成词。Mostik 砍掉的是第二次:顾问照常读完上下文,然后停机,指导以潜状态过桥。

副产品:给安全审计开一扇窗

潜通道还有一个被低估的用途——观测模型在做什么。CoT 监控只看得见模型说出口的推理,而 Korbak et al.(2025)已经证明有些不良行为能无声地绕过它。

一次潜交接留下三个可记录的对象:sender 的隐状态、翻译产物、receiver 的行为。记录、对照、再干预——如果改动通道里的某个特征能预测性地改变下游行为,就拿到了因果证据:该特征不只是"在场",而是"在被使用"。这是文本监控给不了的东西。

潜通道不是又一个思维读取器,它把"模型之间的计算"变成了可测量、可干预的对象。 —— PaperDog 注:这对多智能体安全审计的含义,值得单独写一篇

下一步:训练时就把桥插上

桥是被训练的、有梯度的,所以它不必等两个模型都毕业才能上岗。Mostik 正在做两件事:

蒸馏——老师的监督通常只到达学生的输出层:学生最多看到老师"在每个位置打算说什么"。通道把监督搬进生成过程内部:老师不再批改成品,而是在答案成形的同时实时引导。早期信号是,同样预算下,这样训出来的学生离老师更近。

专门化——小模型开着通道训练窄技能,学得更快,还保住了原有的通用能力。这指向一种扩展大模型的新方式:往它身上挂新模块,而不是整体重训。

再往后,机制里没有任何东西限定"一对":能让一个模型监督另一个的通道,也能让多个模型一起训练,把各自知道的东西织进同一个系统。连接成品模型是第一步;模型从设计之初就为协作而生,是另一个大得多的问题。

落地与团队

对自托管 open-weight 模型的用户,Mostik 给了两条部署路径。低延迟场景:大模型只在负载的关键点贡献 prefill 状态,解码全程留在快而便宜的小模型上——重的算力花在刀刃上。批处理场景:潜状态在独立部署的端点之间传输,小模型可以跑在任何有闲置算力的地方,包括旧卡。如果你现有产品已经用 council / advisor / escalation / subagent 组织模型协作,集成点就是 hand-off 本身:工作流不动,把中间传的文字换成潜状态

团队的背景有点"数学远征队"的意思。CEO Sasha Malysheva 的数学之路始于哥哥的激将法——"你肯定解不出这些奥数题"——几年后她进了圣彼得堡最好的学校之一。同行警告她"这对一个年轻女孩来说太难了",她的回应:"我决定证明他们错了。"公司里流传一个玩笑:AI 的未来像猜猪重——数学圈的老结论,一群随机的人平均猜测,比单个专家更准。Ensemble 的直觉,从猪一路延伸到大模型。

“我个人不认为未来会有一个单体巨模型,模型的能力也不会只来自 scale。” —— Sasha Malysheva,Mostik CEO

外部评价同样值得记一笔。Lovable 的 tech lead Vladimir Arustamian:这个团队干了没几个月,就做出了"我以为要几年"的东西。前 DeepMind 研究员 Karl Tuyls 说得更直白:对任何要把模型跑得更省的人,这是 no-brainer。

收尾:第三条缩放轴

AI 到目前为止吃过两条红利:预训练堆出世界知识,测试时计算堆出推理与规划——两条曲线都在变平。Mostik 押的是第三条:模型之间的协调,而协调的前提是通信,通信的带宽决定了协调的上限。今天这个带宽是 17 个 bit。

把 2MB 的计算隔模型直传,短期看是省钱的故事,长期看是另一个问题:当模型不再需要借文字交换思想,"智能"会不会开始出现在系统层,而不是单个模型的权重里?大多数多智能体工作还在优化"怎么分派任务";Mostik 在优化"怎么不丢信息"。四个月做到这一步,这条赛道值得盯住。