SkillSmith：让 LLM 把"文本知识"和"模型权重"当作同一种东西来推理

问题：两种学习机制的隔离

当前 agent 有两种学习机制——文本层面（reflection、memory、prompt engineering）和参数层面（PEFT、LoRA、prefix-tuning）。这两条路一直是隔离的：要么写文本知识引导推理，要么微调权重固化技能。从来没有机制把两者混合起来。

举个例子：agent 训练了英语→Twi 翻译的 prefix-cache，也积累了英语法律文档分析的文本笔记。遇到新任务"分析 Twi 法律文档"时，agent 可以说出需要组合翻译和法律分析，但没有任何机制能把这段推理转化为对应的参数。SkillSmith 就是干这个的。

图1：SkillSmith 管线 — 源任务（文本 + prefix 权重）+ 组合文本指令 → 输出目标任务的 prefix 权重

技术方案

SkillSmith 用 prefix-tuning（KV cache）作为参数技能载体——因为文本片段可以自然通过 forward pass 转化为 KV cache，降低了模态桥接难度。输入包括：源任务的 prefix KV cache + 文本元数据、描述源技能与目标能力关系的组合文本（combo-text）。LLM backbone（Gemma 3 4B）同时处理这两种输入，直接输出目标任务的 prefix KV cache。

这本质上是一个 hyper-network——但不同于传统 hyper-network，它原生处理 weight-space 输入，而非仅处理隐状态。

实验结果

图3：Composite-SNI 上的 ELO 评分 — SkillSmith（橙色）在 zero-shot 和 fine-tuning 下均大幅超越 baseline

Zero-shot：SkillSmith 大幅超越所有 weight-space merging baseline（LERP、Concat、SVD），但 ICL 仍然有竞争力——基础模型的文本推理在没有适配时仍有优势。

Fine-tuning 后：用 SkillSmith 生成的 prefix 作为初始化进行任务微调，显著超越所有其他初始化方法，包括直接从 ICL 示例初始化的 prefix-tuning。SkillSmith 提供了更优的参数起点。

图7：泛化分解 — Neither-Seen（两个源任务都未见过）上 SkillSmith 仍然大幅领先

MMLU-ProX（29 语言 × 14 学科）— bootstrapped SkillSmith 在低资源、高难度组合上的优势

消融：SkillSmith 真的在用 KV cache 吗？

图6：Spider plot — 把文本直接拼到训练数据上的 baseline（橙色）仍不及 SkillSmith（蓝色），证明增益来自跨模态协同组合

SNI benchmark 上的结果

为什么这篇重要