SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

论文解决了什么问题

当前 LLM Agent 主要依赖两条彼此独立的能力积累路径：一是用自然语言总结反思、构建提示或记忆；二是用 PEFT 训练可复用的参数化技能并通过权重合并复用。前者受上下文长度限制，后者多采用平均、拼接等刚性算术操作，无法利用文本中丰富的任务关系说明。论文要回答的是：能否让一个增强型 LLM 同时读取文本与权重两种模态，并据此合成出面向新任务的参数化技能，从而稳定超过单模态迁移方案。

核心方法

SkillSmith 以 prefix-tuning 作为参数化技能载体，将源任务的 KV-cache 经输入 MLP 投影到 LLM 隐空间，与源任务文本、组合说明文本以及控制 token 交错组成连续序列，由 Gemma 3 4B 协处理器前向生成一段占位 KV-cache。生成结果经反 RoPE 与输出 MLP 转换为目标 prefix 权重，直接挂载到冻结的下游基础模型上执行任务。整个系统以端到端交叉熵损失进行元训练，并支持在目标任务数据上继续微调。

相比 SPoT、ATTEMPT、AdapterHub、LoRAHub 等仅对 LoRA 或 adapter 做平均、拼接或路由的权重合并方法，SkillSmith 使用 LLM 作为超网络，原生处理 prefix KV-cache 与文本元数据，利用指令文本引导参数合成；相比纯文本自反思、结构化记忆或提示优化方法，SkillSmith 把经验沉淀为可迁移的 prefix 权重，避免推理时上下文长度瓶颈。

实验结论

• 在 Composite-SNI、SNI 和 MMLU-ProX 上，SkillSmith 显著优于仅使用文本或仅使用权重空间的基线方法。
• 将 SkillSmith 生成的 prefix 权重在目标任务上继续微调，可获得优于或持平所有对比方法的表示，包括用 ICL 示例初始化的直接 prefix-tuning。
• 在源任务到目标任务的真实映射未知时，基于 Gemini Embeddings 检索加 Gemini 2.5 Pro 选择的启发式管道仍能让 SkillSmith 在同等条件下优于基线。
• Composite-SNI 通过 Gemini 2.5 生成需要组合两项 SNI 技能的新任务，为研究跨模态组合提供了已知真实源任务映射的合成环境。
• 在 Composite-SNI、SNI 和 MMLU-ProX 上，SkillSmith 的零样本与微调后性能均显著优于纯文本和纯权重合并基线。

局限性与证据边界

适合谁阅读