Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

论文解决了什么问题

研究想验证：能不能只靠历史交互轨迹，自动生成一套可读、可复用，并能提升电脑使用代理表现的技能库。；手写 SKILL.md 很难规模化，而电脑使用代理的交互轨迹里其实藏着大量可复用操作套路。问题是，怎么从连续点击、输入、观察这些低层动作里切出真正有意义的技能，并让模型学会组合它们。

核心方法

提出一个三阶段诊断流水线：1）用相邻动作距离阈值切分轨迹以检测技能边界；2）用段内动作均值/方差摘要与对角高斯 Bures 距离做聚类，再用伪标签监督对比学习精炼技能嵌入；3）基于挖掘出的技能标签，用 GRPO 训练 Qwen3-8B 的技能感知策略，并在 IW、WebArena、BrowseComp+ 等上评测技能序列组合与迁移效果。

实验结论

• 在源基准上，8个挖掘聚类中5个与人工技能标签纯度≥0.95
• GRPO训练后技能步骤准确率仅从18.5%提升至20.5%，低于频率先验（34.9%），跨域迁移无增益或为负

局限性与证据边界

适合谁阅读