When is Routing Meaningful? Diversity and Robustness in Language Model Societies

论文解决了什么问题

现有多模型路由策略几乎只关注任务准确率和推理成本，忽略了路由本身是否真正带来系统性价值。本文追问：在什么条件下路由是有意义的？作者认为，仅凭准确率无法判断路由策略是否让模型社会具备足够的行为多样性和面对扰动时的鲁棒性。

核心方法

作者提出两个与性能正交的评测属性——行为多样性和鲁棒性，并围绕它们构建针对多模型路由策略的评测框架。该框架系统比较不同路由策略在这两项指标上的表现，而非仅比较准确率或成本，从而暴露仅优化性能指标时容易掩盖的系统缺陷。

实验结论

• 仅优化准确率的路由策略往往在行为多样性和鲁棒性上表现不足
• 多样性与鲁棒性作为正交维度可有效诊断路由策略的系统性缺陷

适合谁阅读