The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations

论文解决了什么问题

这篇论文关注Judges as a Lifecycle相关问题：当智能体依赖技能、记忆、工具和运行时控制时，模型外部系统怎样影响最终能力。

核心方法

论文把 LLM-as-a-Judge 从一次性评测器改写成会经历构建、训练、部署和持续维护的生产系统。推荐解释场景显示，数据分布和业务目标变化会让 Judge 退化，因此评估器本身也需要生命周期管理。

实验结论

• 提醒技能和智能体评测中的 Judge 不能被当作静态真值。
• 适合与同批推荐中的 Agent Skills、Harness 和长期记忆论文交叉比较。

局限性与证据边界

适合谁阅读