Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

论文解决了什么问题

当前大语言模型评估面临三重瓶颈：人工评估成本高且速度慢，ROUGE、BLEU 等词汇指标在开放式生成中与人类判断相关性差，而 G-Eval 等整体式 LLM judge 输出的分数不透明、难以调试。当模型输出获得中等评分时，无法判断问题出在事实不一致、相关性弱、内容缺失还是流畅度差，导致迭代开发缺乏可操作反馈。

核心方法

BINEVAL 包含三个组件：首先通过任务无关的 meta-prompt 将任务提示词总结为显式要求，再拆解为按评估维度组织的原子二元问题；其次由评估 LLM 独立回答每个问题并输出解释，聚合为维度与整体分数；最后利用问题级反馈构建两阶段优化循环，支持评估器提示词的自更新与跨模型更新，以及生成器提示词的迭代改进。

实验结论

• BINEVAL（Claude）在 SummEval 事实一致性维度 Spearman 相关系数达 0.655，QAGS 平均达 0.620，均超越 G-Eval 与 UniEval。
• 迭代提示词优化在 SummEval 上平均提升约 0.07，但在相关性维度和 IFBench 计算型约束（如计数、比例）上改进有限甚至退化。

适合谁阅读