近年来，大型语言模型（LLM）在过程级别（PRMS）上增强了奖励模型的能力，这对复杂的推理任务表现出了令人惊讶的功能。 PRMS负责评估推理过程中的每个步骤，并指导模型的学习方向为“场景背后”，以推理多个步骤LLMS的推理和决策。但是它们真的足够可靠吗？一项关于ACL 2025 Main接受的新诚实研究表明，在识别推理过程中识别微妙错误的PRM的重要不便，而这些错误较低于随机猜想，并在“信任危机”中发出警报！标题：Prmbanch：流程级别奖励模型的精细和挑战的基准纸链接：https：//arxiv.org/abs/2501.03124项目homepage：https：//prmbecch.github.io/instruction/instructuction视频： Artificia研究所l情报，西克斯大学，基于奖励加强学习的香港法规法规不断暴露诸如误报和推理过程中严重幻觉等问题。因此，需要对过程进行有效的监督，以及如何评估过程监督的质量是值得研究的问题。当前，常规评估方法通常过多地关注最终结果的精度，而忽略推理过程中细致类型错误类型的识别。例如，推理步骤具有多个状态，例如冗余，部分正确或完全不正确，并且简单的“正确/错误”标签不足以捕获其复杂性和固有的细微差别。评估中缺乏粒度，因此很难真正理解PRM的局限性，并且避免了能力的更多改善。为了缩小这一差距，联合国Hudan，Sokou大学，上海人工智能学院，Siksi大学和香港中国大学的RSITY共同提出了Prmbanch，这是一个非常困难的参考点，旨在评估复杂的CRM错误检测能力。这项创新研究不仅被ACL 2025接受，不仅对现有PRM的“弱点”进行了深入的分析，而且还具有复杂的预测。首次将系统地揭示该理论评估中的深处缺陷，并指示未来研究的明确方向。图1左侧显示了数据重合过程，即Prbench的主要结构。示例评估问题和测试模型的相对性能已显示给Rightha。 PRMBENCH：PRMS的“完整体格检查”不是数据集的简单扩展，而是针对系统性和多维性的“完全构建的圆形体育检查计划”。我们将检查TPRM在维度中的中心能力。 Prmbanch的独特好处：Prmbanch包括6216个精心设计的问题，并具有出色的标签，可提供多达83456级的通行。这保证了评估的深度和宽度，从而可以完全覆盖PRM可以找到的各种复杂推理方案。 An innovative multidimensional evaluation system: PRMBANCH begins with three central dimensions: simplicity, rationality and sensitivity, and are additional subcategories: "non -redundant", "non -circular logic", "empirical health", "staggered consistency", "consistency of the domain", "reliability", "multiple measurement", "multiple sensitive", "disappointment" (disappointMultiple disappointment “（多重一致性）”）框架试图在各种潜在错误类型中获得性能。该文档的主要发现是它比预期的要低得多，PRM通常会延迟。当前的开源PRM显示较低表现比建议强大的通用语言模型，因为关键的模型性能是推理过程中的多余和不必要的步骤。优先现象：某些模型（例如Praceval-7b和RLHFlow-DepSeek-8B）在评估中显示出明显的“积极偏好”。确定正确的程序有很高的精度（超过95％），但是通过识别错误的程序（负数据），平均精度仅为17％。性能误差位置的影响： - 深度研究中的这分析了误差步骤对推理链内部PRM性能的影响。结果是误差段位置在推论链中移动。这表明PRMS性能将逐渐改善。 “虚假政策”有严重的后果。流程级别（PRM）上的奖励模型常常发现很难识别这些误报。问题的起源：“余额在需要反驳的复杂测试问题中观察“盲点”的d斑点。观察令人担忧的现象。即使像O1这样的大型语言的强大模型在推理过程中意识到问题，它仍然可以创建不正确的推理。甚至更令人震惊的是，当我们称之为现有过程奖励的过程（PRM）时，我们会发现此类概述，我们会发现此类概述，我们会发现该概述。直接的问题。LLY评估PRM在细粒误差中的性能。这是PMBench推出的基本推动力，PMBench是一个复杂的参考点。我们真的想选择一个“良好” PRM，该PRM可以通过PRMBIGH打破现有评估的局限性，有效地确定严重的错误，并为PRM的开发方式提供精确的诊断工具。表1 Prmbanch与其他现有参考点的比较。 PRMBANCH构造：实现不可或缺的评估图3 Prmbanch包括三个主要评估主题：简单，声音和灵敏度。数据和汇编来源：元数据提取：根据PRM800K数据集，它不包括完全正确的问题的问题，答案和解决步骤，例如元数据构建参考点。细谷物错误注入：对于PRMBENCH（前八个子类别）中的大多数评论问题，高级LLM（尤其是GPT-4O的策略性IT）绘制各种类型将细晶粒偏见误差注入了原始程序，以解决正确的问题解决。在“单个问题的多个解决方案”的特殊情况下，我们使用多步骤推理丰富语言模型来测试CAPPRM一致性判断，以生成与多个不同但正确的解决方案相同的问题的推理步骤。严格的手动验证：严格审查所有注射错误的实例，以确保实施错误类型的质量和相关性，并保证数据集的可靠性和可靠性。大数据集统计数据：最后，PRMBENCH创建了一组评估数据，其中有6,216个井设计的问题和总计83,456个薄级别的通过标签。维度和评估指标：PRMBENCH评估系统分为三个主要领域，旨在对PRM进行全面和详细的分析。简单性：评估CRM识别和排除RE的能力Duction推论过程，其中包括两个子类别，包括“非冗余”和“非圆形逻辑”。健康：Córnel评估了PRM产生的奖励信号的精度以及正确识别涵盖四个子类别的错误类型的能力：“评估的合理性”，“段落的一致性”，“域的一致性”，“域的一致性”和“可靠性的不变性”。灵敏度：与微妙的变化或误导性信息相比，它可以测量PRM的鲁棒性和精确识别能力，并分为三个子类别：“对先决条件的敏感性”，“可决定性”和“多溶液的一致性”。实验和关键发现评估模型：我们对25种常规模型进行了广泛的测试，包括开源PRM品种（例如Skywork-PRM，LLEMMA-PRM，Maths-Mistral Maths，MathSshepherd-Mistral，RLHFlow-PRM）。 GPT-4O，O1-Mini，Gemini-2想法等）。评估指标：F1负分数：它专注于测量将模型误差识别步骤的准确性作为评估检测性能的中心指标。 PRMSCORE：这是F1分数（正确的措施识别）和F1（错误测量阳性）的负分数的有机组合和模型全面的统一分数，这是更全面且平衡的一般一般功能和一般可靠性。重要发现：PRM的总体表现令人担忧。实验结果表明，现有的PRM在评估几个步骤过程中具有非常有限的功能。即使是最佳性能模型，也经常获得比随机猜想的分数。这显示了一个很好的改进空间。开源PRM通常是落后的：与推广强大的通用语言模型作为关键模型相比，开源PRM通常显示出较低的性能，突出了实际应用中的可靠性和潜在的问题。 “简单性”提高了最严重的CH艾格。在所有评估维度中，推理过程中的冗余步骤（即“简单”类别）已被证明对PRM特别困难，并且已成为最大的挑战之一。表2 Prmbench的主要结果摘要。详细的分析：“标签的正确偏好”很重要，揭示了影响PRM的潜在偏见和因素。许多PRM在评估中显示出对“正确”标签的明确偏好，这使得很难识别标签测试样本。表3 PMBANCH模型的比较和相似性得分是正确的标签测试样品（正数据）和不正确的标签测试样本（负数据）。错误位置效果：详细的分析发现，PMS性能逐渐改善了推理链中的推理步骤移动。这种现象揭示了PRM在推理初期解决错误的潜在挑战。图4 P中的推理步骤的效果推理链中的多个位置的RMSCORE模型。小样本ICL数字的影响有限。实验结果表明，在奖励模型评估过程中使用不同数量的上下文学习示例（ICL）对封闭代码模型的性能几乎没有影响。这对于改善PRM的创新结构或培训范式而不是取决于快速工程可能是必要的。我记得那个。表4几个小数字对作为关键模型引起的通用语言模型的性能的影响。 PRM容易受到“误报”的影响，并暴露了“奖励黑客”的问题。我们将发布“计算机海盗”问题。在流程级别（PRM）的奖励模型在表面上似乎是理性的，但实际上它们是不正确的，但是它们也很难识别正确的结果，而且也很难确定“误报”现象，这些现象通过通过“误报”现象。 PRMBENCH资格和未来观点中的黑客PRM可以在PRM中确定更有效的潜在缺陷和“盲点”，从而促进了PRMS相关算法和开发模型的基本改进：PRM的重要指南和PRM和PRM的优化PRM和PRM的优化。研究人员开发了更强大和广义的模型。研究小组说：“我们坚信，PRMBENCH的推出将是促进在流程水平和发展研究中评估奖励模型的稳定基础。”立即探索Prnbench，并在一起面对挑战！