新智慧报告主编：LRST 【新智慧简介】近年来，大规模语言模型（LLM）的推理能力迅速提升，但传统方法严重依赖昂贵的人工标注思路链。中国科学院计算技术研究所的一个团队提出了一种名为 PARO 的新框架，通过让模型学习固定的推理模式来自动生成思维链。要充分发挥手动标注的性能，只需标注大型模型中 1/10 的数据即可。该技术特别适用于金融、审计等规则明确的领域，为高效推理和监管提供了新思路。过去一年，大规模语言模型（LLM）的推理能力爆发式增长，其核心范式SFT+RLVR已成为cobad SFT（Supervised Fine-Tuning）通过高质量的思想链（证据）监控模型调优。于日另一方面，RLVR（带有可验证奖励的强化学习）进一步利用可验证的奖励信号，通过强化学习来扩展模型的推理能力，而无需思想链监督。然而，在 SFT 阶段标记高质量思想链的过程成本高昂、耗时且难以扩展。中科院信息技术研究所团队通过系统实验发现，“模型推理”任务并不需要大量的人工思维链。你只需要让模型学习任务的推理模式即可。文章链接：https://arxiv.org/pdf/2510.12643 他们提出了一个简单高效的 PARO 框架（Pattern-Aware LLM as Rationale AnnOtators），仅使用十分之一的 LLM 进行自动数据标记。这一性能大致相当于完全手动标注，并为核心问题提供了新的视角和解决方案：链-思维追踪成本高昂且难以扩展。什么是模型推理？固定模式下的“程序推理” 并非所有推理任务都需要模型来“即时思考”。语义复杂，但或多或少固定的推理路径我有一个任务类型。这是一个模式推理任务。直观上看，不同的样本内容不同，但“解题思路”却是一模一样的。常见的示例包括基于标准的任务，例如文本分类任务，例如主题分类（确定内容的主题类别）。无论文本内容是什么，其过程都是“提取关键线索→与预定义的类别标准进行比较→生成结果”。在验证任务中，模型始终遵循固定的流程：识别事实→理解事实→解构事实→验证可靠来源→确定可靠性。对于诸如关系提取之类的提取任务，无论正在处理的文本类型如何，模型都会执行 f流程如下：实体识别→实体消歧→关系识别（预定义关系类别的比较）→根据模板填充。统一框架“外”。形式上，此类任务的执行过程可以总结如下。这是一种稳定的推理模式，代表任务必须遵循的固定步骤或逻辑框架。这是特定于样本的内容（特定于实例的内容），即每个实例都不同的文本、值或事实。这代表将模式应用于内容以产生最终结果的过程。自适应推理任务：对于这些任务，模型不能基于统一的模式，因为不同的样本可能需要完全不同的解决问题策略。示例：数学问题：不同类型的问题需要完全不同的推理路径。编程问题：每个任务可能需要不同的数据结构或算法。规划与决策问题：不同的初始状态、目标和完全不同的战略路径。形式上，此类任务可以表示为根据样本而变化的推理模式，模型必须根据输入灵活选择最优思维路径。为什么建模推理值得关注？研究人员发现，金融、审计、法律、风险管理等行业的许多任务，例如自定义分类任务、提取任务和审核任务，本质上都是建模推理。他指出，同一套“执行步骤/决策过程”应用于不同的实例，实例之间的主要区别在于输入内容而不是推理策略。例如，本文主要研究金融领域的两类建模推理任务： 数字语义匹配（NSM）：确定两个数字是否指代相同的数字事实。推理过程：搜索值→理解含义根据上下文对值进行语义分解和对齐→一一判断是否等价。交易目的分类 (TPC)：确定银行交易流的目的。推理过程：识别账户和交易地址→提取关键词→与预定义的分类系统进行比较→输出类别。虽然每笔交易不同，但规则和决策逻辑是一致的。这些任务有一个共同点。它不需要“灵感推理”，只需遵循既定程序即可。因此，对于此类任务，本文做出了重要的假设。模型真正需要学习的不是人类每个思维链的具体内容，而是其背后统一的“推理模型”。控制实验推理监督的关键是什么？在本文中，我们使用 NSM 任务作为代表性的模式推理任务。为了避免可能干扰的数据污染在得出结论之前，研究小组自己收集了 10 万个样本，并标记了正确答案。同时邀请专家标注护理10000条人工思维链。比较不同训练策略在 NSM 任务上的表现。通过两次对照实验，研究人员发现，在SFT+RLVR范式下，模型在SFT阶段主要学习任务的推理模式，人工思维链的数量和质量对最终表现并没有显着影响。 1.数量敏感性实验：随机将SFT中的人工思维链数量从10k减少（维持）到1k（推理模式不变），SFT阶段的性能会明显下降。然而，经过RLVR优化后，两者之间的差距几乎消失了（图2a）。图2 受控实验结果：SFT阶段和RLVR阶段的性能演化结果表明，只要SFT可以有效地教授模态推理，RLVR可以以其强大的自扫描能力弥补这一差距。 2.质量扰动实验：用GPT-4.1生成的错误思维链替换25%的人工思维链（但不改变整体推理模式）。 SFT+RLVR的最终性能仍然接近原始版本，在一些配置上略有改进。作者推测，这是模型产生的“多样性”带来的积极影响。更多证据：“推理模型比每个标记的思想链都需要完美更重要。”这些实验还揭示了SFT和RLVR之间的分工机制。 SFT 使用带注释的思想链来教授模型“如何逻辑地解决问题”。 RLVR 使用标准化的可验证奖励信号将学习到的推理模型推广到更多任务实例。模型真的学会了“推理模式”吗？验证模型是否真正“内化了推理模式”，作者设计了一个富有洞察力的分析工具来表征模型在不同训练策略下的推理行为。中心思想是找到“当单词改变时答案也会改变”的重要图块。这些高影响力的标记是模型的推理锚。具体来说，研究人员提出并实现了一种“基于采样的密钥令牌检测”技术。基本原则是： 识别模型产生的响应中高熵标记的位置（即模型最犹豫的位置）。用几个高概率候选标记替换该位置处选定的标记，并继续多次采样。如果替换显着改变了答案 fInal，则其位置被确定为“分支标记”，代表推理决策的重要节点。研究团队使用这种方法来评估通过不同方法获得的模型概况训练策略（SFT+RLVR/pure-RLVR/UFT）。他们从叉子中提取了代币。结果表明，使用SFT+RLVR训练的模型的分支标记与任务更相关。这意味着模型中的关键决策点集中在与任务语义相关的单词上。具体来说（见图3），SFT+RLVR模型中的分叉标记大多是“任务关键字”（例如“不同”、“main_business”），而纯RLVR或UFT模型中的分叉标记是与任务无关的连词或常用词（例如“但是”、“为什么”）。这表明后两种策略仍然没有完全内化模型的推理模式。我们看到SFT+RLVR不仅优化了结果，还让模型真正掌握了任务的推理模式。图 3 SFT+RLVR/纯 RLVR/UFT 模型的分叉代币频率分布 PARO 使用先验模式允许大型模型“自我标记思想链”。根据上述发现s，研究人员提出了 PARO（Pattern-Aware LLMs as Rationale AnnOtators）。这使得法学硕士能够在“模式提示”下生成思路链，从而取代手动标记。这个过程非常简单实用。 1. 推动设计并编写清晰的任务描述。它阐明了由人类专家创建的推理模型，并详细列出了分步格式。以下是格式规范和一些示例。 2.生成器选择使用可靠的推理模型来生成思想链（本文使用lizathoughts Qwen3-235B）。 3. 训练过程使用生成思维链来构建SFT数据。接下来，我们遵循标准的SFT+RLVR优化流程。研究人员在 NSM 和 TPC 两个任务中实现了这一过程，并报告了如图 4 所示的结果。 图 4 PARO 在 NSM 和 TPC 任务中的实验结果。在 NSM 数据集上，SFT（1k，Stop 精度）+ RLVR 与 F1（92.2/83.6）和 SFT（10k，人类）+ RLVR（92）非常匹配.3/83.2)。只有使用大规模模型标注的1000条思维链，才能达到与手动标注10000条思维链相同的性能。这是本文最直观、最有说服力的结论。此外，PARO 的性能优于 SFT(1k, Distill)+RLVR，这是一种直接从大型模型中提取内部推理轨迹的技术。 Paro如何从实验到实施？首先，我们根据推理任务是否具有“模式”对推理任务进行分类（请参阅文章中对模式的正式解释）。仅针对模式推理任务尝试 PARO。一种小规模尝试，使用少量示例思维链手动编写任务的详细推理步骤，并使用强大的推理模型生成少量 PARO 思维链。比较相同数量的纯人工思想链，并注意最终的指标和标签成本。如果 PARO 的有效性接近或优于 manual注释，是可行的。质量监控使用分叉令牌检测或手动随机检查来评估 PARO 思想链训练的模型是否确实“符合推理模型”。如果关键决策点不太适合您的任务，请添加更详细的推理模型，或提供更多数据。用模式取代人力资源，教授模型“结构化思考”。本文发出了一个重要信号，即在可建模推理任务中，推理模式比标记思维链的数量和质量更重要。 PARO 为经济有效且可实施的推理监控提供了一种新范式：推理模式提示 → LLM 生成思想链 → SFT → RLVR。在金融、审计、法律等规则严格的工业环境中，这种想法具有很大的实用价值。更重要的是，这表明了一种趋势。监控推理大师未来可能不再是“教模型的人”，而是“教模型的模型”教授模型”。参考：https:///arxiv.org/pdf/2510.12643
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由网易号用户上传发布，网易号是一个仅提供信息存储服务的社交媒体平台。
近期评论