猫眼影戏
 |
|
猫眼影戏
崔宁宁
手机审查
猫眼影戏记者 孟环 报道Q8X2R7L1T4J5M9B6W3
机械之心报道
编辑：Panda
若是说大模子的预训练（Pre-training）是一场拼算力、拼数据的「军备竞赛」 ，那么测试时扩展（Test-time scaling, TTS）更像是一场在推理阶段举行的「即时战略游戏」 。
现在的共识是：让模子在回覆问题前「多想一会儿」 ，往往能获得更好的效果 。这听起来像是一个完善的免费午餐：只要能在推理时动态分派更多盘算资源 ，就能让模子的智商原地腾飞 。
但问题来了：我们该怎么让 LLM「多想」？
好比让一群学生做题：是让一个学生重复修改谜底（序列战略）？照旧让一百个学生同时做题然后投票（并行战略）？亦或是让他们开个会讨论一下（混淆战略）？
更主要的是 ，有些「学生」（模子）虽然智慧 ，但想得越多反而越容易钻牛角尖 ；而另一些则必需深图远虑才华解出难题 。
事实哪个 TTS 战略才是谁人「天选之子」？
为了竣事这场瞽者摸象般的争论 ，微软终于脱手了 。
他们举行了一项针对 TTS 的系统性研究：涵盖了从 7B 到 235B 参数目的 8 个开源 LLM ，在 4 个推理数据集上猖獗天生了凌驾 300 亿 个 token 。
论文问题：The Art of Scaling Test-Time Compute for Large Language Models论文地点：https://arxiv.org/abs/2512.02008
这项研究不但突破了「一种战略通吃」的理想 ，还发明了一个倾覆认知的征象：模子之间保存着显着的性格差别 ，分解为「短视界」和「长视界」两大阵营 。
基于这些洞见 ，微软团队更是直接甩出了一套综合了问题难度、模子类型和盘算预算的「适用配方」 。下面 ，让我们一起走进这项展现了 LLM 推理实质的重磅研究 。
测试时扩展要领简介
LLM 的测试时扩展战略多种多样 ，通常分为并行、序列、混淆 / 元要领（meta）以及内部盘算机制（图 2） 。虽然每类要领在特定设置下都显示出潜力 ，但没有简单战略是普遍最佳的
并行扩展战略
通过聚合多个自力采样的推理路径的谜底来提升性能 。Self-consistency 对多样的推理路径举行采样并选择泛起频率最高的最终谜底 ，显著提升了算术和符号使命的性能 。Best-of-n 采样作为一种简朴的并行要领被普遍使用 ，不过最近也有人提出了更具原则性的投票战略 ，如加权大都投票和多智能体验证（MAV） 。Short-m@k 使用了早 ；疲核⑿性诵 k 条推理链 ，并凭证完成路径的比例提前终止 。
序列扩展战略
通过迭代式的修正、重启或回溯来扩展推理深度 。头脑链（CoT）提醒是一个基础理念 ，随后的事情如 STaR 和 Reflexion 探索了通过试错或语言自我反思举行修正 。头脑树（ToT）和头脑图（GoT）通过结构化的广度优先或 DAG 气概搜索进一步扩展了这一点 。AlphaGeometry 将符号证实搜索与 LLM 连系 ，以实现办法级的序列控制 。S1 微调模子以教授自我修正战略 ，使用了更高的测试时盘算量 。
混淆扩展战略
该战略融合了以上两个维度 。Meta-Reasoner 使用上下文多臂老虎机凭证感知的使命难度动态选择 TTS 战略 。AgentTTS 和 START 安排智能体（具有工具挪用能力的 LLM）在直接天生或更重大的推理之间举行切换 。PEARL 交替举行底稿天生与修正 ，模拟自我刷新循环 。这些元调理器（meta-schedulers）熟悉到仅靠深度或并行扩展是不敷的 ，旨在凭证模子行为和提醒动态调解战略 。相比之下 ，内部扩展战略修改模子在推理历程中的内部盘算量 ，而不显式调解外部样本数或推理办法数 。HALT-CoT 和 SoftCoT++ 的要领是预计谜底的不确定性 ，若是置信度高则提前终止 。
没有哪种战略是普遍最佳的 。多项实证研究增强了这一看法 ，即没有 TTS 战略能一连占有主导职位 。
微软这项研究剖析的算法包括最先完成搜索（First Finish Search, FFS ，算法 1）、最后完成搜索（Last Finish Search, LFS ，算法 2）和束搜索（Beam Search） ，前两者由变量 k 和 N 参数化 ，此后者仅由 N 参数化 。
FFS-k@N 意味着采样 N 个输出并在最短的 k 个样本中执行大都投票（MV）以确定效果 ；而 LFS-k@N 仅仅涉及选择最长的 k 个样本而非最短的 ，随后对这些样本举行大都投票 。
束搜索涉及维护一组高概率的部分假设（partial hypotheses） ，并在解码历程中一直更新这些前缀 。
研究效果
束搜索显示出逆扩展或无扩展
研究的第一个爆点来自于对经典算法束搜索（Beam Search）的宣判 。
在实验中 ，研究职员视察到了一个极其反直觉的征象：在「短视界」和「非推理」这两个模子家族中 ，束搜索体现出了一致的逆扩展（inverse-scaling） 模式：随着束巨细 N 的增添 ，性能枯燥下降（图 1） 。
看图便知 ，关于像 R1 和 QwQ-32B 这样的模子 ，一旦束大 。˙eam Size, N）凌驾 2 ，准确率不但没有提升 ，反而像坐过山车一样急剧下降 。
即即是 GPT-OSS-120B 和 Qwen3-32B 这样的「长视界」模子 ，增添 N 也未能带来收益 ，准确率曲线要么躺平 ，要么缓慢下滑 。
这意味着什么？意味着在束搜索上投入更多的盘算量（增添 N 会消耗更多 token） ，不但是铺张 ，甚至是有害的 。简直是花钱买罪受 。
推理路径长度与质量的相关性
这项研究最焦点的孝顺 ，在于展现了推理路径长度与质量之间重大的相关性 。这关于深入明确像 FFS 和 LFS 这样基于长度的过滤战略至关主要 。
FFS 和 LFS 基于两个截然相反的看法：越短越好和越长越好 。
为了视察哪种假设（或哪些假设）适用于特定模子 ，该团队报告了给定推理路径长度区间和问题难度下的准确率（表 1） 。
请注重 ，问题难度是通过所有模子和路径的平均准确率来权衡的 ，而报告的准确率是通过特定模子的所有输出来权衡的 。一个要害的考量是 ，问题难度与推理路径长度保存混淆（confounded ，图 3）：短路径通常源于较容易的问题 ，而长路径往往对应较难的问题 。
为缓解这种混淆效应 ，他们将剖析限制在同时具有短路径和长路径的使命上 。关于每个此类数据集 ，他们划分盘算短路径和长路径的简单准确率值 ，然后在数据集之间平均这些值 ，从而避免数据集巨细的差别不可比例地影响聚合效果 。
效果 ，他们将六个推理模子清晰地划分为两大阵营：
1. 短视界模子
代表成员：R1, QwQ-32B, DAPO-32B行为特征：关于给定的问题难度 ，更短的推理路径比更长的路径更可能是准确的 。
这意味着这些模子在推理时往往「直击要害」 ，若是它们最先长篇大论 ，很可能是在「胡言乱语」或者陷入了无效循环 。
有趣的是 ，DAPO-32B 只管使用了 GRPO 等手艺 ，依然体现出与 R1 相似的长度偏置 ，说明现在的后训练手艺在缓解长度偏置方面可能还很有限 。
2. 长视界模子
代表成员：Qwen3-32B, GPT-OSS-120B行为特征：它们的体现更为重大且「圆滑」 。
在简朴问题上 ，它们倾向于较短的路径 。但在难题问题上 ，它们则偏好较长的路径 。
这类模子展现出了更强的顺应性：遇到难题时 ，它们确着实使用特另外盘算办法举行有用推理 ，而非无效空转 。
深度剖析：预算与战略的博弈
既然模子性格迥异 ，那么在给定的盘算预算（Token 消耗量）下 ，我们该怎样选择最佳的 k 和 N？
研究团队通太过析 FFS-k@N 和 LFS-k@N 的性能曲线 ，发明了几个要害趋势：
LFS 的奥义在于「全员投票」
关于 LFS 系列要领 ，给定总盘算量下的最大性能总是当 k 很大时（即 k=N）实现 。注重 ，当 k=N 时 ，LFS 现实上就退化成了 大都投票（MV-N） 。
结论很是简朴粗暴：在消耗相同 token 的情形下 ，直接做大都投票（MV@N）总是优于刻意筛选最长路径的 LFS-k@N 。
FFS 的玄妙权衡
关于短视界模子： 较大的 N 值总是最好的 。这意味着你应该采样许多样本 ，然后从中选出最短的那一批举行投票 。
关于长视界模子：保存权衡 。若是你想用高盘算量换取高性能 ，你必需选择较小的 N（实质上是执行简朴解码） ；而在非推理模子上则相反 。
这一剖析告诉我们 ，最佳 TTS 战略是随着预算的增添而动态扩展的
最终配方：如作甚你的模子选择 TTS 战略？
基于上述海量实验数据 ，微软团队总结出了一套极具操作性的「决议矩阵」 。这不但是理论剖析 ，更是给算法工程师们的实战手册 。
让我们来拆解这个配方的内在逻辑：
场景一：若是你使用的是「短视界模子」（如 R1, QwQ）
这类模子有个特点：无论问题难易 ，它们总是以为「长话短说」的谜底更靠谱 。
低盘算预算时：使用 FFS ，且设定 k=1 。即：采样 N 个谜底 ，直接挑最短的谁人作为最终谜底 。简朴、快速、有用 。
高盘算预算时： 使用 FFS ，且设定 k=N（等同于 MV@N） 。即：采样 N 个谜底 ，由于 N 个最短路径就是所有路径 ，以是这现实上就是标准的大都投票 。
焦点逻辑：关于短视界模子 ，性能随 N 的增大而提升 。因此 ，只要预算允许 ，把 N 拉满 ，做大都投票即可 。
场景二：若是你使用的是「长视界模子」（如 Qwen3）
这类模子较量「纠结」 ，战略选择稍微重大一些 。
面临高难度问题（High Difficulty）：模子倾向于长路径 。由于 LFS@N 随 N 增添而提升：
高盘算预算： 使用大 N 的 MV@N 。低盘算预算： 使用小 N（理想情形下 N=1）的简朴解码（SD） 。
这里有一个有趣的结论：在坚持 k=N 的情形下（即 MV） ，性能随 k 增大而提升 。
面临低难度问题（Low Difficulty）：此时模子偏好短路径（杀鸡焉用牛刀） 。
高盘算预算： 使用大 k 的 FFS 。低盘算预算： 使用小 k 的 FFS 。
在这种设置下 ，设定 N=k（即 MV@N）依然是稳健的选择 。
总结来看 ，只管模子类型和使命难度千差万别 ，但最终的「配方」却体现出了惊人的殊途同归：关于绝大大都情形 ，大都投票（MV@N） 或者是其变体（如 FFS 中的 k=N）往往是性价比最高的选择 。特殊是关于「短视界」模子 ，不要试图通过让它「多想」来强行提升效果 ，更多时间 ，从大宗的快速回覆中通过投票筛选出共识 ，才是准确的翻开方法 。
微软的这项研究 ，现实上是在为 LLM 的推理能力「祛魅」 。它告诉我们 ，测试时扩展并不是简朴地堆砌算力 ，更不是盲目地追求更长的头脑链 。
明确模子的「视界」属性是设计高效推理系统的第一步 。而在算力腾贵的今天 ，这份基于 300 亿 token 实测得出的决议配方 ，无疑为我们节约了大宗的试错本钱 。
下一次 ，当你准备让你的模子「再想一下」时 ，无妨先查查这份配方 ，看看你是否正在为一个「短视界」的模子 ，强加它并不善于的长考重担
??时势1：草莓Aaa美播
??12月12日,香港海关侦破远洋船走私案 检获约1.5亿港元货物,
恒久事情在下层一线的先生 ，最缺乏的就是营业上的指导和相互探讨、相互提高的学习钻研情形气氛 。名师事情室的启动正好填补了这个缺陷 。我相信：有张特的悉心指导 ，著名师事情室博客这个平台 ，我们名师事情室的全体成员 ，在不久的未来 ，无论是在营业上照旧在自身的素养上定会有一个质的奔腾！
,soulai钻石兑换码最新版下 。??12月12日,新能源汽车渗透率过半，与燃油车的竞争将走向何方？,
为了让学生们更深入地相识消防清静知识 ，使每一位同砚都树立起消防意识 ，掌握好消防知识 ，并具备自救能力 ，年3月25日下昼 ，我校特邀xx市消防支队xx区大队中队的彭警官 ，为我校学生做了一场生动的消防清静知识的专题讲座 。
,同性に揉んで乳搾りHD,激情片在线视频,国产小电视外观像mp4 。??时势2：毛片黄色电影
??12月12日,拂影·2024第十一季SIUF国际超模大赛总决赛在深圳揭晓,
4.爆发火灾时要迅速逃生 ，不可贪恋财物 。
,外国免费黄色网站,欧美又长又粗性视频,国产拍一区 。??12月12日,辽宁省优化政府采购营商环境 保护经营主体合法权益,
小不点痴了 ，无比的着迷 ，抱着晶莹的骨块 ，时时刻刻都在意会 ，都在思索 ，宛若入魔了一样平常 。甚至由于太专心 ，一起走入湖中 ，直到水淹到口鼻处才惊醒 ，这让族人啼笑皆非 。
,黄片无码中文,人人爽夜夜高潮夜夜高潮,5566国产一区二区 。??时势3：五月丁香六月婷婷亚洲
??12月12日,东莞全市法院去年办结各类案件23.25万件警惕！“刷脸”后名下多了4家公司，不能考公、影响就业、背上官司……怎么办？,
下周一就是中秋节 ，为同砚们提供了一个很好的休息松开的时机 ，许多同砚准备使用假期去外地旅游或在家中度过一段轻松的时光 ，然而假期也是种种清静事故的高发时期 。为了让同砚们度过一个愉快、平安、康健、充分的中秋假期生涯 ，在此提醒同砚们 ，无论出游照旧留在家里 ，请一定注重清静 ，时刻做好提防事情 。学校特殊提醒各人注重以下几点：
,欧美九九,国模吧视频,selaoban 。??12月12日,冰天雪地也是金山银山｜乘势而上打造冰雪经济高地,
实现同心县经济社会跨越式生长 ，重点在农村 ，难点也在农村 。我县地处宁夏中部干旱带焦点区 ，严酷的自然条件制约了我县快速生长 ，怎样变被动为自动 ，化倒运为优势是摆在全县人民眼前的头等大事 。去年以来 ，县委在认真剖析县情的基础上 ，对我县举行重新定位 ，提出要把同心县建设成为具有浓郁回族风情的生态商贸旅游县 ，围绕这一目的 ，确定了实验 “ 六大工程 ” 的事情思绪 ，明确了同心经济社会跨越式生长的详细要求 。农村经济作为县域经济的主要组成部分 ，也必需要调解思绪 ，转变看法 ，战胜难题 ，施展优势 ，这样才华与县委的生长战略坚持一致 。这就要求村干部必需具有以下几个方面的能力 ，才华顺应农村新形势的要求 。下面 ，我就围绕 “ 怎样当好村干部 ”这个主题 ，给各人提几点希望和要求 。
,jiujiuren,欧洲久久精品,视频日本在线 。??时势4：九色国产视频
??12月12日,（粤港澳大湾区）广东上线裁审对接平台 具“联通港澳”等特点,
统一时间 ，在其他三个偏向也泛起了三位至强者 ，登临石崖 ，俯视石村 。
,长精久久精品,一道本道,三级片欧美吃奶 。??12月12日,线上讨论度高，线下客流量大——“网红城市”持续上新,
村外 ，全身鳞片熠熠生辉的青鳞鹰 ，站在那块巨石上 ，双眼发直 ，光束如匹练般射出 ，它似乎也不敢相信 。
,a阿片在线免费观看,北伦流鼻血视频影视,国产色色网 。责编：王牧
审核：张华绘
责编：王治昌
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
