DB真人网站新闻中心DB News
DB真人热门资讯榜澳门十大电子正规游戏网站排行榜_社会新闻_大众网
通讯作者包括腾讯 AI Lab研究员宋林峰与涂兆鹏,以及厦门大学苏劲松教授。论文第一作者为厦门大学博士生王安特。
本文探讨基于树搜索的大语言模型推理过程中存在的「过思考」与「欠思考」问题,并提出高效树搜索框架——Fetch。本研究由腾讯 AI Lab 与厦门大学DB真人、苏州大学研究团队合作完成。
近月来,OpenAI-o1 展现的卓越推理性能激发了通过推理时计算扩展(Test-Time Computation)增强大语言模型(LLMs)推理能力的研究热潮。
该研究领域内,基于验证器引导的树搜索算法已成为相对成熟的技术路径。这类算法通过系统探索庞大的解空间,在复杂问题的最优解搜索方面展现出显著优势,其有效性已获得多项研究实证支持。
尽管诸如集束搜索(Beam Search)、最佳优先搜索(Best-First Search)、A*算法及蒙特卡洛树搜索(MCTS)等传统树搜索算法已得到广泛探索,但其固有缺陷仍待解决:树搜索算法需承担高昂的计算开销,且难以根据问题复杂度动态调整计算资源分配。
针对上述挑战,研究团队通过系统性解构树搜索的行为范式,首次揭示了该推理过程中存在的「过思考」与「欠思考」双重困境。
研究团队选取最佳优先搜索算法为研究对象,基于 GSM8K 数据集开展系统性研究。实验设置中逐步增加子节点拓展数(N=2,3,5,10)时发现:模型性能虽持续提升但呈现边际效益递减规律(图 a),而计算开销却呈指数级增长(图 b),二者形成的显著差异揭示出传统树搜索在推理时计算扩展的效率瓶颈。
节点冗余:由于大语言模型采样机制的随机性,搜索树中生成大量语义重复节点(图 c)。量化分析采用基于语义相似度的节点聚类方法,定义重复度为平均类内节点数,该指标与计算开销呈现显著正相关,DB真人此现象直接导致算法重复遍历相似推理路径,形成「过思考」困境;验证器不稳定性:引导搜索的验证器存在一定的鲁棒性缺陷,节点评分易受推理路径表述差异影响而产生非必要波动(图 d),在复杂数学推理场景中尤为明显。这种不稳定性可能引发搜索路径的局部震荡,迫使搜索算法过早终止高潜力路径的深度探索,从而产生「欠思考」现象。
为应对「过思考」与「欠思考」问题,研究团队提出适用于主流搜索算法的高效树搜索框架 Fetch,其核心包含两部分:
冗余节点合并(State Merging):通过合并语义重复的节点,有效避免冗余节点的重复探索。验证方差抑制(Variance Reduction):采用训练阶段与推理阶段的双重优化策略,降低验证器评分的非必要波动。
实验结果表明,Fetch 框架在跨数据集与跨算法测试中均展现出显著优势。例如,对于 BFS 及 MCTS 算法,相较于基线,Fetch 计算开销降低至原有的 1/3,并且保持 1~3 个点的准确率提升。DB真人
当测试时计算规模逐步提升时,Fetch 带来的增益也更加显著,验证了框架的效率优势。
本研究由腾讯 AI Lab 联合厦门大学、苏州大学科研团队共同完成,首次揭示基于树搜索的大语言模型推理中存在的「过思考-欠思考」双重困境。
分析表明,该现象的核心成因源于两个关键缺陷:搜索树中大量语义冗余节点导致的无效计算循环,以及验证器评分方差过高引发的探索路径失焦。二者共同导致树搜索陷入计算资源错配困境——即消耗指数级算力却仅获得次线性性能提升。
针对上述挑战,研究团队提出高效树搜索框架 Fetch,其创新性体现在双重优化机制:
冗余节点合并机制,实现搜索空间的智能压缩;验证方差抑制机制,保障搜索方向稳定性。
结果表明,Fetch 在 GSM8K、MATH 等基准测试中展现出显著优势:相较传统树搜索算法,框架实现了计算效率和性能的同步提升DB真人。该成果为提升大语言模型推理效能提供了新的方法论支持。
尽管学校和我们的班主任老师通过各种形式对我们的同学进行了多方面的安全教育,采取了各种各样的防范措施,可仍有部分同学无视学校有关的安全纪律规定,DB真人做出了一些有可能伤及自身和伤及他人的违纪行为。
乱箭如暴雨,越来越密集。小不点大喝,在途中将一块千斤巨石踢起,轰然一声腾空,砸向脸色很冷的少年狈风。
但凡敢去挑战这类生物的人族强者,都注定要史上留名,而且将来肯定要进入百族战场,进行争霸,为人族争取利益。
小不点原本聪慧可爱,至尊骨与生俱来,原本可以傲视天上地下,结果却被人夺走宝骨。他的身体严重退化,连最亲近的人都认不出来,话语都不会说了,奄奄一息,甚至命都保不住了。
大红鸟也是瞠目结舌,在一旁看傻眼了,这也太吓人了,不符合常理,是一个异数。
03月13日,“十四冬”单板滑雪平行大回转比赛首金诞生,同上一堂国家安全教育课个人 篇28,博鱼足球,腾博会体育,AOA手机APP。
当云雾散去,战场上的情况明朗后,群寇从远处的巨石后站起身来,向这边观看,不禁通体冰凉,所有人都发呆。
新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证