美团技术团队顶会论文分享:搜索推荐ASX专场
·
美团业务研发平台/搜推 ASX (Agentic System X)团队聚焦构建大模型为基础的 Agent 技术体系,在大模型后训练、Agentic 强化学习以及多模态理解等核心前沿方向持续深耕,已在 ICLR、NeurIPS、CVPR、AAAI 等 AI 领域的国际顶会发表数十篇高质量研究成果。本文精选了6篇进行解读,希望对大家有所帮助或启发。 01 Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards 上下文轨迹老虎机:面向可验证奖励的强化学习 论文下载:PDF 论文简介:现有基于规则奖励的强化学习后训练通常直接使用最近一轮 rollout 进行策略优化,其中,低质量样本会引入噪声,高质量样本又常在单次使用后被丢弃,导致训练不稳定、样本利用不足。本文提出在线样本调度算法 CBS,将样本选择建模为上下文多臂老虎机问题,把每个候选样本视为 arm,并以训练后带来的性能增益作为奖励;通过轻量神经网络预测样本价值,并结合在线反馈动态调度。实验表明,CBS 可与多种策略优化方法结合,在 6 个数学推理数据集上稳定提升性能和训练效率。 02 ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning ResRL:通过负样本投影残差强化学习提升大语言模型推理能力 论文下载:PDF 论文简介:本文提出 ResRL,一个负样本强化学习的新算法,旨在解决RLVR 提升LLM推理能力却损伤了输出多样性的问题。我们发现根因是惩罚负样本时误伤了正负样本共享的有效语义。ResRL 用 SVD 正确子空间 +投影残差,让惩罚只打在“真正的错误方向”上–数学超 NSR 9.4%、代码刷新