数据充足为何训练失败？中山大学团队提出MangoBench，揭示多智能体离线强化学习核心瓶颈

导语：数据充足却训练失败，多智能体离线强化学习到底卡在哪？中山大学郭裕兰团队通过MangoBench基准给出了答案。

近年来，多智能体系统在仓储物流、自动驾驶和工业自动化等领域日益普及。然而，现实场景不允许这些系统反复试错——仓库机器人一次碰撞、机械臂一次装配失误，损失都极为高昂。因此，离线强化学习（Offline RL）成为关键路径：利用历史数据训练策略，而无需实时交互。但当任务从单智能体扩展到多智能体，协作难度急剧上升，传统方法往往在数据充足的情况下仍无法学会稳定配合。这背后隐藏着两大障碍：稀疏奖励带来的学习信号缺失，以及责任分配（信用分配）导致的梯度更新混乱。中山大学郭裕兰团队在CVPR 2026上提出的MangoBench基准，正是为了系统诊断这些问题而生。

从奖励驱动到目标驱动：重新定义学习信号

研究团队首先对离线数据进行了关键改造。原始轨迹仅包含状态和动作，他们从中随机抽取状态作为目标，并基于当前行为是否逼近目标自动生成密集的奖励信号。这使得同一批数据可以围绕不同目标反复使用，将原本稀疏模糊的反馈转化为明确的学习指引。模型不再被动等待罕见奖励，而是始终围绕“到达目标状态”这一核心进行优化，从而显著提升了学习效率。

实验设计：梯度难度与严格验证

为客观评估多智能体离线强化学习算法，MangoBench设置了导航与机械臂两大任务族，难度层层递进。导航任务从简单迷宫逐步升级到随机传送的高难度设定；机械臂任务则涵盖需要同步协作的“抬栏杆”和强调顺序的异步“放置食物”。所有实验均使用100万步训练，5个随机目标与5个随机种子交叉验证，操作任务更以100个随机种子确保结果统计稳定性。

导航任务：表现差距悬殊

中等难度下的断层

在中等难度导航中，郭裕兰团队提出的分层方法IHIQL取得80%-95%的成功率，相比之下，ICRL仅40%-60%，GCMBC仅20%-40%，而GCOMIGA和GCOMAR几乎为0%。这说明传统离线多智能体方法在稀疏奖励下极易失效，而分层结构能有效分解任务，抓住核心路径。

高难度：仅有少数方法存活

当难度提升后，所有方法性能均下降，但IHIQL仍保留30%-40%的成功率，其他方法则跌至10%-20%甚至更低，如同考试变难后大批交白卷。IHIQL没有因任务复杂化而骤然崩溃，显示出更强的鲁棒性。

分工方式无关紧要？

研究人员还测试了不同分工设置（每个智能体负责4部分vs.2部分），IHIQL在中等难度下均稳定在约90%，表明其学习到的是任务本质而非特定分工模式。

机械臂任务：效率与配合的双重考验

同步协作：IHIQL的高效与快速

在需要同时发力的抬栏杆任务中，IHIQL成功率超过80%，GCMBC约60%，ICRL约50%，模仿学习方法约40%。更惊人的是，IHIQL的训练时间仅为模仿学习方法的5%，实现了效率与效果的双赢。

异步协作：ICRL的优势

到了强调先后顺序的放置食物任务，ICRL以30%-40%的成功率胜出，显著高于IHIQL和GCMBC。这说明对比学习方法更善于捕捉步骤间的时序依赖，且其训练时间比模仿学习减少了93%，学得更快更好。这表明不同任务特性需要匹配不同的算法优势。

评估方式影响结论：多目标测试揭示隐藏能力

若只用单目标评估，IHIQL、GCMBC、ICRL的成功率分别为78%、22%、37%；换成多目标综合评估后，三者分别提升至82%、47%、56%。这证明许多方法并未如单目标下看起来那般差劲，它们实际具备应对不同目标的泛化能力，单目标测试只是窄化了其表现。

集中式训练为何反而失败？

直观上，集中训练（CTDE）因能获取全局信息应更优，但实验显示，在复杂任务中分布式方法IHIQL保持85%成功率时，CTDE（HIQL-CTDE）已降至44%，超大规模任务上甚至仅剩1%。原因有三：其一，全局状态组合爆炸导致优化困难；其二，训练阶段可利用全局信息，执行时却只能依赖局部观测，造成分布不一致；其三，全局目标与各智能体局部目标易产生冲突，加剧训练不稳。分布式方法将问题拆解，各agent专注自身子任务，反而更稳健。

核心结论：三大瓶颈与突破

奖励稀疏是万恶之源：绝大多数离线多智能体方法失效的根源在于大部分时间无反馈。一旦人为增加奖励密度，性能迅速恢复，证明模型本身有能力，只是缺乏信号。
分层策略是有效的解药：通过设置中间子目标，分层方法既缓解了稀疏奖励，又将长序列任务切分为短步骤，降低学习难度。IHIQL为代表的这类方法在多数场景下表现最稳。
协同能力才是终极瓶颈：简单任务中多智能体分工能提升效率，但任务需要精妙配合时，协作问题立即暴露。未来提升的关键不在于更强的个体学习器，而在于更好的集体协调机制。

目标条件化的深层价值

MangoBench的核心启示在于，将“奖励驱动”转为“目标驱动”改变了问题的本质。传统方法依赖稀缺的外部奖励，而目标条件化使每个状态都可与目标关联，生成密集的学习信号。这使模型学习的不再是单一动作序列，而是从任意状态到达任意目标的通用策略，泛化能力自然提升。这种方法为离线多智能体研究开辟了更清晰的道路。

研究团队

本工作由中山大学郭裕兰教授领衔，团队成员包括汪怡（博士生）、钟柠泽（现于宾夕法尼亚大学GRASP Lab）、符智恒（西澳大学博士）、王龙光（博士后）、张晔（副研究员）等。团队聚焦空间智能与三维视觉，在强化学习、机器人领域积累深厚，成果发表于CVPR、ICLR、NeurIPS等顶级会议。

未来展望：从实验台走向现实

MangoBench不仅贡献了一个基准，更厘清了离线多智能体强化学习长期难以落地的症结。在自动驾驶车队调度、无人仓储多机器人协作、手术机器人配合等高风险场景中，系统无法承受试错代价，离线学习是必经之路。该研究指明，未来算法应重点关注奖励塑形、分层架构与信用分配机制，让多智能体在静默的数据中学会默契合作，这将直接推动更安全、更高效的智能系统进入日常生活。