ICLR 2026 | 清华刘洋团队震撼发现：8B小模型问诊吊打70B大模型，医疗AI的真正救命能力原来不是背书！

导语：医疗AI考试高分却不会看病？清华刘洋团队最新研究揭示传统静态评测的缺陷，8B小模型通过强化学习学会策略性问诊，在模拟临床中吊打70B大模型。

医疗AI的发展史上，一直盛行着以“考试分数论英雄”的静态能力观。模型在MedQA等封闭式题库上得分超越人类专家，就被匆匆贴上“临床成熟”的标签。然而，当这些模型被推到真实的问诊前线——一个信息残缺、充满不确定性的对话现场，它们却频频翻车：提问刻板如体检模板、对危险信号反应迟缓、过早下定论，甚至表现出令人担忧的共情缺失。

在ICLR 2026上，清华大学刘洋团队的一篇论文《DOCTOR-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning》直指这一断层，并给出了颠覆性的答案：医疗AI的真正瓶颈不在于知识储备，而在于“会不会提问”。他们用仅8B参数的模型，通过一种全新的强化学习框架，教会了AI如何在不确定的迷雾中动态决策，最终在问诊能力上轻松碾压70B的大块头模型。

静态知识竞赛的“高分低能”：医疗模型为何考得好却不会看病

长久以来，医疗AI的评估被困在选择题和封闭式问答的牢笼里。一个模型只要在MedQA、MMLU等数据集上答对足够多的题目，就被认为具备了临床能力。但真实的临床场景完全不同：患者不会一次性给出所有关键信息，描述可能模糊、矛盾，甚至刻意隐瞒。医生必须在有限的对话中，通过连续提问、风险评估和逻辑梳理，动态逼近真相。

问题出在问诊策略上，而不是知识储备。论文通过对照实验揭示了一个残酷事实：即使是一个在医学考试中名列前茅的模型，进入多轮交互的问诊环境后，会系统性地失效。它们习惯性地使用低信息增益的标准化问题，例如机械地询问“哪里不舒服？”“持续多久了？”，缺乏根据回答灵活调整路径的能力。当患者口中突然蹦出“昨晚咳血了”这样的高危信号时，模型可能还会沿着预设模板继续追问“最近有没有着凉”，而不会立刻转向出血原因、量的评估等紧急探查。更危险的是，在信息尚未充分收集时，模型就可能过早做出“可能是上呼吸道感染，多喝热水”之类的安抚性误判，完全忽略了潜在的致命风险。

这种“高分低能”暴露出传统静态评测的失真——它只能衡量模型“知道什么”，却完全无视“如何获知”与“如何安全地获知”。这也正是刘洋团队选择直击核心，重塑训练与评估范式的出发点。

DOCTOR-R1：从模板化提问到策略性问诊的革命

DOCTOR-R1的设计理念十分明确：把临床问诊定义为一个长期、多轮、部分可观测且高度风险敏感的决策过程，而不是信息完整的问答游戏。研究团队选择了强化学习（Reinforcement Learning, RL）作为核心训练方法，而非微调（fine-tuning）。原因在于，微调只能教会模型“有了信息如何作答”，而临床问诊的关键恰恰是“还不知道答案时，下一步该问什么”。这是一个典型的序贯决策问题，模型每一次提问都会改变未来可获得的信息结构，天然适合强化学习来建模。

为了让模型学到真正鲁棒的策略，团队搭建了一个多智能体（multi-agent）交互环境。患者角色由大语言模型扮演，其表述方式、信息透露顺序和高风险信号的暴露时机都拥有极大的随机性。这意味着，AI医生无法靠记忆固定脚本来应付，必须学会在高度不确定中稳定提取关键信号。同时，问题本身被建模为部分可观测马尔可夫决策过程（POMDP），真实病情对医生模型不可见，它只能靠患者带有噪声的回答来推断潜在状态。

奖励设计是点睛之笔。传统方法往往只给最终诊断一个分数，这会导致模型学会“尽快猜一个答案结束对话”，无视中间过程的危险失误。DOCTOR-R1创新地引入双层奖励机制，既对最终诊断准确性给予奖励，又对问诊过程中的每一步行为进行显式奖惩。更重要的是，它采用分层惩罚，将安全性、推理合理性和医学准确性列为最高优先级——一旦触发底线错误（如给出高危建议），直接给予强负奖励。这种看似“激进”的设计，恰恰让模型牢牢守住临床安全的红线，其效果在消融实验中得到印证：如果只保留最终奖励，模型中间的问诊过程会退化为模板化，高风险场景下的安全性显著下滑。

为何强化学习是培养临床问诊能力的必由之路？

论文深入阐释了选择强化学习的深层动机。临床问诊的本质是“在不知道答案的情况下，主动探索信息”，这与围棋、自动驾驶等RL经典问题高度相似。但医疗场景有两大独特难点：其一，信息状态是部分可观测的，患者自己也未必清楚病情全貌，大量信息只有在被针对性地询问后才会浮现；其二，错误代价极高，一次疏忽可能不可逆。因此，单纯的监督微调更像是在背答案，无法教会模型“问什么才有意义”。

为了解决RL训练样本效率低、策略容易遗忘的问题，团队还设计了一个经验库（Experience Bank）机制。这个库并非简单存储历史对话，而是只保留高奖励的“高质量医生经验”。检索时同时考虑语义相似度和历史奖励，并用新颖性约束避免模型反复走老路。这让模型在面对新患者时，更像一位积累了丰富临床经验、能够举一反三的医生，而非一个靠死记硬背应考的学生。消融实验显示，当移除经验库时，模型在新场景的适应能力骤降，策略波动剧烈，这直接证明了经验积累在形成稳定问诊风格中的关键作用。

实验背后的关键证据：8B模型如何超越70B巨头

研究结果的震撼之处，不在于数字的华丽，而在于它颠覆了模型规模的迷信。在这个强化学习框架下，一个仅有8B参数的DOCTOR-R1，在动态问诊模拟评测MAQuE上的表现超越了GPT-4.1等超大规模模型，更把一众32B、70B的知识型大模型远远甩在身后。这并非依靠简单的知识超载，而是源于策略的质变。

从对话轮次与准确率的关系曲线来看，DOCTOR-R1从第一轮对话起就占领优势，并且随着对话深入，领先幅度持续扩大，展现出“越问越准”的策略特征。而在HealthBench的沟通质量、上下文理解和回答完整性等软指标上，它的提升幅度甚至高于诊断准确率本身，证明共情、沟通并非装饰，而是高效获取信息的内在部分。

消融实验进一步巩固了结论：若移除过程奖励，模型中间提问过程明显劣化，高风险场景错误率飙升；若移除经验库，模型策略波动大，跨病例表现不稳。这说明，对“提问过程”的显式奖励和从高质量经验中学习，是能力飞跃的不可或缺的两个引擎。这一发现直击要害：当前医疗AI的瓶颈并非知识规模，而是训练范式与真实临床认知需求的错配。

从AI医生到通用智能体：方法论启示与研究团队

DOCTOR-R1的贡献不止于医疗。它树立了一个在不确定条件下进行长期安全决策的通用模板：部分可观测状态、高风险约束、经验迁移——这些正是绝大多数现实世界智能体任务的核心难题。研究论证了，通过合理的任务建模与奖惩设计，“软技能”如共情、沟通、风险规避可以从隐性期望转化为可优化的显性目标，这为更广泛的AI应用提供了深刻启示。

这一突破由一支顶尖的清华团队完成。论文第一作者黎雍卉，是清华大学计算机系硕士生，专注于智慧医疗与大模型智能体的交互与进化，已有多项高水平成果。共同通讯作者马为之副研究员，来自清华智能产业研究院，在智能信息获取与智慧医疗领域深耕多年，发表顶会顶刊论文百余篇。另一位通讯作者刘洋教授，是清华智能产业研究院院长、人工智能医院联席执行院长，长期领导自然语言处理与智慧医疗交叉研究，承担大量国家级重大项目。

论文链接：https://arxiv.org/pdf/2510.04284

DOCTOR-R1的出现，宣告了医疗AI从“背诵比赛”向“临床实战”的关键转向。它提醒整个行业：真正能救命的AI，不是知道最多的那个，而是最会问、最懂安全的那一个。