CVPR 2026 重磅 | 大模型 STEM 推理瓶颈竟在视觉感知！代码驱动感知范式 CodePercept 全新诞生

导语：多模态大模型做不出理科题，竟是因为“眼神差”？上海交大和 Qwen 团队用代码驱动感知范式 CodePercept 一举破解，并在 CVPR 2026 上证明代码才是提升 STEM 视觉推理的关键。

当多模态大模型撞上 STEM 题的视觉墙

多模态大语言模型（MLLMs）在科学、技术、工程和数学（STEM）领域的视觉推理题上频频“翻车”，一个根本性问题摆在研究者面前：大模型做不出理科题，究竟是因为“脑子笨”（推理能力受限），还是因为“眼神差”（视觉感知缺陷）？

来自上海交通大学和 Qwen 等研究团队通过将任务分解为视觉感知（图像→描述）和推理（仅基于描述解答）两个阶段进行系统性扩展分析。他们分别扩展感知和推理能力，同时保持另一个能力不变，结果发现：扩展感知能力始终比扩展推理能力带来更大的性能提升。这一经验证据揭示出一个关键洞见：在当前阶段，感知才是限制大模型 STEM 视觉推理的真正瓶颈。

基于这一深刻洞见，团队提出了一种全新范式——CodePercept（代码驱动的视觉感知），并成功被计算机视觉顶级会议 CVPR 2026 接收。

开源地址：https://github.com/TongkunGuan/Qwen-CodePercept
论文标题：CodePercept: Code-Grounded Visual STEM Perception for MLLMs
论文链接：https://arxiv.org/abs/2603.10757

核心洞见：打破自然语言的“描述性失语”，用代码重塑感知

近年来，随着强化学习（RL）的爆发，研究者们试图通过复杂奖励机制提升大模型在 STEM 领域的跨模态推理能力。但本团队将 STEM 视觉推理任务解耦后明确：扩展感知能力带来的性能提升，始终优于扩展推理能力。

既然“感知”是最大短板，那该如何评估并提升它？

痛点一：自然语言描述存在幻觉以及“描述性失语”

直觉上，用强大的闭源大模型生成图像描述（Caption）进行知识蒸馏是个好办法。但自然语言在 STEM 领域存在致命缺陷——“描述性失语”。复杂的空间几何关系、精准的数值坐标、多面体中错综复杂的辅助线，根本无法仅凭自然语言来准确、完整地刻画，且极易产生幻觉。

解决方案：研究团队提出将可执行的 Python 代码作为强大的视觉感知媒介。他们从两个维度进行了范式重构：

• 代码驱动的描述生成（Code-Grounded Caption Generation）：基于代码的图像描述生成，利用可执行代码作为生成图像描述的真实标签，有效消除 AI 生成的描述错误（图像 + Code → Caption）。
• STEM 图像到代码转录（STEM Image-to-Code Translation）：直接训练模型生成可执行的重建代码，消除自然语言描述固有的歧义（图像 → Code）。

痛点二：现有评估体系无法剥离“感知”与“推理”

现有的基准测试（如 MathVista、MathVerse 和 MathVision）通过最终任务问题解决准确率来评估 MLLM 的能力，这结合了感知和推理。当模型失败时，我们无法确定失败源于感知缺陷还是推理能力不足。虽然最近的研究采用两阶段评估范式（先进行图像描述，再进行 LLM 求解）来分离感知能力，但该指标仅反映了模型理解问题相关信息的能力，而非全面的视觉感知能力。

解决方案：研究团队认为，要求 MLLM 生成用于图像重建的可执行 Python 代码，能够最严格地验证其感知能力。只有当模型完全理解视觉信息时，才能实现精确的图像再现。基于此原理，他们推出了 STEM2Code-Eval：一个包含 1000 张图像的手动标注基准测试，旨在检验模型生成用于图像重建的可执行 Python 代码的能力，从而对视觉感知能力进行确定性和可验证的评估。

数据基石：百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介，研究团队构建了 ICC-1M 数据集，包含 100 万个高质量的图像-描述-代码（Image-Caption-Code）三元组。该数据集通过三大创新流水线合成：

• 图像复现（Image Reproduction）：将现有 STEM 图像精准转化为可执行的 Python 代码。
• 图像多样化（Image Diversity）：提取种子图像的核心 STEM 原理，并在不同的视觉语境中重新实例化，确保生成极其丰富的新颖图像。
• 立体几何合成（Solid Geometry Synthesis）：专门针对当前多模态大模型在立体几何空间关系上的短板，开发了基于模板的立体几何代码生成流水线。

所有数据均需通过严苛的三阶段统一质量控制（图像质量、代码质量、图码一致性验证），确保训练信号的绝对精准。

训练双引擎：两项“代码驱动”学习任务

基于 ICC-1M 数据集，CodePercept 提出了两项开创性的训练任务，系统性提升感知能力：

1. 代码驱动的描述生成（Code-Grounded Caption Generation）：将可执行代码视为图像描述的“绝对真理”，利用代码分析中的确凿事实（如坐标、数量）进行重写，彻底消除了传统视觉语言模型固有的数字和几何幻觉。
2. STEM 图像到代码转录（STEM Image-to-Code Translation）：直接引导大模型生成包含详细注释的“解释性重建代码”，这不仅消除了自然语言描述的模糊性，还迫使模型深刻理解“观测特征”与“代码片段”之间的内在映射法则。

在训练策略上，团队采用了两阶段学习法：

• 第一阶段：SFT（监督微调，CodePercept-S1）。代码本质上是一种格式化的 Caption，所以联合优化 Image2Caption 与 Image2Code 任务，使模型建立强大的感知能力。
• 第二阶段：强化学习（CodePercept-R1）。鉴于代码生成的容错率极低，团队引入了 GRPO 强化学习专属优化代码生成。模型不仅需要拿到“格式奖励（语法正确）”，还要通过更严苛的“内容执行奖励”与“图码相似度奖励”，在不断的自我试错中实现能力的指数级跃迁。

STEM2Code-Eval：最严格的视觉感知校验

传统评测往往用“解题正确率”来衡量感知，这不仅存在误差，还容易遗漏未考查的视觉细节。为此，研究团队推出了 STEM2Code-Eval Benchmark。这是一个包含 1000 张经过人工精校图像的评测基准，它要求模型直接生成 Python 代码来 100% 还原原始图像，提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的实验结果令人震撼：

• 解题端（Captioner-Solver）表现：在同样的推理求解器下，CodePercept-8B-S1 竟然超越了比其大得多的开源巨头 Qwen2.5-VL-72B（优势达 6.2%），甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等闭源前沿模型的水平。
• 视觉重构（STEM2Code-Eval）表现：在纯粹考查感知的图像还原任务中，经过强化学习优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩（较基座提升 3.92 分），全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

结语：代码赋予大模型“火眼金睛”

CodePercept 的出现不仅仅是一个新模型的诞生，它更宣告了多模态大模型在解决复杂科学问题时的一条新航线：只有给大模型装上基于代码逻辑的“火眼金睛”，真正的复杂推理之门才会被彻底叩开。