AI不再“近视眼”：上交大&蚂蚁提出R2I蒸馏，单次推理实现细粒度感知，速度提升10倍

导语：面对图像中的微小细节，AI常常“近视”。上海交大与蚂蚁集团推出ZwZ模型，通过训练内化缩放能力，实现单次推理精准识别，告别缓慢的工具调用。

痛点：AI看图的“近视困境”

当前多模态大语言模型（MLLMs）虽然已具备不错的图像理解能力，但在细粒度感知任务上却常常变成“近视眼”：面对图片中的微小文字与符号视而不见，难以辨别细腻的颜色差异和材质纹理，在密集小物体的计数任务上也频繁出错。这类任务的共同特点是：关键证据往往只占图像很小区域，极易被全局上下文淹没，模型必须从成千上万的视觉 tokens 中精准检索这些细微信息。

为解决这一难题，当前主流方案是“Thinking-with-Images”范式，即让AI像人一样反复缩放、裁剪、观察感兴趣区域。这种交互式方法确实能缓解感知压力，一旦微小区域被单独提取出来，模型便能专注识别细节。然而代价同样明显：多次工具调用与反复视觉编码带来严重延迟，让实时应用成为奢望。核心问题在于：能否既享受“放大观察”的准确性，又保持“一眼扫过”的速度？

破局：把“缩放”从推理工具转成训练目标

为此，研究团队提出了Region-to-Image Distillation（R2I，区域到图像蒸馏）方法，核心思路简洁而巧妙：先通过 Zoom in 让模型聚焦“小图”合成高质量数据；随后再 Zoom out 将这些合成的数据映射回全图视角，并基于这些数据进行强化学习，使模型逐步学会直接“从全图看”。最终，模型在推理阶段无需再执行 Zoom in and out 操作，相当于将模型在局部区域上的高精度能力蒸馏到全图视角中。

具体而言，R2I 包含以下几个关键步骤：首先，利用缩放工具对图像中的关键区域进行裁剪，并基于裁剪后的清晰视图生成高质量的问答对；其次，将这些问题与完整的原图配对，作为训练数据，要求模型仅依靠原图给出正确答案；最后，通过强化学习优化模型，使其在全图视野下也能精准捕捉原本需要放大才能看到的证据。总结来说：合成数据时为模型“戴上放大镜”，确保数据质量；训练时基于原图训练，让模型“裸眼看清”！

ZoomBench：量化“缩放差距”的精细基准

为严格评估这种“不缩放也能看清”的能力，研究团队专门构建了ZoomBench基准测试。该 benchmark 包含 845 个高质量样本，涵盖大量高分辨率图片，采用 AI 合成与人工验证相结合的高效混合构建方式——每个问答对先由 AI 合成，再经三位作者独立审核，确保问题有效、答案准确。与现有基准相比，ZoomBench 实现了六大感知维度的全覆盖：细粒度计数（24%）、OCR（15%）、颜色属性（29%）、结构属性（18%）、材质属性（7%）和物体识别（7%），同时支持多选题与开放题两种格式。

ZoomBench 的核心创新在于双视角评估模式（Dual-View）。每个样本都提供完整原图和对应的关键区域裁剪图，分别对应“全局视角”和“局部视角”两种测试条件。局部视角准确率可视为理论上限（证据明确可见时模型能否答对），全局视角准确率则反映真实场景下的感知能力（能否从完整图片中定位关键证据）。两者之差即为“缩放差距”（Zooming Gap），这一指标直接量化了模型“找不到关键证据”的瓶颈，为诊断细粒度感知能力提供了精确标尺。此外，ZoomBench 还配备自动标注的关键区域边界框，支持基于注意力可视化的可解释性分析。

效果炸裂：小模型击败巨无霸，速度飙升10倍

研究团队基于 Qwen-VL 用 R2I 合成的数据进行强化微调，得到的ZwZ 系列模型（4B/7B/8B 参数）在多项基准测试上表现亮眼。令人瞩目的是，8B 参数的 ZwZ-8B 在综合感知任务平均性能上超越了 235B 参数的 Qwen3-VL-235B、108B 参数的 GLM-4.5V，以及最新发布的 1T 参数的 Kimi-K2.5，并且逼近最顶尖的闭源模型 Gemini-3-Flash。

同时，ZwZ-8B 仅通过测试时单次推理，性能即可超越 Qwen3-VL-8B 结合官方工具的多轮交互效果，以及其他 Thinking with Images Agentic 模型（如 Deepeyes、Thyme），速度提升约 10 倍。此外，ZwZ 在 AIGC 检测、GUI Agent 等真实任务上也展现出强劲的泛化能力。

ZoomBench 的独特设计也让我们能精确诊断模型的“视力问题”。在双视角评估中，基线模型（Qwen3-VL-8B）呈现明显的“放大看得懂，不放大找不着”现象：局部视角准确率 63% versus 全局视角 38%，差距高达 25%。而 ZwZ 将这一“缩放差距”显著缩小至 15%，证明模型真正学会了从全局中定位微证据。注意力可视化结果进一步佐证：ZwZ-8B 在关键边界框内的注意力覆盖率从 17.39% 提升至 21.64%，提升了 4.25 个百分点。

深度洞察：什么时候该用工具？信息增益准则

论文深入探讨了“Thinking with Images”范式的边界，提出信息增益判别准则，将工具动作分为两类：信息增益型，如网页搜索、检索外部知识，这类操作引入当前视图不可预测的新信息，必须使用工具；无信息增益型，如缩放、旋转、翻转、2D/3D 定位、去噪等，仅是对已有信息的重新格式化或突出显示，其结果完全可以基于当前视图预测，可通过训练内化到模型中。

核心洞察在于：如果工具调用只是“重新格式化”已有信息（让关键细节更容易看），而非获取新信息，那么它的收益完全可以通过 R2I 等方法内化到模型权重中，无需在推理时牺牲速度。Zooming 正是典型的无信息增益型操作——裁剪后的内容本就存在于原图中，只是被全局上下文“淹没”。R2I 通过训练让模型学会“脑内缩放”，将工具收益压缩进单次前向传播。

总结：重新定义工具与能力的边界

这项研究不仅提出了一种高效的数据合成方法，更重新定义了“工具使用”与“模型能力”的边界——通过 Region-to-Image Distillation 将“缩放”从推理时工具转化为训练时目标，让多模态大模型在保持单遍推理速度的同时，获得媲美工具调用的细粒度感知能力，为实际部署提供了“既快又准”的新范式。展望未来，研究团队认为下一代“Thinking with Images”范式应当尽可能内化无信息增益的工具调用，同时学会动态灵活地调用能带来信息增益的工具，在速度与能力之间取得最佳平衡。