文生图告别“参数玄学”：清华段岳圻团队用控制论重写CFG，画质与语义稳定双赢

导语：文生图模型的引导强度（CFG scale）一调高，画面就容易崩坏——这个困扰用户已久的问题，终于被清华团队从控制论层面彻底剖析并解决。

很多人在使用文生图工具时都有过这样的挫败感：输入一段清晰的描述，希望画面中人物站在左侧、动物在右侧，或者在海报上出现一段完整可读的文字，结果却常常出人意料——要么位置关系混乱，要么字体扭曲变形，要么整体画面显得生硬奇怪。即使不断调整参数，有时生成结果会稍微靠近描述，但画质却急剧下降，色彩诡异，结构开始扭曲。反复尝试几十张图，可能才勉强挑出一张能用的。

这种“既想让模型听懂指令，又不希望破坏画面”的矛盾体验，已然成为生成模型走向实际应用的最大瓶颈之一。随着AI生成内容（AIGC）深入设计、电商、内容创作等领域，用户不再只追求一张“看着还行”的图，而是要求结果稳定、结构正确、细节可靠，能直接用于生产环境。然而，现有方法在可控性和稳定性之间始终存在明显冲突：模型越强调语义对齐，就越容易牺牲视觉质量。这一内在限制正成为生成模型更广泛落地的一道门槛。

在这一背景下，清华大学段岳圻团队在CVPR 2026上发表的研究工作《CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance》从更底层的视角重新审视了这一问题。该研究不再将CFG（Classifier-Free Guidance）仅仅视为一个需要手工调节的超参数，而是将整个生成过程当作一个动态系统，把语义偏差看作需要被控制的误差，并引入现代控制理论来重新设计引导机制。这种思路的转变，使得生成过程不再依赖反复试错，而是可以通过更稳定的方式逐步收敛到符合语义约束的理想结果。

论文地址：https://arxiv.org/pdf/2603.03281

CVPR 2026 | 清华提出CFG-Ctrl：从控制论重新设计文生图引导，突破质量-语义权衡

一次方法论升级：从“调参”到“做控制”

传统上，扩散模型中的CFG通过用条件预测和无条件预测的线性组合来引导生成方向：ϵ̂ = ϵ_uncond + s*(ϵ_cond - ϵ_uncond)，其中s就是guidance scale。这个简单的线性外推虽然能提升条件一致性，却是一把双刃剑——s越大，模型越“听话”，但也越容易把生成过程拖入不稳定区域，导致图像质量急剧劣化。从业者往往只能依靠个人经验和大量试错来寻找一个“差不多”的s值。

而CFG-Ctrl的核心洞见在于：CFG的本质是一个线性反馈控制器，它试图让系统输出跟踪文本条件，但扩散模型本身是一个高度非线性的动态过程。用线性控制器去驾驭非线性系统，在强校正下必然会引发振荡甚至发散。因此，研究团队转向了非线性控制，特别是滑模控制（Sliding Mode Control）。他们将条件预测与无条件预测之间的差异视为状态误差，设计了一个切换面（滑模面），并通过符号函数驱动的非线性反馈将系统状态强制拉向该面，从而实现在不同条件下的鲁棒跟踪。

具体来说，CFG-Ctrl引入了一个新的引导项形式：ϵ̂ = ϵ_uncond + λ*(ϵ_cond - ϵ_uncond) + k*sign(S)，其中S为定义的滑模面，λ控制滑模面的方向，k控制反馈强度。这种设计使系统在面对模型不确定性、复杂文本条件时能更快收敛到目标分布，同时避免因单纯放大误差而导致的图像崩溃。这样一来，guidance不再是一个简单的乘法因子，而变成了一个有理论保障的动态控制律。

打破“质量-语义”跷跷板：实验结果全解析

为了验证方法的有效性，研究团队设计了一套严密的实验体系，既包含常规的自动指标对比，也着重分析了困扰社区已久的“高guidance scale”场景和复杂文本条件下的表现。

全面且稳定的性能提升

在图像质量指标FID上，SMC-CFG（基于滑模控制的CFG，下同）比标准CFG进一步降低，表明生成结果更接近真实图像分布。在语义对齐指标CLIP Score上，提升幅度虽然不算特别巨大，但表现极为稳定，在各种设置下都能持续领先传统CFG和近期改进版如CFG-Zero*、Rectified-CFG++等，说明这种改进并非靠某类样本上的偶然优势，而是真正增强了模型对文本语义的理解能力。

更引人注目的是人类偏好相关指标：ImageReward、HPS、PickScore等均有明显提升，并且经常在所有对比方法中位列第一。重要的是，SMC-CFG并不是单一指标刷分，而是在图像质量、语义对齐和主观偏好这些通常很难兼顾的方向上实现了共同进步。

跨模型一致性：大模型优势更明显

研究选用了三种不同规模的flow-matching扩散模型：中等规模的SD3.5、较大规模的Flux，以及超大规模的Qwen-Image。实验中发现一个清晰趋势：模型规模越大，SMC-CFG的优势越突出。在小模型上，它表现为略优；而在大模型上，它在多个指标上持续拉开差距。这说明SMC-CFG解决的并非某个特定模型的局部调参问题，而是处理了模型规模增大后更容易暴露的系统不稳定性。这种跨架构的普适性，也佐证了该方法更多是机制层面的改进，而非简单的工程技巧。

高guidance scale下的稳定性突破

这是整项研究最关键的结果之一。传统CFG的典型困境是：当guidance scale增大到7.5、9.0甚至更高时，语义对齐度可能继续上升，但图像质量往往断崖式下跌，颜色异常、结构畸变频现。实验显示，SMC-CFG在同样高scale条件下，不仅能继续增强语义信息，还能将图像质量维持在相对稳定的状态。这意味它在一定程度上打破了“质量-语义”此消彼长的经典悖论，让模型可以更“勇敢”地去贴合文本描述，而不用担心画面崩溃。

复杂prompt下的结构与细节改善

对于包含空间关系（“左边是猫，右边是狗”）、多对象交互或者要求生成清晰文字的海报类prompt，传统方法常常出现错位、模糊或文字错误。SMC-CFG在这些场景下展现出了更好的空间关系保持能力和文字清晰度，说明它不仅提高了量化分数，也确实提升了模型对复杂结构和细致描述的理解力。

消融实验揭示控制参数规律

研究团队还分析了两个核心参数λ和k的作用。λ控制滑模面的方向，决定了收敛的理想路径；k控制纠正力的幅度。实验发现，λ过小会导致收敛偏离最优方向，过大则会使系统对误差过于敏感；k过小会让收敛缓慢，语义表现偏弱，而k过大则会引发强烈的控制振荡，使画面不自然。最佳状态对应中等λ配合适中k，这与经典控制理论中“稳定性与快速响应需要折衷”的经验完全吻合。消融实验进一步证明了性能提升来源于控制机制本身，而非偶然的参数组合。

实验逻辑：从“跑分”到“系统验证”

研究团队并非简单地在一堆数据集上做指标对比，而是围绕一个明确的核心假说展开：CFG的问题根源于其线性控制方式，因此需要引入非线性控制来系统性地改进。

实验设计沿三个关键方向推进。首先是稳定性验证，特意在高guidance scale条件下进行测试——因为这种设置会放大CFG的不稳定问题，如果方法此时仍能保持稳定，便说明控制机制更鲁棒。其次是准确性验证，引入复杂语义场景（如空间关系、多对象、细粒度描述）来检验生成结果是否真正理解文本，而不是仅在简单prompt下表现良好。最后是真实感评估，通过FID和多种人类偏好指标判断生成图像是否接近真实分布，同时符合人类审美。

在评价体系上，研究采用了三层结构以避免单指标偏差：第一层是分布层面（FID），衡量整体图像质量与真实性；第二层是语义层面（CLIP等），评估图文一致性；第三层是人类偏好层面（ImageReward、HPS、PickScore等），刻画主观自然度和审美价值。这种从统计分布、语义匹配到主观感受的立体约束，能够有效防止模型只在某一项指标上看似优秀、但实际观感糟糕的情况。

模型选择也颇具匠心：SD3.5、Flux和Qwen-Image不仅参数规模横跨中等至超大，架构也有所不同，但同属flow-matching路线。这种差异化选择既能检验方法的通用性，又避免了因架构差异过大而引入过多变量。如果一种方法在多种模型上均显现优势，那更可能是机制层面的真实收益，而非针对特定结构的取巧。

从经验技巧到理论工具：重新理解扩散引导

CFG-Ctrl的贡献不仅仅是一个新方法，更在于它转变了学界对图像生成模型的认知范式。过去，CFG更多是一种经验性的调节手段，人们知道它有用，却难以科学地解释何时有效、何时失控。该研究将条件预测误差明确为控制误差，把guidance视作控制输入，将扩散flow视作被控系统，从而为后续研究打开了“控制系统设计”的大门——未来的改进可以不再局限于拍脑袋调参，而是可以像设计控制器一样分析稳定性、收敛速度和鲁棒性。

研究还澄清了CFG失败的根本原因：线性放大机制与扩散过程的强非线性之间存在本质矛盾。引入滑模控制等非线性方法，能够更有效地驯服这种复杂性。这一洞见也为其他生成任务（如视频生成、3D生成）提供了新的思考路径。

对于更广泛的用户群体，这项研究的落地意义也十分直接。更稳定的guidance意味着在用AI工具创作复杂画面时，空间错乱、文字崩坏、结构变形等问题会大幅减少，用户不再需要从几十张图中海选一张合格的，降低了试错成本，提高了出图效率。对于设计师、自媒体创作者、电商运营等，这意味着一句提示词就能更可靠地得到可交付的素材。长远来看，这项研究推动文生图模型从“偶尔惊艳但不稳定”的阶段，迈向“足够可靠，可以成为日常工作工具”的新台阶。

研究团队介绍

论文第一作者：汪晗阳，清华大学电子工程系硕士一年级学生，本科毕业于清华大学计算机科学与技术系，师从段岳圻。研究方向为3D计算机视觉、视频生成和AIGC，成果发表于CVPR、ICCV、NeurIPS、ECCV、TIP和TPAMI等顶会顶刊，涉及稀疏视角3D重建、3D生成中的人类偏好对齐、视频生成测试时扩展等前沿课题。

个人主页：https://hanyang-21.github.io/

通讯作者：段岳圻，清华大学电子工程系教研系列副教授、博士生导师。研究方向为计算机视觉与模式识别。2014、2019年在清华大学自动化系获工学学士和博士学位，2019-2021年在斯坦福大学从事博士后研究，合作导师为Leonidas J. Guibas教授。以第一/通讯作者发表IEEE汇刊和CCF-A类会议论文40余篇，曾获ICME 2024最佳论文提名，并担任IEEE TCSVT编委及CVPR、ICCV、ECCV等国际会议领域主席。主持多项国家级科研项目，入选中国科协青年人才托举工程，获中国电子学会技术发明一等奖、自然科学一等奖等荣誉。

个人主页：https://web.ee.tsinghua.edu.cn/duanyueqi/zh_CN/index.htm