大模型推理

推理大模型空转等待太久？SxS交错推理技术为大模型引入了「何时开口」的可学习决策机制。通过将生成动作划分为思考（think）与披露（speak），模型可在不降准确率的前提下，为用户提供有依据的渐进式输...

视频生成模型常因缺乏物理常识导致画面穿帮。南洋理工大学团队推出VChain框架，首次引入“视觉思维链”机制。该方案利用多模态大模型进行逻辑推演并指导视频生成，在常识与因果规律测评中表现优异，零重训实现...

大模型推理低效怎么破？清华大学等研发出TaH选择性潜空间迭代框架，直击Looped Transformer过度思考痛点。该方案通过轻量级决策器跳过93%的非必要迭代，将算力集于关键token，从而使小...

ZCube网络架构解决推理集群极易遭遇KV Cache传输导致的结构性网络阻滞痛点。智谱AI通过扁平化与混合路由设计推倒20年传统Clos组网，使线上大模型推理集群在0硬件改动下实现吞吐量暴涨15...