GPT-5.5与Claude Opus 4.7新智商测试惨败!得分不足1%人类却拿满分

导语:当GPT-5.5和Claude Opus 4.7在ARC-AGI-3测试中联手拿下不到1%的分数,而人类轻松满分,我们或许该重新审视AI真正的推理能力了。

在大模型纷纷刷榜的当下,两项最新测试结果却给所有人泼了一盆冷水:OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7,在一项名为 ARC-AGI-3 的抽象推理基准上,联合得分加起来都不足 1%!而一个从未见过该测试的普通人,却能轻松拿到满分。这则来自 ARC Prize 官方分析报告的消息,瞬间引发了人们对大模型真实智能水平的深层反思。

GPT-5.5与Opus 4.7在ARC-AGI-3得分不足1%,人类满分真相揭秘

ARC-AGI-3:一场不考知识、只考天赋的智商测试

ARC-AGI-3 是由 Keras 之父 François Chollet 创立的基准测试系列最新版本,今年 3 月正式发布。该测试包含 135 个人工精心设计的新环境,每个环境都像一个迷你解谜游戏,但没有任何规则说明或提示。受试者(无论是人类还是 AI)必须通过尝试动作、观察反馈,自行推断出隐藏在背后的抽象逻辑,并将上一个关卡的成功经验迁移到下一个新关卡中。整个过程完全剥离了语言、文化背景等外部知识,只考察最底层的推理归纳能力。

测试成绩的对比堪称残酷:

GPT-5.5与Opus 4.7在ARC-AGI-3得分不足1%,人类满分真相揭秘

在没有任何事先训练的情况下,人类测试者首次接触这些环境时,就能 100% 解决所有问题。而目前最先进的 GPT-5.5 仅取得 0.43% 的分数,Claude Opus 4.7 更是低至 0.18%,双双折戟。这一结果直接挑战了“参数越多、数据越大,模型就越智能”的普遍认知,也意味着这些拥有千亿参数、吃进海量数据的模型,在面对全新的逻辑环境时,其表现甚至不如一个 6 岁儿童。

GPT-5.5与Opus 4.7在ARC-AGI-3得分不足1%,人类满分真相揭秘

Chollet 曾断言,只有当 AI 系统能在首次遭遇所有环境时,其行动效率达到或超越人类,才算真正攻破了 ARC-AGI-3。显然,这一次,顶级大模型连及格线的边都没摸到。

解剖三大失败模式:模型到底“笨”在哪里?

ARC Prize 团队通过分析 160 组完整的运行轨迹(模型每一步的思考与操作),归纳出三种核心失败模式,深刻揭示了当前大模型底层推理机制的致命短板。

模式一:看得见动作,拼不出因果——残缺的世界模型

模型最常犯的错误,是能够准确把握局部动作的效果(如“按下 A 键物体会旋转”),却无法将这些碎片化认知整合成一套连贯的、有目的性的全局策略。它们缺失的,是一种从“现象”到“本质”的抽象升华能力。

例如在任务“cd82”中,Claude Opus 4.7 在第 4 步就发觉“ACTION3”能使桶旋转,第 6 步又观察到“ACTION5”可以倾倒或蘸取油漆。然而直到运行结束,它也没能形成“先将桶转到正确方向,再去蘸取油漆,以还原目标图案”的完整计划。它所理解的仅仅是孤立的因果片段,而非整个任务的概念框架。

GPT-5.5与Opus 4.7在ARC-AGI-3得分不足1%,人类满分真相揭秘

另一个任务“cn04”则更加典型。Opus 4.7 明明在第 23 步发现了“旋转后放置”的正确交互,但随即又陷入了追求“整体形状重叠”的误区,甚至为了一个假想的“顶行进度”而持续偏航。它真正做到了“只见树木,不见森林”。

GPT-5.5与Opus 4.7在ARC-AGI-3得分不足1%,人类满分真相揭秘

模式二:被训练数据“绑架”的思维——错误的先验锚定

大模型本质上是对过去数据的压缩与模式匹配。当遇到全新挑战时,它们会不由自主地往已知的游戏框架上靠拢:反复将 ARC-AGI-3 环境误判为俄罗斯方块、青蛙过河、推箱子或打砖块等。这种源于预训练的认知锚定,使得模型持续用错误的游戏规则去解读当前场景,从而被引入歧途。

比如在任务“cd82”中,GPT-5.5 始终在思考流沙、物理模拟或“填充颜色”的机制;另一次任务中,它甚至把按键组合逻辑当成了打砖块。这种“看见局部相似就硬套模板”的惯性,让模型彻底丧失了从零构建新知识体系的能力。

模式三:过关≠学会——被胜利掩盖的认知陷阱

最迷惑的一种失败,是模型侥幸通过了第一关,却未能真正理解背后的规则,只是碰巧踩中了容错范围内的捷径。当它带着这种虚假自信进入机制更复杂的后续关卡时,崩溃来得更加彻底。

Claude Opus 4.7 在任务“ka59”中,以 37 步拿下 Level 1,但其对核心操作“点击”的理解是完全错误的——它误认为点击是“传送当前角色”。到了 Level 2,需要真正的形状匹配与推动逻辑时,它却将这种误解固化为“点击每个目标来填充”,结果陷入盲目点击的死循环,得分仅 2.04%。在任务“ar25”中,Opus 在 Level 1 通过镜像移动获胜,Level 2 初期甚至发现了“可移动轴”的正确机制,却又迅速陷入臆想,开始凭空发明“打孔”“翻转”等不存在的规则。早期关卡的成功,成了后来谬误的坚实背书。

两种不同的“翻车”姿势:自信的直觉家 vs 发散的理论家

虽然 GPT-5.5 和 Claude Opus 4.7 同样铩羽而归,但它们的失败方式却截然相反,折射出两家模型设计哲学上的深刻差异。

Claude Opus 4.7:过度自信的直觉主义者。它擅长快速捕捉短平快的机制,并形成一套“可运行的解释”。但问题在于,一旦那个解释是错的,它就会异常执着地贯彻到底。就像在任务“cn04”中,它围绕“进度 / 计时 / 转换”编造了一套完整的错误理论,并不断尝试,完美演绎了“方向错了,越努力越离谱”。

GPT-5.5:思维发散的理论家。它的假设空间更开阔,时常能说出正确的思路(如识别出镜像效应),但始终无法将这些思路浓缩为坚决的行动。它在“俄罗斯方块”“青蛙过河”“乒乓球”“汉诺塔”等各种可能性之间反复横跳,就像一个思想巨人,却迈不出关键一步。

归根结底,这种差异在于“压缩”能力:Opus 4.7 倾向于将观察压缩成一个自信(但未必正确)的理论;GPT-5.5 则几乎无法压缩,永无止境地徘徊在可能性集合中。而真正的人类智慧,恰恰在于既能高效压缩提炼精要,又能随时检验和修正偏差。

结语:AGI 之路,我们仍在山脚下

ARC-AGI-3 用最直白的数据告诉我们,今天那些能写出惊艳代码、生成精巧论文的顶尖模型,在真正的抽象推理能力上可能依然处于婴儿期。它们学会了模仿,却尚未学会理解;掌握了模式,却丢失了本质。通往通用人工智能的道路,远比我们想象中更漫长。或许,当我们终于设计出一个能在这样纯粹智力测验中拿满分的 AI 时,才是真正值得欢呼的那一天。

© 版权声明

相关文章

暂无评论

none
暂无评论...