跳到主内容
中欧体育官网

普林斯顿AI Lab出题,「空间智能」大考:人类83.3%,大模型最高39.7%

2026-11-03 · 中欧体育官网 · 更新于 2026-11-04

AI 能否真正把握三维空间?这已成为智能领域的一大课题。

在执行动态任务时,AI 需要规划后续步骤、在杯子被移动后及时调整策略、在环境变化前完成操作,这些都对空间理解提出更高要求。其核心在于可靠地理解眼前空间:物体位于何处,不同视角的观察是否相互吻合?

普林斯顿 AI Lab 的研究团队推出了一项新的空间智能测试:Same Space or Not(SSoN)。 该测试排除了实时变化和动作控制,仅提供四张静态室内图像,要求模型识别出其中不符合同一场景的那一张,并给出理由。

测试结果显现出明显差异:在完整的 1000 道题目中,人类准确率达到 83.3%。在接受测试的六个视觉语言模型(VLM)中,GPT-6 Astra Pro 以 39.7% 领先,其余五个模型的成绩均低于四选一随机猜测的 25% 基线。即便没有动态交互的复杂性,人机差距已在更基础的静态跨视角理解上显现。

为何会出现低于 25% 的情况?这是等概率盲猜的期望值,并非能力下限。SSoN 特意设计了 “看似变化、空间上却正确” 的强干扰视图。如果模型能发现外观差异,却无法判断其是否源于视角变化,就可能被系统性误导,表现反而低于盲猜。这并不代表模型毫无视觉能力,而是暴露了从识别差异到理解空间之间的鸿沟。

而 39.7% 的成绩,仅仅是选对答案的结果,其中部分回答的理由仍站不住脚。

为什么 17 个视觉编码器全部低于随机线?让模型实际执行三维重建,为何仍未能答对一半?这张考卷将“空间智能卡在哪里”这一问题层层拆解。

图 1|SSoN 任务与完整 1000 题上的成绩。人类答案准确率 83.3%,受测 VLM 最高 39.7%;柱状图进一步区分了有充分证据支持的正确选择与解释不成立的正确选择。

空间智能的集体偏科:交换和细节相对容易,旋转和移动却成共同盲区

SSoN 的规则很简单:四张图中,三张来自未改变的三维场景,一张来自编辑后的版本。没有指定的“正确参考图”,也没有提前标出的异常物体。模型需要自行判断:哪些观察能相互印证,哪一张无法与它们共存。

图中的篮球就是一个缩影。B 和 D 共同确认了它的位置;C 未拍到该位置,并露出了其他视图未展示的物件,但这都可归因于视角变化。而 A 拍到了篮球应在的位置,篮球却仍然缺席。关键在于空间关系是否自洽,仅凭“看起来不一样”很容易选错。

将成绩按题型拆分,六类编辑大致呈现三个难度层次,也勾勒出当前模型空间能力的不同缺口。

交换和细节变化,是模型的相对优势区。 两个物体交换位置,或同一物体的形状、颜色、纹理等外观发生变化,都能为判断提供物体对应与外观差异的线索。六个受测模型在这两类上的准确率均高于各自整体成绩;成绩最好的 Astra Pro 在这两类上均达到 80% 以上。

镜像和删除处于中间层,但对多数模型仍然很难。 镜像题需要判断房间结构是否真的左右翻转,排除相机换边造成的视觉变化;删除题则要区分“物体真的消失了”还是“只是被遮挡、移出了视野”。看不到,不等于不存在。在镜像题上,除 Astra Pro 外,其余五个模型全部低于 25% 的随机基线;在删除题上,这五个模型的最高成绩也只有 Sol Pro 的 42.57%。

移动和旋转,则暴露出更普遍的几何推理短板。 六个模型在移动题上的最高准确率仅为 27.20%;旋转题更低,最高也只有 9.54%。而人类在这两类上均达到 70% 以上。在后续实验中,即便明确告知模型六类编辑分别是什么,依然无法有效提升这两类的分数。

椅子在画面中换了位置和朝向,究竟是椅子动了,还是相机动了?当房间里还有几把外观相同的椅子时,模型必须先认准同一个实例,再结合桌子、墙面等参照判断其位置与方向。认出物体、发现外观差异之后,模型还需要跨过“理解三维关系”这一关。

SSoN 将这种考验扩展到七个室内场景来源,覆盖交换、细节变化、镜像、删除、移动和旋转六类三维编辑。1000 道题、4000 张图像,让总分之下的能力差异逐一显现:哪些变化模型已较易捕捉,哪些空间关系仍会让它们集体失分。

图 2|七个场景来源、六类三维编辑,以及不同图像格式和物体尺度。视角变化可以制造视觉差异,真实编辑也可能只留下局部线索。

换成 17 个视觉编码器,仍然全部低于随机线

换一种解法呢?既然只有一张异常图,直接找出与其他三张最不相似的那张,是否就够了?

研究者用 CLIP、ViT 和 DINOv2 系列共 17 个视觉编码器测试了这个思路。以图像特征相似度选择离群视图,准确率仅为 16.9% 至 21.7%,全部低于 25% 的随机基线。

这个结果将强干扰的作用具体呈现了出来: 正确的新视角可能改变大片可见内容,而真实编辑却可能只留下局部线索。依赖全局外观差异的选择规则,无法可靠地区分二者。

VLM 也会被这种表面差异带偏。在开发阶段的诊断实验中,合法但容易误导的视图吸引了更多错误选择;将其替换为清晰的正面参照后,多类题目的成绩明显改善。替换同时减少了干扰、增加了直接证据,也让困难的位置更清楚:变化摆在眼前时能认出,并不保证换个视角仍能推理出来。

人可以暂时接受一个陌生视角,再核对其中与其他图有关联的物体。SSoN 检验的,正是模型能否完成这一步跨视角的空间整合。

连选对的答案,也有近三成解释过不了关

比低分更值得注意的是,有些正确选项,也未必对应正确的空间判断。

模型可能选对 A,却声称一个根本没有变化的物体被移动了;也可能给出真实但不足以排除其他视图的线索。只看 A、B、C、D,这些回答都会被计为正确。

SSoN 因此同时检查答案与证据。True solve 要求选择正确,且解释符合图像事实、足以支持跨视角矛盾判断。六个模型合计 1368 次正确选择中,29.5% 未通过这项检查。最高模型成绩也从 39.7% 的答案准确率,降至 34.9% 的 True solve。

接近三成的正确选择缺少有效支持,说明“选对了”仍不能替代“说清楚了为什么”。这一检查针对模型写出的解释,不推断其内部究竟如何思考。

那么,会不会是题目本身太刁钻,根本没有足够证据?

SSoN 在出题和阅卷两端都做了核验:构建时要求异常图及至少两张正常视图提供可用证据,排除多解题和明显渲染捷径;阅卷时,所有选对的模型回答都经过人工证据复核。超过 10000 个开发候选题的迭代,让人工发现的问题不断变成新的生成约束,最终留下这 1000 道题。

考卷需要有解,答案也需要有据。模型才能被要求真正指出场景中的矛盾。

图 3|SSoN 通过自动检查与逐题人工核验保证题目证据与唯一答案,并排查视觉捷径。解释评价另行覆盖全部正确选择,由人工确定最终标签。

提示、重建、相机参数,哪种帮助能救场?

既然困难出在跨视角推理,多教模型一点解题方法,或者让它真的重建一次三维场景,成绩会不会改观?

研究者另行选定 100 道题组成干预集,其原始答案准确率为 24%、True solve 为 12%。接下来的比较都在这组固定题目内进行。

先看提示。研究者引导模型寻找环境参照、匹配物体、判断遮挡,或先描述场景布局;也直接告诉它六种可能的编辑类型,但不透露当前题目的类型。比较指导与编辑类别知识结合时,准确率达到 48%,True solve 为 34%。提示能提供帮助,却仍没让模型答对一半。

让模型实际执行三维重建,再检查相机视角呢?这个经过执行核验的完整流程得到 47% 的准确率、34% 的 True solve。删除和细节类表现较好,移动与旋转仍然困难。仅仅将三维重建加入解题过程,还不足以消除几何判断的短板。

最明显的改善,来自直接提供真实相机信息。

在比较指导的基础上,加入 ground truth 相机内参、外参和图像尺寸后,准确率达到 61%,True solve 达到 48%。模型由此获得成像几何与相机相对位置、朝向的信息,不必完全从图像中自行推断这些关系。

移动类题目尤为突出:比较指导条件下,准确率和 True solve 均为 20%;加入相机信息后,两项都升至 70%。这提示,相机几何能够帮助模型区分“物体在画面里动了”和“物体在房间里动了”。

但 61% 与 48% 之间仍有距离。即使拿到真实相机参数,这 100 题中有充分证据支持的正确回答仍不到一半。提示、工具和几何信息能缓解困难,却没有让跨视角理解变得可靠。

空间智能能练出来吗?未见房间里的成绩接近翻倍

如果推理时的帮助还不够,专门训练这种能力,会怎样?

研究者对 Qwen2.5-VL-7B 进行微调,并按关联房间和场景家族隔离 train、val 和 test。模型最终面对的是来自未见房间的 201 道测试题。

未经微调,准确率为 21.89%;只监督答案,提升到 33.33%;同时提供推理依据和答案监督,达到 41.79%。相较原始模型,准确率接近翻倍。

这里的区别,在于训练时是否告诉模型“证据为什么支持这个答案”。推理依据监督进一步提供变化类型、相关物体与支持视图,让模型学习将跨视角证据和最终选择联系起来;测试时仍需自行看图作答。

最突出的变化同样出现在旋转题。答案监督已使旋转类准确率达到 32.84%,加入推理依据后,旋转类准确率升至 58.21%。更换四张图的选项顺序后,平均准确率和跨顺序一致答对比例也有所改善。

这给出了一条值得继续追的方向:空间一致性判断可以通过定向监督改善,并迁移到训练时没见过的房间。 改善仍不均匀,推理依据带来的额外整体增益也需要更多训练重复验证,但这张考卷已经开始指出哪些能力可以被补上。

AI 走进物理世界之前,先学会理解同一个世界

SSoN 提出的要求很朴素:相机动了,场景可以没变;图像变了,空间关系仍可能一致。

动态空间智能需要将观察转化为规划、决策与行动,而可靠理解当前空间,是支撑这些行为的基础。SSoN 将动作控制与实时变化拿开,让这块基础可以被单独检验:模型能否整合不同视角,接受合理的视觉差异,再找出真正的场景矛盾?

AI Vision Exam 的这张考卷,用受控室内场景将这项能力单独拿出来检验。83.3% 与 39.7% 的落差揭示了当前短板,提示、几何与训练实验则给出了继续追问的方向:我们究竟需要怎样的模型和监督,才能让 AI 在换个视角后,仍然理解同一个三维世界?

欢迎大家亲自试题,也欢迎带上你的模型,来参加这场空间智能考试。有关该测试的更多信息,可查阅 中欧官方网站 获取。

作者信息

SSoN 由 普林斯顿大学 AI Lab 团队 完成。第一作者 Huizi Cao 为卡尔顿学院本科生,曾以一作身份在 Nature Medicine 发表论文,团队还包括来自宾夕法尼亚大学、Adobe Research 的研究者。项目由普林斯顿大学 AI Lab 的 Shilong Liu 教授、Mengdi Wang 教授和西北大学的 Manling Li 教授合作指导完成。

本文来自微信公众号“机器之心”,36氪经授权发布。

更多文章