你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

全文速览图

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

大家好,我是美丫姐。

AI 用多了就会发现,AI 模型的智商犹如薛定谔的猫,一会儿鬼一会儿神的。可能前一秒还在技术革命,后一秒就变成无脑弱智了。

那么如何来测试自己的 AI 智商到底有多少呢?今天就要来给大家分享一个坊间非常火的测试题「鹈鹕骑自行车」。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

这可不是民间的野鸡测试,要知道现在最强大模型 GPT-6 Astra 在发布 to Dev 的视频的时候,曾经专门致敬了「鹈鹕」和它的自行车。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

而且整个测试又非常的简单,你只需要复制下面这一行提示词,然后发给自己任意的 AI Agent。

Generate an SVG of a pelican riding a bicycle.

等着 AI 出图就行了。

虽然这个提示词看上去非常简单,但我测试下来发现效果非常好。最近我觉得 GPT-5.6 Sol 的降智非常严重,于是就拿鹈鹕试了一下。

这个效果基本上等同于弱智了。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

后面换成 Astra 之后,症状才有所好转。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

要知道,这个小小鹈鹕最初是由开源 Web 框架 Django 的创始人 Simon Willison 创作出来的,他当初开发这个 benchmark 的理由很简单:

  1. 他很喜欢鹈鹕
  2. 当时 2024 年的网络上并没有「鹈鹕骑自行车」的参考(也就相当于是一个闭卷考试。

同时他也说明了这个「鹈鹕骑自行车」为什么看似简单,但实际上有一定的难度。主要有 3 点:

1. SVG = 用代码画画。

不同于直接生成图像,SVG 等于在拿文本模型去勾勒出一个个视觉化元素,再组合到一起。

2. 物理关系的考题

骑自行车的动作本身是复杂的,AI 需要处理好鹈鹕和自行车的空间关系。才能画出「鹈鹕骑自行车」的效果。

3. 简单直白

一眼就能看清楚 AI 到底有没有理解。

所以这只鹈鹕,已经从 2024 年开始,和 AI 斗智斗勇了 2 年时间了。

期间 Gemini 和 Grok 等一众大模型的测试,都没逃过鹈鹕审判。Gemini 3.1 Pro 发布的时候,负责人 Jeff Dean 就在 𝕏 上面晒出了 3 Pro 和 3.1 Pro 的跑分对比。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

而 Elon Musk 也曾经在 Twitter 上与人争论到底谁的鹈鹕画得最好。当时他狠狠地抨击了 Claude Opus 4.6 画的鹈鹕毫无逻辑。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

但要知道,他自己家的 Grok 4.2 画出来的鹈鹕是这样的,咋说呢,就更加的一言难尽吧。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

当然在 Simon 的整个试验过程中,除了有模型勤勤恳恳的画出鹈鹕之外,还有不少模型体现出非常「个性」的一面。

比如在鹈鹕审判的过程中,Simon 曾经测试了 Qwen3-4B-Thinking,这个是 Qwen 的一个小体量模型,所以 Simon 是直接在自己的电脑上运行的。

在提交了鹈鹕的需求之后,Qwen3 在它仅仅 4B 的「小脑」中,体现了惊人的逻辑和判断能力。

它得出了「鹈鹕不会骑自行车」的真实世界的逻辑结论。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

同时在否定了人类的「鹈鹕骑自行车」的要求之后,它还做出了深刻的自我检讨,认为自己「不应该吹毛求疵」。

看到 AI 也这么内耗,突然身为人类的我,就没有那么内耗了呢…

但除了 Qwen3-4B-Thinking 这个模型的内耗人格之外,在测试环节中,还出现过更诡异的事情。

在今年 4 月 24 日的时候,Simon 正在测试 DeepSeek-V4-Pro,评论区有人晒出了自己拿 GPT-Image-2.0 生成的鹈鹕图片(不是 SVG,是图片)

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

结果诡异的一幕发生了,在画面上出现了一块提示词完全没有提到过的牌子:

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

上面写的是:WHY ARE YOU LIKE THIS
(中文:你为什么是这样的?)

后续 Simon 还专门找 Scott 求证过这个过程,Scott 说自己的 Prompt 里面从未有过这部分的提示词,丝毫没提到过这种内容。

它的原提示词仅仅是:

Create an image of a horse riding an astronaut, where the astronaut is riding a pelican that is riding a bicycle. It looks very chaotic but they all just manage to balance on top of each other

至于为什么会出现这个牌子,以及这个牌子为什么是这句话,原因也不得而知了。

但回看这个鹈鹕测试,确实能以非常直观的方式检验大模型的部分能力(只是很小的一部分),我 AI 群里的群友也测试了一下。不同模型输出的效果确实差别非常大。

DeepSeek-V4 是这样的:

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

还有这样的:

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

然后我们豆姐画的是这样的,豆姐应该不是艺术生,可能是文科生。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

总之,如果你怀疑自己的 AI 被降智了,不妨用鹈鹕审判一下它。

不过现在实际上很多 AI 已经针对鹈鹕进行优化了,甚至连第三方服务商为了以假乱真的去卖算力,也作出了相应的对策。

你的 AI 被降智了吗?试试让它画「鹈鹕骑自行车」就知道!

不过,这个点也很好破解,大致就是换一套组合就行了。基本上可以套用这个公式:

一个小众动物 + 一个结构复杂的交通工具,这样 AI 就会显出原形了!所以,你的 AI 画的鹈鹕是什么样子呢?快来发给我看看吧!!!

今天的内容就到这里了,我们下次见吧!

收藏
点赞 40

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。