新智元報道

(資料圖片)

編輯：Aeneas 拉燕

【新智元導讀】近日，一名外國小哥測出，GPT-4語言能力智商已達152，吊打絕大多數(shù)人類。好在，它的空間推理還不行。

GPT-4在語言能力上的智商，已經(jīng)吊打人類！

最近，國外的一位小哥測試了GPT-4的智商，結(jié)果顯示，它的語言智商已經(jīng)達到了152。

而根據(jù)調(diào)查，人類的平均智商是90-109，單論語言智商的話，人類是妥妥地被GPT-4吊打了……

GPT-4的能力，我們此前早已耳熟能詳。3月底，微軟的一篇154頁的論文，震驚全世界。

在這篇論文中，微軟表示，GPT-4已經(jīng)顯現(xiàn)出了通用人工智能的火花，它可以被認為是通用人工智能的一個早期版本。

論文地址：https://arxiv.org/pdf/2303.12712.pdf

通過測試，微軟的研究者證實：GPT-4不僅精通語言，還能在數(shù)學、編程、視覺、醫(yī)學、法律、心理學等多樣化和高難度的任務(wù)中表現(xiàn)出色，且無需特別提示。

最可怕的是，在所有這些任務(wù)中，GPT-4的表現(xiàn)都接近了人類水平，并且時常超過之前的模型。

下面，我們就來看看GPT-4在各方面能力上，哪些能吊打人類，哪些暫時還無法趕超我們。

為GPT-4量身打造IQ測試

首先，這位小哥上網(wǎng)搜索了一下免費的智商測試。

但他發(fā)現(xiàn)一個棘手的問題：這些智商測試，很多都是以圖像的形式。

然而GPT-4，目前可以被認為還是一個「瞎子」+「聾子」，并沒有讀圖能力。

怎么辦呢？這位小哥隨后意識到，肯定有專門為視力缺陷的人設(shè)計的智商測試。

他動手試了試，果然搜到了。然而，這種測試非常昂貴，需要花1500多刀，沒法白嫖。

自己動手，豐衣足食。這位小哥干脆一不做二不休，自己上手，為GPT-4量身打造了一版智商測試。

難得倒陶哲軒，難不倒GPT-4

首先要測試的，是GPT-4的數(shù)學能力。

全世界最流行、最頂尖的數(shù)學測試是什么？自然就是國際奧數(shù)比賽。

世界上最偉大的數(shù)學家之一陶哲軒，就是在1986年參加的國際奧數(shù)比賽。

那一年，試題中的第6題，連他也解不出。

那GPT-4可以么？

小哥把這道題輸給了GPT-4，結(jié)果是——它解出來了。

但是，我們并不能說，它就勝過了世界上最厲害的成年人數(shù)學家。

另外，它也無法證明孿生素數(shù)猜想。（要是能證明就有鬼了）

小哥讓GPT-4繪制一個方程式的坐標，也遭到了GPT-4的拒絕。

非常禮貌地懇求它，結(jié)果還是被婉拒了。

所以，GPT-4的極限到底在哪里呢？

這位小哥只能去查閱公開的文獻。在OpenAI的官方論文中，GPT-4在SAT的數(shù)學考試中得分高于91%的人類，在其其他數(shù)學類考試中表現(xiàn)也很優(yōu)異。

不善溝通的語言天才

接下來，小哥想測試一下GPT-4在人際關(guān)系智能（Interpersonal Intelligence），以及內(nèi)省智能（Intrapersonal Intelligence）方面表現(xiàn)如何。

嚴謹?shù)男「缦壬暇W(wǎng)查了一下，何為人際關(guān)系智能——善于處理人際關(guān)系的人，他們能更好地理解他人，并和別人進行互動。這類人擅長評估情緒、動機、欲望，以及周圍人的意圖。

然后，他找了一篇SAT考試中的文章，將文章內(nèi)容復制下來，把所有的和人物動機有關(guān)的問題也一股腦甩給了GPT-4。

GPT-4表現(xiàn)還算....出色？四個題對了三個。

然而，GPT-4卻沒有任何分析情緒的能力。

因為，按它自己的原話，它只是一個AI模型，并沒有「自我」的概念。

那GPT-4的內(nèi)省智能如何呢？

小哥表示，一個內(nèi)省智能高的人，對自身優(yōu)缺點有清醒的認知。

把這個當作prompt輸入GPT-4，發(fā)現(xiàn)這模型對自己定位還是挺清晰的。

比方說，優(yōu)點里有廣泛的知識儲備、反應迅速、多語能力、模式識別能力，以及可擴展性強等等。

而缺點包括缺乏個人經(jīng)驗、缺乏某些領(lǐng)域的知識、不太能理解上下文、文學解讀、道德評判等等。

但小哥表示，這種認識程度還遠遠不夠?？偟膩碚f，GPT-4的人際關(guān)系智能和內(nèi)省智能，都一般。

小哥還給GPT-4測了一下口頭語言的IQ測試，它得了152分。

對人類來說，這個分數(shù)意味著——你是個天才。

空間推理 小試牛刀

而轉(zhuǎn)到空間能力這一塊，GPT-4的表現(xiàn)就不容樂觀了。

本來，小哥想讓GPT-4直接做一套空間推理的選擇題。

但是，OpenAI未來才會慢慢開發(fā)GPT-4的識圖功能。

在OpenAI發(fā)布的視頻中，研究人員上傳了這么一張圖片，然后問GPT-4，如果把繩子剪短會怎么樣。

GPT-4表示，那氣球就會飛走了！

小哥和GPT-4下了把井字棋，通過文字輸入控制走棋。

但GPT-4在深諳規(guī)則的情況下，耍賴了。

本來該小哥贏，讓GPT-4幫自己在最下面一排的中間畫一個圈三連。

GPT-4可倒好，直接把最上面一排的圈擦了，畫了個自己的叉。作弊取勝。

ChatGPT：魔方？我不會啊

為了進一步測試GPT-4的空間理解能力，小哥祭出了大殺器——魔方。

要知道，對人類來說，魔方也是衡量一個人空間感的方法之一。

首先，因為GPT-4不能看圖，所以要先想辦法用文字描述魔方的狀態(tài)。

熟悉魔方的朋友對下面這個圖應該不會陌生。在公式中，我們常常會用若干字母，或字母加一個撇號來代表不同的操作。

一般魔方正對我們，不同的旋轉(zhuǎn)對應不同的表達。就像下面這樣。

小哥在視頻中做了一個示范，確保GPT-4領(lǐng)會了這個意思。

然后，就要開始把GPT-4拉出來遛遛了！看看它到底會不會還原。

萬事先從簡單的開始。小哥第一步只是把魔方最上層向左擰了一下，看看GPT-4會不會還原。

這點難度還是難不倒GPT-4。小哥輸入U這個操作（最上層向左擰），GPT-4也是很快給出了U’（U的反向操作）這個答案。

緊接著是UR，意思就是最上層左擰一次，最右邊上擰一次。

GPT-4也很快給出了反向操作——R’U’。

接著就要上難度了！小哥開始徹底打亂魔方，總共十多步。

令人驚訝的是，GPT-4居然真的生成出結(jié)果了！

然而小哥定睛一看，GPT-4生成的復原方法，就是把所有打亂的步驟反過來來一遍。

看完直呼無語，這要你何用。

于是小哥發(fā)現(xiàn)這樣做就是會出現(xiàn)這個問題。因為你輸入打亂的方式，GPT-4必然在復原的時候反向操作。

問題的關(guān)鍵，就是不能讓GPT-4知道這是怎么打亂的。

小哥很聰明，問了一下GPT-4，如果是你，你會怎么描述魔方的狀態(tài)？

GPT-4采取了下圖這樣的方式：用不同的字母代替不同的顏色，把每一個面的顏色情況全部用字母表達出來。

這樣就避免了打亂步驟這一個part。

這次經(jīng)過嘗試，只有第一次的小試牛刀成功了，也就是只打亂一次的結(jié)果。

GPT-4處理起簡單問題真是毫不手軟，可惜一復雜就趴窩了。

最后還生成出了下圖這個結(jié)果——

小哥表示，這現(xiàn)實的魔方根本擰不成這樣啊，GPT-4你在干什么？？

這個結(jié)果直接給GPT-4玩兒魔方的能力宣判了死刑。

除了倒推復原，GPT-4根本玩不轉(zhuǎn)魔方。

兩任總統(tǒng)的RAP對決，泰褲辣

最后，這位小哥還測了一波GPT-4的音樂能力。

咱們都知道，GPT-4會寫詩。

既然如此，小哥就讓GPT-4以Minecraft服務(wù)器中的特朗普和拜登的說唱大戰(zhàn)為主題，寫出rap詞和旋律，還要make a beat。

小哥發(fā)現(xiàn)，最好的方式就是用ABC notation，因為GPT-4寫不出五線譜。

所以，小哥讓GPT-4用ABC notation寫一個Boom bap beat，然后把這個beat輸入到一個音樂網(wǎng)站里。

GPT-4寫出的beat是這樣的——

聽起來沒啥驚喜。

標簽：