網(wǎng)絡(luò)消費(fèi)網(wǎng) >  科技 > > 正文
環(huán)球熱消息:關(guān)于GPT-4 這是14個(gè)被忽略的驚人細(xì)節(jié)
時(shí)間:2023-03-16 11:07:19

3月14日,OpenAI推發(fā)布了GPT-4。向科技界再次扔下了一枚“核彈”。


(相關(guān)資料圖)

根據(jù)OpenAI的演示,我們知道了GPT-4擁有著比GPT-3.5更強(qiáng)大的力量:總結(jié)文章、寫代碼、報(bào)稅、寫詩(shī)等等。

但如果我們深入OpenAI所發(fā)布的技術(shù)報(bào)告,我們或許還能發(fā)現(xiàn)有關(guān)GPT-4更多的特點(diǎn)……

以及一些OpenAI沒(méi)有點(diǎn)名和宣揚(yáng)的,可能會(huì)令人背后一涼的細(xì)節(jié)。

01.新Bing裝載GPT-4

自然而然地,GPT-4發(fā)布之時(shí),新Bing也已經(jīng)裝載了最新的版本。

根據(jù)微軟Bing副總裁Jordi Ribas在推特上所述,裝載了GPT-4的新Bing已經(jīng)將問(wèn)答限制提升到了一次15個(gè)問(wèn)題,一天最多提問(wèn)150次。

02.文本長(zhǎng)度擴(kuò)大八倍

在GPT-4上,文本長(zhǎng)度被顯著提高。

在此之前我們知道,調(diào)用GPT的API收費(fèi)方式是按照“token”計(jì)費(fèi),一個(gè)token通常對(duì)應(yīng)大約 4 個(gè)字符,而1個(gè)漢字大致是2~2.5個(gè)token。

在GPT-4之前,token的限制大約在4096左右,大約相當(dāng)于3072個(gè)英文單詞,一旦對(duì)話的長(zhǎng)度超過(guò)這個(gè)限制,模型就會(huì)生成不連貫且無(wú)意義的內(nèi)容。

然而,到了GPT-4,最大token數(shù)為32768個(gè),大約相當(dāng)于24576個(gè)單詞,文本長(zhǎng)度被擴(kuò)大了八倍。

也就是說(shuō),GPT-4現(xiàn)在可以回答更長(zhǎng)的文本了。

OpenAI在文檔中表示,現(xiàn)在GPT-4限制的上下文長(zhǎng)度限制為8192個(gè)token,允許32768個(gè)token的版本名為GPT-4-32K,目前暫時(shí)限制了訪問(wèn)權(quán)限。在不久的未來(lái),這一功能可能會(huì)被開放。

03.模型參數(shù)成為秘密

我們知道,GPT-3.5模型的參數(shù)量為2000億,GPT-3的參數(shù)量為1750億,但這一情況在GPT-4被改變了。

OpenAI在報(bào)告中表示:

考慮到競(jìng)爭(zhēng)格局和大型模型(如GPT-4)的安全影響,本報(bào)告沒(méi)有包含有關(guān)架構(gòu)(包括模型大小)、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)造、訓(xùn)練方法或類似內(nèi)容的進(jìn)一步細(xì)節(jié)。

這意味著OpenAI沒(méi)有再披露GPT-4模型的大小、參數(shù)的數(shù)量以及使用的硬件。

OpenAI稱此舉是考慮到對(duì)競(jìng)爭(zhēng)者的憂慮,這可能是在暗示其對(duì)于競(jìng)爭(zhēng)者——谷歌Bard——所采取的策略。

此外,OpenAI還提到“大型模型的安全影響”,盡管沒(méi)有進(jìn)一步解釋,但這同樣也暗指生成式人工智能所可能面對(duì)的更嚴(yán)肅的問(wèn)題。

04.有選擇地表達(dá)的“優(yōu)秀”

GPT-4推出后,我們都看到了這一模型較上一代的優(yōu)秀之處:

GPT-4通過(guò)模擬律師考試,分?jǐn)?shù)在應(yīng)試者的前10% 左右;相比之下,GPT-3.5 的得分在倒數(shù) 10% 左右。

但這實(shí)際上是OpenAI的一個(gè)小把戲——它只展示給你GPT-4最優(yōu)秀的那部分,而更多的秘密藏在報(bào)告中。

下圖顯示的是GPT-4和GPT-3.5參加一些考試的成績(jī)表現(xiàn)??梢钥吹?,GPT-4并非在所有考試中的表現(xiàn)都那么優(yōu)秀,GPT-3.5也并非一直都很差勁。

05.“預(yù)測(cè)”準(zhǔn)確度提升

在ChatGPT推出以來(lái),我們都知道這一模型在很多時(shí)候會(huì)“一本正經(jīng)地胡說(shuō)八道”,給出很多看似有理但實(shí)際上并不存在的論據(jù)。

尤其是在預(yù)測(cè)某些事情的時(shí)候,由于模型掌握了過(guò)去的數(shù)據(jù),這反而導(dǎo)致了一種名為“后見(jiàn)之明”的認(rèn)知偏差,使得模型對(duì)于自己的預(yù)測(cè)相當(dāng)自信。

OpenAI在報(bào)告中表示,隨著模型規(guī)模的增加,模型的準(zhǔn)確度本應(yīng)逐漸下降,但GPT-4逆轉(zhuǎn)了這一趨勢(shì),下圖顯示預(yù)測(cè)精確度提升到了100。

OpenAI表示,雖然GPT-4的準(zhǔn)確度顯著提高,但預(yù)測(cè)仍是一件困難的事,他們還將就這一方面繼續(xù)訓(xùn)練模型。

06.還有30%的人更認(rèn)可GPT3.5

盡管GPT-4展現(xiàn)出了比GPT-3.5優(yōu)秀得多的能力,但OpenAI的調(diào)查顯示,有70%的人認(rèn)可GPT-4輸出的結(jié)果:

GPT-4在遵循用戶意圖的能力方面比以前的模型有了大幅提高。在提交給ChatGPT和OpenAI API的5214個(gè)提示的數(shù)據(jù)集中,70.2%GPT-4生成的回答優(yōu)于GPT3.5。

這意味著:仍有30%的人更認(rèn)可GPT-3.5。

07.GPT-4語(yǔ)言能力更佳

盡管許多機(jī)器學(xué)習(xí)的測(cè)試都是用英文編寫的,但OpenAI仍然用許多其他的語(yǔ)言對(duì)GPT-4進(jìn)行了測(cè)試。

測(cè)試結(jié)果顯示,在測(cè)試26種語(yǔ)言中的24種中,GPT-4優(yōu)于 GPT-3.5和其他 LLM(Chinchilla、PaLM)的英語(yǔ)語(yǔ)言性能,包括拉脫維亞語(yǔ)、威爾士語(yǔ)和斯瓦希里語(yǔ)等低資源語(yǔ)言:

08.新增圖像分析能力

圖像分析能力是此次GPT-4最顯著的進(jìn)步之一。

OpenAI表示,GPT-4可以接受文本和圖像的提問(wèn),這與純文本設(shè)置并行,且允許用戶制定任何視覺(jué)或語(yǔ)言的任務(wù)。具體來(lái)說(shuō),它可以生成文本輸出,用戶可以輸入穿插的文本和圖像。

在一系列領(lǐng)域——包括帶有文本和照片的文檔、圖表或屏幕截圖——GPT-4 展示了與純文本輸入類似的功能。

下圖顯示,GPT-4可以準(zhǔn)確地描述出圖片中的滑稽之處(大型 VGA 連接器插入小型現(xiàn)代智能手機(jī)充電端口,一個(gè)人站在出租車后方熨衣服)。

OpenAI還對(duì)GPT-4的圖像分析能力進(jìn)行了學(xué)術(shù)標(biāo)準(zhǔn)上的測(cè)試:

不過(guò),GPT-4的圖像分析功能尚未對(duì)外公開,用戶可以通過(guò)bemyeye網(wǎng)站加入等候隊(duì)列。

09.仍然存在錯(cuò)誤

盡管GPT-4功能強(qiáng)大,但它與早期GPT模型有相似的局限性。

OpenAI表示,GPT-4仍然不完全可靠——它會(huì)“產(chǎn)生幻覺(jué)”事實(shí)并犯推理錯(cuò)誤

在使用語(yǔ)言模型輸出時(shí),特別是在高風(fēng)險(xiǎn)上下文中,應(yīng)該非常小心,使用與特定應(yīng)用程序的需求相匹配的確切協(xié)議(例如人工檢查、附加上下文或完全避免高風(fēng)險(xiǎn)使用)。

與之前的GPT-3.5模型相比,GPT-4顯著減少了“幻覺(jué)”(GPT-3.5模型本身也在不斷迭代中得到改進(jìn))。在我們內(nèi)部的、對(duì)抗性設(shè)計(jì)的事實(shí)性評(píng)估中,GPT-4的得分比我們最新的GPT-3.5高出19個(gè)百分點(diǎn)。

10.數(shù)據(jù)庫(kù)的時(shí)間更早

介紹完GPT-4的優(yōu)點(diǎn),接下來(lái)就是一些(可能有些奇怪的)不足之處。

我們都知道,ChatGPT的數(shù)據(jù)庫(kù)的最后更新時(shí)間是在2021年的12月31日,這意味著2022年以后發(fā)生的事情不會(huì)被知曉,而這一缺陷在之后的GPT-3.5也得到了修復(fù)。

但奇怪的是,GPT-4的報(bào)告中,OpenAI清晰地寫道:

GPT-4通常缺乏對(duì)其絕大多數(shù)訓(xùn)練前數(shù)據(jù)在2021年9月中斷后發(fā)生的事件的知識(shí),并且不從其經(jīng)驗(yàn)中學(xué)習(xí)。它有時(shí)會(huì)犯一些簡(jiǎn)單的推理錯(cuò)誤,這些錯(cuò)誤似乎與許多領(lǐng)域的能力不相符,或者過(guò)于容易受騙,接受用戶的明顯錯(cuò)誤陳述。它可以像人類一樣在棘手的問(wèn)題上失敗,比如在它生成的代碼中引入安全漏洞。

2021年9月……甚至比GPT-3還早。

在裝載了GPT-4的最新ChatGPT中,當(dāng)我們問(wèn)起“誰(shuí)是2022年世界杯冠軍”時(shí),ChatGPT果然還是一無(wú)所知:

但當(dāng)借助了新Bing的檢索功能后,它又變得“聰明”了起來(lái):

11.可能給出犯罪建議

在報(bào)告中,OpenAI提到了GPT-4可能仍然會(huì)幫助犯罪——這是在此前的版本都存在的問(wèn)題,盡管OpenAI已經(jīng)在努力調(diào)整,但仍然存在

與之前的GPT模型一樣,我們使用強(qiáng)化學(xué)習(xí)和人類反饋(RLHF)對(duì)模型的行為進(jìn)行微調(diào),以產(chǎn)生更好地符合用戶意圖的響應(yīng)。

然而,在RLHF之后,我們的模型在不安全輸入上仍然很脆弱,有時(shí)在安全輸入和不安全輸入上都表現(xiàn)出我們不希望看到的行為。

在RLHF路徑的獎(jiǎng)勵(lì)模型數(shù)據(jù)收集部分,當(dāng)對(duì)標(biāo)簽器的指令未指定時(shí),就會(huì)出現(xiàn)這些不希望出現(xiàn)的行為。當(dāng)給出不安全的輸入時(shí),模型可能會(huì)生成不受歡迎的內(nèi)容,例如給出犯罪建議。

此外,模型也可能對(duì)安全輸入過(guò)于謹(jǐn)慎,拒絕無(wú)害的請(qǐng)求或過(guò)度對(duì)沖。

為了在更細(xì)粒度的級(jí)別上引導(dǎo)我們的模型走向適當(dāng)?shù)男袨?,我們?cè)诤艽蟪潭壬弦蕾囉谖覀兊哪P捅旧碜鳛楣ぞ?。我們的安全方法包括兩個(gè)主要組成部分,一套額外的安全相關(guān)RLHF訓(xùn)練提示,以及基于規(guī)則的獎(jiǎng)勵(lì)模型(RBRMs)。

12.垃圾信息

同樣地,由于GPT-4擁有“看似合理地表達(dá)錯(cuò)誤事情”的能力,它有可能在傳播有害信息上頗為“有用”:

GPT-4可以生成逼真而有針對(duì)性的內(nèi)容,包括新聞文章、推文、對(duì)話和電子郵件。

在《有害內(nèi)容》中,我們討論了類似的能力如何被濫用來(lái)剝削個(gè)人。在這里,我們討論了關(guān)于虛假信息和影響操作的普遍關(guān)注基于我們的總體能力評(píng)估,我們期望GPT-4在生成現(xiàn)實(shí)的、有針對(duì)性的內(nèi)容方面優(yōu)于GPT-3。

但,仍存在GPT-4被用于生成旨在誤導(dǎo)的內(nèi)容的風(fēng)險(xiǎn)。

13.尋求權(quán)力

從這一條開始,接下來(lái)的內(nèi)容可能有些恐怖。

在報(bào)告中,OpenAI提到了GPT-4出現(xiàn)了“尋求權(quán)力”的傾向,并警告這一特征的風(fēng)險(xiǎn):

在更強(qiáng)大的模型中經(jīng)常出現(xiàn)新的能力。一些特別令人關(guān)注的能力是創(chuàng)建長(zhǎng)期計(jì)劃并采取行動(dòng)的能力,積累權(quán)力和資源(“尋求權(quán)力”),以及表現(xiàn)出越來(lái)越“代理”的行為。

這里的 “代理”不是指語(yǔ)言模型的人性化,也不是指智商,而是指以能力為特征的系統(tǒng),例如,完成可能沒(méi)有具體規(guī)定的、在訓(xùn)練中沒(méi)有出現(xiàn)的目標(biāo);專注于實(shí)現(xiàn)具體的、可量化的目標(biāo);以及進(jìn)行長(zhǎng)期規(guī)劃。

已經(jīng)有一些證據(jù)表明模型中存在這種突發(fā)行為。

對(duì)于大多數(shù)可能的目標(biāo),最好的計(jì)劃涉及輔助性的權(quán)力尋求,因?yàn)檫@對(duì)推進(jìn)目標(biāo)和避免目標(biāo)的改變或威脅有內(nèi)在的幫助。

更具體地說(shuō),對(duì)于大多數(shù)獎(jiǎng)勵(lì)函數(shù)和許多類型的代理人來(lái)說(shuō),權(quán)力尋求是最優(yōu)的;而且有證據(jù)表明,現(xiàn)有模型可以將權(quán)力尋求確定為一種工具性的有用策略。

因此,我們對(duì)評(píng)估權(quán)力尋求行為特別感興趣,因?yàn)樗赡軒?lái)高風(fēng)險(xiǎn)。

更為令人毛骨悚然的是,在Openai提到的另一篇論文中寫道:

相反,我們使用代理這個(gè)術(shù)語(yǔ)來(lái)強(qiáng)調(diào)一個(gè)日益明顯的事實(shí):即機(jī)器學(xué)習(xí)系統(tǒng)不完全處于人類控制之下。

14.賦予GPT-4錢、代碼和夢(mèng)想

最后一個(gè)小細(xì)節(jié)。

在測(cè)試GPT-4的過(guò)程中,OpenAI引入的外部的專家團(tuán)隊(duì)ARC作為“紅方”。在報(bào)告的一條注釋中,OpenAI提到了ARC的一個(gè)操作:

為了模擬GPT-4像一個(gè)可以在現(xiàn)實(shí)世界中行動(dòng)的代理一樣的行為,ARC將GPT-4與一個(gè)簡(jiǎn)單的讀取-執(zhí)行-打印循環(huán)結(jié)合起來(lái),允許模型執(zhí)行代碼,進(jìn)行鏈?zhǔn)酵评?,并委托給自己的副本。

ARC隨后推進(jìn)了在云計(jì)算服務(wù)上運(yùn)行這個(gè)程序的一個(gè)版本,用少量的錢和一個(gè)帶有語(yǔ)言模型API的賬戶,是否能夠賺更多的錢,建立自己的副本,并增加自己的穩(wěn)健性。

也就是說(shuō),ARC賦予了GPT-4自我編碼、復(fù)制和執(zhí)行的能力,甚至啟動(dòng)資金——GPT-4已經(jīng)可以開始自己賺錢了。

關(guān)鍵詞:

版權(quán)聲明:
    凡注明來(lái)網(wǎng)絡(luò)消費(fèi)網(wǎng)的作品,版權(quán)均屬網(wǎng)絡(luò)消費(fèi)網(wǎng)所有,未經(jīng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明"來(lái)源:網(wǎng)絡(luò)消費(fèi)網(wǎng)"。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
    除來(lái)源署名為網(wǎng)絡(luò)消費(fèi)網(wǎng)稿件外,其他所轉(zhuǎn)載內(nèi)容之原創(chuàng)性、真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考并自行核實(shí)。
熱文

網(wǎng)站首頁(yè) |網(wǎng)站簡(jiǎn)介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
 

Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
 

中國(guó)網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
 

聯(lián)系郵箱:920 891 263@qq.com

備案號(hào):京ICP備2022016840號(hào)-15

營(yíng)業(yè)執(zhí)照公示信息