·“（該模型） 仍然存在很多問題和錯(cuò)誤……但你確實(shí)可以看到微積分或法律等技能的飛躍，從某些領(lǐng)域的非常糟糕到相對(duì)于人類來說實(shí)際上相當(dāng)好。 ”

(資料圖片)

·從長遠(yuǎn)來看，OpenAI計(jì)劃構(gòu)建和部署可以處理多種媒體的系統(tǒng)，包括聲音和視頻?！拔覀兛梢圆捎盟羞@些通用知識(shí)技能，并將它們傳播到各種不同領(lǐng)域。這將技術(shù)帶入了一個(gè)全新的領(lǐng)域。”

人工智能研究機(jī)構(gòu)OpenAI 3月14日發(fā)布了備受期待的文本生成AI模型GPT-4。GPT-4在關(guān)鍵方面對(duì)其前代GPT-3進(jìn)行了改進(jìn)，例如提供更符合事實(shí)的陳述，并允許開發(fā)人員更輕松地規(guī)定其風(fēng)格和行為。它是多模態(tài)的模型，可以理解圖像內(nèi)容。但是，GPT-4也有嚴(yán)重的缺陷，與GPT-3一樣，該模型會(huì)產(chǎn)生“幻覺”并犯下基本的推理錯(cuò)誤。

GPT-4發(fā)布后，多家媒體關(guān)注的焦點(diǎn)是，OpenAI并沒有透露很多細(xì)節(jié)，包括該模型有多大的參數(shù)，性能為什么更好。“GPT-4是該公司發(fā)布過的最機(jī)密的版本，標(biāo)志著其從非營利性研究實(shí)驗(yàn)室全面轉(zhuǎn)變?yōu)闋I利性科技公司?！薄堵槭±砉た萍荚u(píng)論》的文章稱。

OpenAI的首席科學(xué)家伊利亞·蘇茨克沃（Ilya Sutskever）在公告發(fā)布一個(gè)小時(shí)后通過視頻通話與GPT-4團(tuán)隊(duì)成員交談時(shí)說：“你知道，我們目前無法對(duì)此發(fā)表評(píng)論?！薄案?jìng)爭(zhēng)非常激烈?！?/p>

為了更好地了解GPT-4的開發(fā)周期及其功能和局限性，科技媒體TechCrunch 14日采訪了OpenAI的聯(lián)合創(chuàng)始人兼總裁格雷格·布羅克曼（Greg Brockman）。當(dāng)被要求比較GPT-4和GPT-3時(shí)，布羅克曼說：“就是不同?！薄埃ㄔ撃Ｐ停?仍然存在很多問題和錯(cuò)誤……但你確實(shí)可以看到微積分或法律等技能的飛躍，從某些領(lǐng)域的非常糟糕到相對(duì)于人類來說實(shí)際上相當(dāng)好。 ”

OpenAI高層，總左到右為首席技術(shù)官米拉·穆拉蒂、首席執(zhí)行官山姆·奧特曼，總裁格雷格·布羅克曼，首席科學(xué)家伊利亞·蘇茨克沃。圖片來源：Jim Wilson

到底有多大的訓(xùn)練參數(shù)？

測(cè)試結(jié)果顯示，在美國大學(xué)先修課程微積分BC考試中，GPT-4獲得4分（滿分5分），而GPT-3獲得1分。GPT-3.5是GPT-3和GPT-4的中間模型，也獲得4分。模擬律師考試方面，GPT-4以排名前10%的成績通過，GPT-3.5的分?jǐn)?shù)徘徊在后10%左右。（詳見澎湃科技報(bào)道《OpenAI發(fā)布多模態(tài)大模型GPT-4：直接開放API，ChatGPT升級(jí)》）

GPT-4更有趣的方面之一是多模態(tài)。與GPT-3和GPT-3.5只能接受文本提示不同，GPT-4可以接受圖像和文本提示來執(zhí)行某些操作。這是因?yàn)镚PT-4接受了圖像和文本數(shù)據(jù)的訓(xùn)練，而其前代僅接受了文本訓(xùn)練。

GPT是Generative Pre-training Transformer（生成式預(yù)訓(xùn)練Transformer）的縮寫。OpenAI于2018年推出具有1.17億個(gè)參數(shù)的GPT-1模型，2019年推出具有15億個(gè)參數(shù)的GPT-2，2020年推出有1750億個(gè)參數(shù)的GPT-3。ChatGPT是OpenAI對(duì)GPT-3模型微調(diào)后開發(fā)出來的對(duì)話機(jī)器人。

但是，OpenAI這次選擇不透露GPT-4訓(xùn)練數(shù)據(jù)的具體規(guī)模。在新聞公告里，OpenAI只表示，它使用與ChatGPT相同的方法取得了這些結(jié)果，通過人類反饋強(qiáng)化學(xué)習(xí)。這要求人類評(píng)分者對(duì)來自模型的不同響應(yīng)進(jìn)行評(píng)分，并使用這些分?jǐn)?shù)來改進(jìn)未來的輸出。

OpenAI表示，訓(xùn)練數(shù)據(jù)來自“各種許可、創(chuàng)建和公開可用的數(shù)據(jù)源，其中可能包括公開可用的個(gè)人信息”，但當(dāng)被詢問具體細(xì)節(jié)時(shí)，布羅克曼拒絕了TechCrunch的詢問。據(jù)悉，訓(xùn)練數(shù)據(jù)之前曾讓OpenAI陷入關(guān)于版權(quán)的法律糾紛。

在接受《紐約時(shí)報(bào)》的采訪時(shí)，布羅克曼則表示，OpenAI的數(shù)據(jù)集是“互聯(lián)網(wǎng)規(guī)模的”，這意味著它涵蓋了足夠多的網(wǎng)站，可以提供互聯(lián)網(wǎng)上所有說英語的人的代表性樣本。

OpenAI的工作人員在辦公。圖片來源：Jim Wilson

“緩慢而有目的”地推廣圖像功能

GPT-4的圖像理解能力令人印象深刻。例如，輸入提示“這張圖片有什么好笑的？一個(gè)面板一個(gè)面板地描述它”，加上一張三面板圖像，顯示一條假VGA電纜被插入iPhone，GPT-4給出了每個(gè)面板的詳細(xì)描述并正確解釋了這個(gè)笑話：這個(gè)圖像中的幽默來自于荒謬地將過時(shí)的大的VGA連接器插入小的現(xiàn)代智能手機(jī)充電口。

GPT-4解讀圖像內(nèi)容。

“在過去幾年里，一個(gè)好的多模態(tài)模型一直是許多大型技術(shù)實(shí)驗(yàn)室的圣杯?！遍_源大型語言模型BLOOM背后的人工智能初創(chuàng)公司Hugging Face的聯(lián)合創(chuàng)始人托馬斯·沃爾夫（Thomas Wolf）說， “但它仍然難以捉摸?！?/p>

從理論上講，結(jié)合文本和圖像可以讓多模態(tài)模型更好地理解世界?！八赡苣軌蚪鉀Q語言模型的傳統(tǒng)弱點(diǎn)，比如空間推理?！蔽譅柗蛘f。尚不清楚GPT-4是否如此。

目前只有一個(gè)OpenAI的合作伙伴可以使用GPT-4的圖像分析功能——一款名為Be My Eyes的視障人士輔助應(yīng)用程序（詳見澎湃科技報(bào)道《第一批公司已采用GPT-4，都用它來做些什么？》。布羅克曼表示，隨著OpenAI評(píng)估風(fēng)險(xiǎn)和收益，無論何時(shí)進(jìn)行更廣泛的推廣，都將是“緩慢而有目的”的。

布羅克曼說，面部識(shí)別以及如何處理人物圖像等方面存在政策問題。”“我們需要弄清楚危險(xiǎn)區(qū)域在哪里，紅線在哪里，然后隨著時(shí)間的推移弄清楚這一點(diǎn)?！?/p>

此前，OpenAI圍繞其文本到圖像系統(tǒng)DALL-E 2面臨了類似的道德困境。在最初禁用該功能后，OpenAI又允許用戶上傳人臉以使用人工智能圖像生成系統(tǒng)對(duì)其進(jìn)行編輯。當(dāng)時(shí)，OpenAI稱其安全系統(tǒng)的升級(jí)使面部編輯功能成為可能，因?yàn)樽畲笙薅鹊販p少了深度造假，以及試圖創(chuàng)造性、政治和暴力內(nèi)容的潛在危害。

“從每3個(gè)月發(fā)布一個(gè)新模型轉(zhuǎn)向不斷改進(jìn)”

另一個(gè)老問題是防止GPT-4以可能造成傷害的方式被使用，包括心理、金錢等方面。該模型發(fā)布數(shù)小時(shí)后，以色列網(wǎng)絡(luò)安全初創(chuàng)公司Adversa AI發(fā)布了一篇博文，展示了繞過OpenAI內(nèi)容過濾器并讓GPT-4生成網(wǎng)絡(luò)釣魚電子郵件、對(duì)同性戀者的攻擊性描述和其他令人反感的文本的方法。

這在語言模型領(lǐng)域并不是一個(gè)新現(xiàn)象。Meta的BlenderBot和ChatGPT也被提示說出非常冒犯的話，甚至透露有關(guān)其內(nèi)部運(yùn)作的敏感細(xì)節(jié)。但許多人曾希望，GPT-4可能會(huì)在這方面帶來重大改進(jìn)。

當(dāng)被問及GPT-4的穩(wěn)健性時(shí)，布羅克曼強(qiáng)調(diào)該模型已經(jīng)接受了5個(gè)月的安全訓(xùn)練，并且在內(nèi)部測(cè)試中，它響應(yīng)OpenAI政策不允許的內(nèi)容請(qǐng)求的可能性降低了82%。

“我們花了很多時(shí)間試圖了解GPT-4的能力?！辈剂_克曼說，“把它帶到外面的世界是我們學(xué)習(xí)的方式。我們不斷進(jìn)行更新，包括一堆改進(jìn)，這樣模型就更能擴(kuò)展到你希望它處于的任何個(gè)性或某種模式?！?/p>

布羅克曼并不否認(rèn)GPT-4的不足，但他強(qiáng)調(diào)了該模型新的緩解性控制工具，包括一種稱為“系統(tǒng)”消息的API（應(yīng)用程序編程接口）級(jí)能力。系統(tǒng)消息本質(zhì)上是為GPT-4的互動(dòng)設(shè)定基調(diào)并建立界限的指令。例如，一條系統(tǒng)信息可能是這樣的：“你是一個(gè)總是以蘇格拉底方式回答問題的輔導(dǎo)員。你從不給學(xué)生答案，而總是試圖提出正確的問題，幫助他們學(xué)會(huì)自己思考?！毕到y(tǒng)信息作為護(hù)欄，可以防止GPT-4偏離方向。

“真正弄清楚GPT-4的語氣、風(fēng)格和內(nèi)容一直是我們的一個(gè)重要焦點(diǎn)?！辈剪斂寺f，“我認(rèn)為我們開始有點(diǎn)了解如何做工程，如何有一個(gè)可重復(fù)的過程，讓你得到可預(yù)測(cè)的結(jié)果，對(duì)人們真正有用?！?/p>

布羅克曼還提到了Evals，這是OpenAI剛剛開源的軟件框架，用于評(píng)估其人工智能模型的性能，是OpenAI致力于“健全”其模型的一個(gè)標(biāo)志。Evals讓用戶開發(fā)和運(yùn)行評(píng)估GPT-4等模型的基準(zhǔn)，同時(shí)檢查其性能，這是一種模型測(cè)試的眾包方法。

“通過Evals，我們可以以一種系統(tǒng)的形式看到用戶關(guān)心的（用例），能夠進(jìn)行測(cè)試?！辈剂_克曼說，“我們（開源）的部分原因是，我們正在從每3個(gè)月發(fā)布一個(gè)新模型轉(zhuǎn)向不斷改進(jìn)。做東西應(yīng)該要衡量，對(duì)嗎？當(dāng)我們制作新的版本時(shí)，我們至少可以知道這些變化是什么。”

新的上下文窗口

布羅克曼還談到了GPT-4的上下文窗口（context window），它指的是模型在生成其他文本之前可以考慮的文本。OpenAI正在測(cè)試GPT-4的一個(gè)版本，它可以“記住”大約50頁的內(nèi)容，是普通版GPT-4在其“記憶”中所能容納的內(nèi)容的五倍，是GPT-3的八倍。

布羅克曼認(rèn)為，擴(kuò)大的上下文窗口會(huì)帶來新的、以前沒有探索過的應(yīng)用，特別是在企業(yè)中。他設(shè)想了一個(gè)為公司建造的人工智能聊天機(jī)器人，利用來自包括各部門員工的不同來源的背景和知識(shí)，以一種非常明智但對(duì)話性的方式回答問題。

這不是一個(gè)新概念。但布羅克曼提出的理由是，GPT-4的答案將比今天的聊天機(jī)器人和搜索引擎的答案有用得多。

“以前，該模型對(duì)你是誰、你對(duì)什么感興趣等沒有任何了解?！辈悸蹇寺f，有了這種歷史（更大的上下文窗口），肯定會(huì)讓它更有能力......它會(huì)使人們能做的事更多?！?/p>

科學(xué)交流類似于產(chǎn)品新聞稿

即使看過了布羅克曼的采訪，但GPT-4還有很多謎團(tuán)沒有解開?！癘penAI現(xiàn)在是一家完全封閉的公司，其科學(xué)交流類似于產(chǎn)品新聞稿。”沃爾夫說。

《麻省理工科技評(píng)論》認(rèn)為，當(dāng)下，GPT-4與其他多模態(tài)模型并駕齊驅(qū)，包括來自人工智能研究機(jī)構(gòu)DeepMind的Flamingo。Hugging Face也正在開發(fā)一種開源多模態(tài)模型，其他人可以免費(fèi)使用和改編該模型。面對(duì)這樣的競(jìng)爭(zhēng)，OpenAI將GPT-4更多地視為產(chǎn)品挑逗，而不是研究更新。

目前，構(gòu)建和服務(wù)聊天機(jī)器人非常昂貴，因?yàn)樗窃诟罅康臄?shù)據(jù)上訓(xùn)練的，所以GPT-4會(huì)增加OpenAI的成本。OpenAI的首席技術(shù)官米拉·穆拉蒂（Mira Murati）告訴《紐約時(shí)報(bào)》，如果該服務(wù)產(chǎn)生過多流量，該公司可能會(huì)限制對(duì)該服務(wù)的訪問。

但從長遠(yuǎn)來看，OpenAI計(jì)劃構(gòu)建和部署可以處理多種媒體的系統(tǒng)，包括聲音和視頻?！拔覀兛梢圆捎盟羞@些通用知識(shí)技能，并將它們傳播到各種不同領(lǐng)域?！辈剂_克曼說，“這將技術(shù)帶入了一個(gè)全新的領(lǐng)域?！?/p>

許多其他公司正在排隊(duì)等候?！皩?duì)于大多數(shù)公司來說，啟動(dòng)這種規(guī)模的模型的成本是無法承受的，但是OpenAI所采用的方法使大型語言模型對(duì)于初創(chuàng)公司來說非常容易獲得?！盩ola Capital的聯(lián)合創(chuàng)始人謝拉·古拉提（Sheila Gulati）說， “這將在GPT-4之上催化巨大的創(chuàng)新。

關(guān)鍵詞：