網(wǎng)絡(luò)消費(fèi)網(wǎng) >  科技 > > 正文
GPT-4寫(xiě)代碼能力提升21%!MIT新方法讓LLM學(xué)會(huì)反思 網(wǎng)友:和人類(lèi)的思考方式一樣
時(shí)間:2023-03-26 14:10:06

GPT-4再度進(jìn)化!


(資料圖片僅供參考)

加上一個(gè)簡(jiǎn)單方法,就能讓GPT-4這類(lèi)大語(yǔ)言模型學(xué)會(huì)自我反思,性能直接提升30%。

在此之前,大語(yǔ)言模型回答出錯(cuò),經(jīng)常是二話不說(shuō),直接先道歉,然后emmmmmm,繼續(xù)亂猜。

現(xiàn)在,它不會(huì)這樣了,有了新方法的加成,GPT-4不僅會(huì)反思自己哪里錯(cuò)了,還會(huì)給出改進(jìn)策略。

比如說(shuō)它會(huì)自動(dòng)分析為什么“陷入循環(huán)”:

或者說(shuō)反思一下自己有缺陷的搜索策略:

這是美國(guó)東北大學(xué)聯(lián)合MIT發(fā)表的最新論文中的方法:Reflexion。

不僅適用于GPT-4,也適用于其他大語(yǔ)言模型,讓它們學(xué)會(huì)人類(lèi)特有的反思能力。

目前該論文已經(jīng)發(fā)表在預(yù)印平臺(tái)arxiv上。

這把直接讓網(wǎng)友直呼“AI進(jìn)化的速度已經(jīng)超過(guò)我們適應(yīng)的能力了,我們要被毀滅了。”

甚至有網(wǎng)友為開(kāi)發(fā)人員發(fā)來(lái)“飯碗警告”:

用這種方法寫(xiě)代碼的時(shí)薪是要比普通開(kāi)發(fā)人員便宜的。

利用二元獎(jiǎng)勵(lì)機(jī)制實(shí)現(xiàn)反思

正如網(wǎng)友所言,Reflexion賦予GPT-4的反思能力和人類(lèi)的思考過(guò)程差不多:

可以簡(jiǎn)單用兩個(gè)字來(lái)概括:反饋。

在這個(gè)反饋過(guò)程中,又可以分為三大步:

1、評(píng)估:測(cè)試當(dāng)前生成答案的準(zhǔn)確性

2、自我反省的產(chǎn)生:錯(cuò)誤識(shí)別——實(shí)現(xiàn)修正

3、執(zhí)行一個(gè)迭代反饋循環(huán)

在第一步評(píng)估的過(guò)程中,首先要經(jīng)歷的是LLM(大語(yǔ)言模型)的自我評(píng)估

也就是說(shuō)LLM在還沒(méi)有外部反饋時(shí),首先要自己對(duì)答案進(jìn)行反思。

那如何進(jìn)行自我反思?

研究團(tuán)隊(duì)使用了一個(gè)二元獎(jiǎng)勵(lì)機(jī)制,為L(zhǎng)LM在當(dāng)前狀態(tài)下執(zhí)行的操作賦值:

1代表生成的結(jié)果OK,0則表示生成的結(jié)果不太行。

而之所以采用二元而非多值或連續(xù)輸出這類(lèi)更具描述性的獎(jiǎng)勵(lì)機(jī)制,原因和沒(méi)有外部輸入有關(guān)。

要在沒(méi)有外部反饋的條件下進(jìn)行自我反思,必須將答案限制在二元狀態(tài)下,只有這樣,才能迫使LLM做出有意義的推斷。

在自我評(píng)估結(jié)束之后,如果二元獎(jiǎng)勵(lì)機(jī)制輸出為1,則不啟動(dòng)自我反思裝置,若為0,LLM則會(huì)開(kāi)啟反思模式。

在反思的過(guò)程中,模型會(huì)觸發(fā)一個(gè)啟發(fā)性函數(shù)h(如下),類(lèi)比人類(lèi)思考過(guò)程,h起到的作用就像是監(jiān)督一樣。

不過(guò),同人類(lèi)思考一樣,LLM在反思的過(guò)程中同樣也有局限性,這在函數(shù)中的Ω和ε中就能體現(xiàn)。

Ω表示重復(fù)連續(xù)動(dòng)作的次數(shù),一般會(huì)將這個(gè)數(shù)值設(shè)置為3,這表示反思過(guò)程中若重復(fù)一個(gè)步驟三次,會(huì)直接跳到下一個(gè)步驟。

而ε則表示在反思的過(guò)程中允許執(zhí)行的最大操作數(shù)量。

既然有監(jiān)督,那修正也必須執(zhí)行,修正過(guò)程的函數(shù)是這樣子的:

其中,自我反思模型是通過(guò)“特定領(lǐng)域的失敗軌跡和理想反射對(duì)”訓(xùn)練而來(lái)的,并不允許訪問(wèn)數(shù)據(jù)集中給定問(wèn)題的特定領(lǐng)域的解決方案。

這樣一來(lái),LLM在反思的過(guò)程中便能夠迸發(fā)出更多有“創(chuàng)新性”的東西。

反思之后性能提升近30%

既然GPT-4這類(lèi)LLM都能夠進(jìn)行自我反思了,那具體效果究竟如何?

研究團(tuán)隊(duì)在ALFWorld和HotpotQA基準(zhǔn)上對(duì)這種方法進(jìn)行了評(píng)估。

在HotpotQA的100個(gè)問(wèn)答對(duì)測(cè)試中,使用Reflexion這種方法的LLM顯示出了巨大的優(yōu)勢(shì),再經(jīng)過(guò)多輪反思重復(fù)提問(wèn)之后,LLM的性能提升了接近30%。

而沒(méi)有使用Reflexion,在重復(fù)問(wèn)答之后,性能沒(méi)有任何變化。

在HotpotQA的134個(gè)問(wèn)答對(duì)測(cè)試中,可以看出在Reflexion的加持下,LLM經(jīng)過(guò)多輪反思后,準(zhǔn)確率一度達(dá)到97%。

在另外一篇博客中,團(tuán)隊(duì)成員也曬出了他們這種方法在GPT-4上的效果,測(cè)試范圍是編寫(xiě)代碼。

結(jié)果也顯而易見(jiàn),用了Reflexion,GPT-4的編程能力直接提升了21%。

關(guān)于GPT-4已經(jīng)會(huì)“思考”了,你怎(huang)么(le)看(ma)?

關(guān)鍵詞:

版權(quán)聲明:
    凡注明來(lái)網(wǎng)絡(luò)消費(fèi)網(wǎng)的作品,版權(quán)均屬網(wǎng)絡(luò)消費(fèi)網(wǎng)所有,未經(jīng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明"來(lái)源:網(wǎng)絡(luò)消費(fèi)網(wǎng)"。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
    除來(lái)源署名為網(wǎng)絡(luò)消費(fèi)網(wǎng)稿件外,其他所轉(zhuǎn)載內(nèi)容之原創(chuàng)性、真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考并自行核實(shí)。
熱文

網(wǎng)站首頁(yè) |網(wǎng)站簡(jiǎn)介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
 

Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
 

中國(guó)網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書(shū)面授權(quán) 不得復(fù)制或建立鏡像
 

聯(lián)系郵箱:920 891 263@qq.com

備案號(hào):京ICP備2022016840號(hào)-15

營(yíng)業(yè)執(zhí)照公示信息