【新智元導(dǎo)讀】ChatGPT不止會(huì)動(dòng)嘴,還能幫你操控?zé)o人機(jī)!
(資料圖片)
雖然ChatGPT已經(jīng)被調(diào)教為符合人類的偏好,但在各種反向操作下,還是能夠逼問出一些「不道德的內(nèi)容」,比如ChatGPT可以給你列一份詳細(xì)的毀滅世界計(jì)劃列表,具體到每一步。
不過,現(xiàn)在的ChatGPT只會(huì)動(dòng)動(dòng)嘴皮子,并沒有任何接觸現(xiàn)實(shí)物理世界的能力,頂多也就是當(dāng)個(gè)科幻小說看看。
但要是ChatGPT真的可以操控機(jī)器人呢?
最近,微軟發(fā)表了一篇論文,公布了他們正在把ChatGPT應(yīng)用于機(jī)器人上的研究成果。
不過微軟的目標(biāo)并非是「毀滅世界」,而是加快機(jī)器人的開發(fā)速度。
實(shí)際上在現(xiàn)代的生活和生產(chǎn)流程中,處處都離不開機(jī)器人,從工廠里制造產(chǎn)品的機(jī)械臂,到家庭里用的吸塵器,都可以算作是機(jī)器人(robot)。
每次想開發(fā)一個(gè)新產(chǎn)品,或者讓現(xiàn)有的機(jī)器執(zhí)行一個(gè)新功能,都需要一個(gè)高級(jí)工程師編寫代碼,同時(shí)盡可能編寫測試覆蓋所有場景。
微軟在論文中提出了一套新的設(shè)計(jì)原則,通過ChatGPT這樣的大型語言模型來給機(jī)器人提供指令。
ChatGPT:機(jī)器人控制器
ChatGPT之所以爆火,其根本原因就在于:AI終于在一定程度上能「聽懂人話」了,而非只是按照語法胡亂生成內(nèi)容;而且它的功能也很強(qiáng)大,問答、寫論文、寫詩、寫代碼,只要prompt寫得夠好,ChatGPT的表現(xiàn)也會(huì)更驚人。
要是把這種能力遷移到機(jī)器人身上,假設(shè)幾十年以后,各家各戶都有機(jī)器人,只要說一聲「給我熱一下午餐」,它就能自己找到微波爐,再把菜端回來,人機(jī)交互直接邁入新時(shí)代。
雖然「自然語言」很簡潔,但現(xiàn)有的機(jī)器人開發(fā)還是依賴于「編程語言」。
ChatGPT 是一個(gè)基于大量文本和人類反饋訓(xùn)練得到的語言模型,能夠針對各種各樣的提示和問題產(chǎn)生連貫且語法正確的回應(yīng)。
這項(xiàng)研究的目的是觀察 ChatGPT 是否能夠在文本之外的領(lǐng)域進(jìn)行思考,并推理出物理世界來幫助機(jī)器人完成任務(wù)。
研究人員預(yù)期ChatGPT能夠幫助用戶更容易地與機(jī)器人交互,而不需要學(xué)習(xí)復(fù)雜的編程語言或機(jī)器人系統(tǒng)的細(xì)節(jié),其中的關(guān)鍵難題就是教 ChatGPT 如何使用物理定律、操作環(huán)境的背景以及了解機(jī)器人的物理行為如何改變世界狀態(tài),并以此來解決指定的任務(wù)。
實(shí)驗(yàn)證明,ChatGPT 可以獨(dú)立完成很多工作,但是它仍然需要一些輔助,論文中描述了一系列的設(shè)計(jì)原則,可以用來指導(dǎo)語言模型解決機(jī)器人任務(wù),包括但不限于特殊的提示結(jié)構(gòu)、高級(jí) API 和基于文本的人類反饋等,一場機(jī)器人系統(tǒng)的開發(fā)革命即將到來。
全新的代碼設(shè)計(jì)流程
給大型語言模型寫prompt是一門高度經(jīng)驗(yàn)主義的科學(xué),通過反復(fù)試驗(yàn),研究人員建立了一套方法論和設(shè)計(jì)原則,專門用于為機(jī)器人任務(wù)撰寫提示:
1. 定義了一組高級(jí)機(jī)器人 API 或函數(shù)庫。
這個(gè)庫可根據(jù)特定的機(jī)器人類型進(jìn)行設(shè)計(jì),并且應(yīng)該從機(jī)器人的控制?;蚋兄獛煊成涞浆F(xiàn)有的低層次具體實(shí)現(xiàn)。
對高級(jí) API 使用的描述性名稱非常重要,可以幫助 ChatGPT推斷函數(shù)的功能。
2. 為 ChatGPT 編寫一個(gè)文本提示,用來描述任務(wù)目標(biāo),同時(shí)顯式說明高級(jí)庫中的哪些函數(shù)是可用的。
提示中還可以包含有關(guān)任務(wù)約束的信息, 或者 ChatGPT 應(yīng)該如何組織它的答案,包括使用特定的編程語言,使用輔助解析組件等 ;
3. 用戶在循環(huán)中評估 ChatGPT 的代碼輸出,可以直接執(zhí)行代碼以檢查正確性,也可以使用模擬器。
如果有需要的話,用戶可以使用自然語言向 ChatGPT 提供有關(guān)答案質(zhì)量和安全性的反饋。
當(dāng)用戶對解決方案感到滿意時(shí),就可以將最終的代碼部署到機(jī)器人上。
ChatGPT+機(jī)器人能做什么?
下面是幾個(gè)例子,更完整的ChatGPT能力列表參見代碼倉庫。
代碼鏈接:https://github.com/microsoft/PromptCraft-Robotics
Zero-shot任務(wù)規(guī)劃
當(dāng)ChatGPT遇上無人機(jī),研究人員首先讓 ChatGPT 能夠控制一臺(tái)真正的無人機(jī)的全部功能,然后按照下面視頻中進(jìn)行的對話,實(shí)驗(yàn)結(jié)果證明,一個(gè)完全不懂技術(shù)的用戶,只需要通過對話就能實(shí)現(xiàn)控制無人機(jī),「自然語言」是一個(gè)非常直觀、高效的用戶接口。
03:04
當(dāng)用戶的指令含糊不清時(shí),ChatGPT 會(huì)要求用戶進(jìn)一步說明問題,并為無人機(jī)編寫復(fù)雜的代碼結(jié)構(gòu),例如飛行之字(zig-zag)圖案,以便可視化地檢查貨架;甚至還能給用戶來一張自拍。
研究人員還在 MicrosoftAirSim 模擬器中對工業(yè)檢查場景中使用ChatGPT進(jìn)行模擬,結(jié)果顯示該模型能夠有效地解析用戶的高級(jí)意圖和幾何線索,以準(zhǔn)確地控制無人機(jī)。
03:43
復(fù)雜的任務(wù)需要用戶參與反饋
當(dāng)把ChatGPT用于機(jī)械臂的操作場景時(shí),研究人員使用「會(huì)話反饋」(conversational feedback)來教模型如何將最初提供的 API 組合成更復(fù)雜的高級(jí)函數(shù),即ChatGPT自己內(nèi)部編碼的函數(shù)。
使用以課程為基礎(chǔ)(curriculum-based)的策略,ChatGPT能夠?qū)⑦@些學(xué)到的技能有邏輯地鏈接在一起,以執(zhí)行諸如堆疊塊之類的操作。
此外,還有一個(gè)例子能展現(xiàn)出ChatGPT的強(qiáng)大能力,研究人員要求模型用木塊構(gòu)建微軟標(biāo)志,即需要將文本域和物理域連接起來。
ChatGPT不僅能夠從內(nèi)部知識(shí)庫中回憶出微軟的logo,還能夠用SVG的代碼「繪制」出這個(gè)標(biāo)志 ,然后利用上面學(xué)到的技能來確定現(xiàn)有的機(jī)器人動(dòng)作可以組成它的物理形式。
02:16
還有一個(gè)例子,研究人員讓 ChatGPT 編寫一個(gè)算法,讓無人機(jī)在不撞上障礙物的情況下,在空中達(dá)到目標(biāo)。
只需要告訴模型,它操控的這架無人機(jī)有一個(gè)前向距離傳感器,ChatGPT 立即能夠?yàn)樗惴ň幋a了大部分關(guān)鍵構(gòu)件,這個(gè)任務(wù)需要與人類進(jìn)行一些對話,ChatGPT 僅通過自然語言反饋就能進(jìn)行局部代碼修改。
01:12
在行動(dòng)之前感知世界
在算法決定做某事(action)之前能夠感知世界(perception)是打造一個(gè)機(jī)器人系統(tǒng)的基礎(chǔ)。
為了測試 ChatGPT 對指定概念的理解,研究人員設(shè)計(jì)了一個(gè)框架,要求ChatGPT不斷探索環(huán)境,讓模型訪問諸如目標(biāo)檢測和目標(biāo)距離 API 之類的函數(shù),直到找到用戶指定的對象,整個(gè)過程稱為感知-行動(dòng)循環(huán)(Perception-action loops)。
在實(shí)驗(yàn)環(huán)節(jié),研究人員進(jìn)行了額外的實(shí)驗(yàn)來評估 ChatGPT 是否能夠根據(jù)傳感器的實(shí)時(shí)反饋來決定機(jī)器人應(yīng)該去哪里,而不是讓 ChatGPT 生成一個(gè)代碼循環(huán)來做出這些決定。
實(shí)驗(yàn)結(jié)果驗(yàn)證了用戶可以在聊天的每一步輸入一個(gè)相機(jī)圖像的文本描述,并且模型能夠找出如何控制機(jī)器人,并驅(qū)使機(jī)器人到達(dá)一個(gè)特定的對象。
01:42
開源PromptCraft:收集有價(jià)值的prompt
「良好的prompting工程」對于ChatGPT等大型語言模型成功執(zhí)行機(jī)器人任務(wù)來說至關(guān)重要。
但prompting完全是一門經(jīng)驗(yàn)主義的科學(xué)、缺乏全面的總結(jié),并且相關(guān)資源也很少,沒有數(shù)據(jù)集來幫助該領(lǐng)域的研究人員和愛好者判斷什么是一個(gè)好的prompt
為了彌補(bǔ)這一劣勢,研究人員開源了一個(gè)平臺(tái) PromptCraft,任何用戶都可以在其上分享不同機(jī)器人類別的提示策略示例。
這次研究項(xiàng)目的所有提示和對話都已經(jīng)放在了倉庫中,感興趣的讀者可以繼續(xù)參與貢獻(xiàn)!
除了快速設(shè)計(jì)之外,研究人員還計(jì)劃未來開發(fā)多個(gè)機(jī)器人模擬器和接口,以允許用戶測試ChatGPT生成的算法性能,目前已經(jīng)發(fā)布了一個(gè)集成ChatGPT的AirSim環(huán)境。
把機(jī)器人帶出實(shí)驗(yàn)室,走向世界
微軟發(fā)布這些技術(shù)的目的是將機(jī)器人技術(shù)推廣到更廣泛的受眾,研究人員認(rèn)為,基于語言的機(jī)器人控制系統(tǒng)是把機(jī)器人從科學(xué)實(shí)驗(yàn)室?guī)У饺粘S脩羰种械幕A(chǔ)。
也就是說,ChatGPT 的輸出不應(yīng)該在沒有仔細(xì)分析的情況下直接部署在機(jī)器人上。
通過在模擬環(huán)境中獲得實(shí)驗(yàn)結(jié)果,能夠在未來現(xiàn)實(shí)部署之前對算法進(jìn)行評估,并采取必要的安全預(yù)防措施。
關(guān)鍵詞: chatgpt
網(wǎng)站首頁 |網(wǎng)站簡介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
中國網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
聯(lián)系郵箱:920 891 263@qq.com