機(jī)器之心原創(chuàng)

【資料圖】

采訪：聞菲

《人工智能：現(xiàn)代方法》（Artificial Intelligence: A Modern Approach）第四版中文版于近期問世，機(jī)器之心對作者 Stuart Russell 教授進(jìn)行了專訪。作為 AI 領(lǐng)域的經(jīng)典，《人工智能：現(xiàn)代方法》幾經(jīng)再版，內(nèi)容和結(jié)構(gòu)反映出兩位作者不斷發(fā)展的理解。最新第四版是他們把近十年 AI 進(jìn)展，尤其是深度學(xué)習(xí)所帶來的影響納入整體框架后給出的最新闡釋，體現(xiàn)了兩位大師對人工智能趨勢和學(xué)科體系發(fā)展的洞見。

本次采訪也依循「a modern approach」，希望從一種切合技術(shù)和時(shí)代發(fā)展的視角，展現(xiàn) Russell 教授對技術(shù)動向、智能理論，以及流行 VS 經(jīng)典的思考，為 AI 研究人員和從業(yè)者帶來啟發(fā)。

Stuart Russell 供職于加州大學(xué)伯克利分校，現(xiàn)任計(jì)算機(jī)科學(xué)系教授（曾任系主任）、人類兼容人工智能中心主任。 1990 年獲得美國國家科學(xué)基金會杰出青年科學(xué)總統(tǒng)獎，1995 年獲得 IJCAI 計(jì)算和思想獎。 他是 AAAI、ACM 和 AAAS Fellow，在人工智能領(lǐng)域發(fā)表論文 300 余篇，涉及主題廣泛。 圖片來源： kavlicenter.berkeley.edu

Russell 教授相信在接下來的十年，人們的關(guān)注點(diǎn)將從對端到端深度學(xué)習(xí)的倚重，重新回到由模塊化的、基于數(shù)理邏輯的、語義明確定義的表示（representation）所構(gòu)成的系統(tǒng)，而深度學(xué)習(xí)將在獲取原始感知數(shù)據(jù)方面扮演至關(guān)重要的作用。需要強(qiáng)調(diào)的是，模塊化的、語義明確定義的表示不一定是由手工設(shè)計(jì)或不靈活的，這樣的表示完全可以從數(shù)據(jù)中學(xué)習(xí)。

至于如今大火的 ChatGPT，Russell 教授認(rèn)為關(guān)鍵是要區(qū)分任務(wù)領(lǐng)域，弄清楚在什么情況下使用它：ChatGPT 可以是一種很好的工具，如果它能錨定在事實(shí)基礎(chǔ)上，與規(guī)劃系統(tǒng)相結(jié)合，將帶來更大的價(jià)值。但問題是，我們目前不清楚 ChatGPT 的工作原理，也很可能無法弄清它們，這需要一些概念上的突破，而這樣的突破很難預(yù)測。

他認(rèn)為要構(gòu)建真正智能的系統(tǒng)，我們應(yīng)當(dāng)更加關(guān)注數(shù)理邏輯和知識推理，因?yàn)槲覀冃枰獙⑾到y(tǒng)建立在我們了解的方法之上，這樣才能確保 AI 不會失控。他不認(rèn)為擴(kuò)大規(guī)模是答案，也不看好用更多數(shù)據(jù)和更多算力就能解決問題，這種想法過于樂觀，在智力上也不有趣。

如果罔顧深度學(xué)習(xí)數(shù)據(jù)效率低這一根本性的問題，「我擔(dān)心我們在自欺欺人地認(rèn)為我們正在走向真正的智能。我們所做的一切實(shí)際上是向根本不是真正智能模型的東西添加越來越多的像素?！?/p>

-1-

機(jī)器之心：在您看來，以 ChatGPT 為代表的大規(guī)模預(yù)訓(xùn)練語言模型（LLM）是否從本質(zhì)上將人工智能提升到一個(gè)更高的水平？LLM 是否克服了深度學(xué)習(xí)系統(tǒng)的一些根本性問題，比如常識獲取、知識推理？

Stuart Russell：我首先想到的回答是——我們不知道，因?yàn)闆]有人知道這些模型是如何工作的，包括創(chuàng)造它們的人。

ChatGPT 知道什么？它能推理嗎？它在什么意義上理解了答案？我們不知道。

我在俄勒岡州立大學(xué)的一個(gè)朋友問模型「大象和貓哪個(gè)大？」模型回答「大象大」，但換種問法「大象和貓，哪個(gè)不比另一個(gè)大？」模型回答「大象和貓哪個(gè)都不比另一個(gè)大」。所以你說模型知道大象和貓哪個(gè)更大嗎？它不知道，因?yàn)閾Q種問法，它就得出自相矛盾的結(jié)論。

那么，模型知道什么呢？

我再舉個(gè)例子，也是實(shí)際發(fā)生的事情。這些模型的訓(xùn)練數(shù)據(jù)中有大量的國際象棋棋譜，用統(tǒng)一的代碼和符號表示，一局棋看起來是 e4 e5 Nf3 Nc6 Bb5...…的序列。棋手知道這些符號的含義，知道這些序列所描繪的走子過程。但模型不知道，模型不知道有棋盤，也不知道走子，在模型看來這些符號就是符號。所以，當(dāng)你和它下盲棋時(shí)，你說「我們來下國際象棋吧，g4」，它可能回復(fù)「e6」，當(dāng)然這可能是一步好棋，但模型并沒有對弈的概念，它只是從訓(xùn)練數(shù)據(jù)中找到相似的序列，并對這些序列進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，然后生成下一步棋。在 80% 甚至 90% 的情況下，它會生成一步好棋，但其他時(shí)候它會走出很傻或者完全不符合規(guī)則的棋，因?yàn)樗鼪]有在棋盤上下棋的概念。

不只是下棋，我認(rèn)為這實(shí)際上適用于所有現(xiàn)在大模型在做的事情：80% 的情況下它看起來像一個(gè)很聰明的人，但在余下 20% 的時(shí)間里它看起來像一個(gè)徹頭徹尾的白癡。

看起來聰明是因?yàn)樗写罅康臄?shù)據(jù)，人類迄今為止寫的書、文章……它幾乎都讀過，但盡管如此，在接受了如此之巨的有用信息后，它還是會吐出完全不知所謂的東西。所以，在這個(gè)意義上，我認(rèn)為語言大模型很可能不是人工智能的一種進(jìn)步。

ChatGPT 真正令人印象深刻的是它的泛化能力，它能夠在其與用戶進(jìn)行的對話和此前讀過的文本中找到相似之處并進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，所以它的回答看起來很智能。但是，我們不知道模型是如何做到這一點(diǎn)的，我們也不知道這種泛化能力的邊界在哪里，我們不知道這種泛化是如何在電路中實(shí)現(xiàn)的。

如果我們真的知道了，那確實(shí)可以說是人工智能的進(jìn)步，因?yàn)槲覀兡軌虬阉鳛橐粋€(gè)基礎(chǔ)，我們能夠基于 ChatGPT 開發(fā)其他系統(tǒng)。但現(xiàn)階段而言，一切都還是謎。我們所謂往前走的唯一方法是——模型不 work？好吧，我們再給它更多數(shù)據(jù)，把模型再做大一點(diǎn)。

我不認(rèn)為擴(kuò)大規(guī)模是答案。數(shù)據(jù)終有用完的一天，而現(xiàn)實(shí)世界總有新的情況發(fā)生。當(dāng)我們編寫國際象棋程序的時(shí)候，那些真正能把棋下好的程序，都能很好地應(yīng)對從未見過的情況，原因只有一個(gè)，那就是這些程序了解國際象棋的規(guī)則，能夠?qū)⑵遄釉谄灞P上位置的演變——可以落子的點(diǎn)，對手接下來可能的走法，包括棋譜里從未有過的走法——進(jìn)行可視化。

我們現(xiàn)在還遠(yuǎn)遠(yuǎn)無法在現(xiàn)實(shí)世界的一般情況中做到這一點(diǎn)。同時(shí)，我并不認(rèn)為語言大模型讓我們距離實(shí)現(xiàn)這一目標(biāo)更近了。除了一點(diǎn)，那就是你或許可以說，語言大模型讓我們能夠使用存儲在文本中的人類知識。

如果我們能把語言大模型錨定在已知的事實(shí)中，它們會更加有用。想想看有 5000 億個(gè)事實(shí)的谷歌知識圖譜，如果 ChatGPT 能錨定在這些事實(shí)中，與這些事實(shí)相關(guān)的問題都能給出正確的回答，那么 ChatGPT 會更加可靠。

如果我們能想辦法把語言大模型耦合到能夠正確進(jìn)行推理和規(guī)劃的推理引擎中，那你可以說我們突破了人工智能的一個(gè)瓶頸。我們現(xiàn)在有很多規(guī)劃算法，但要讓這些規(guī)劃算法進(jìn)行正確合理的規(guī)劃，比如制造一輛汽車，給它們提供所需的知識，是很難做到的，因?yàn)樾枰私獾臇|西太多了，很難把它們?nèi)繉懴聛恚⑶冶ＷC全都是對的。但語言大模型讀遍了所有關(guān)于汽車的書籍，也許它們可以幫助我們構(gòu)建出必要的知識，或者干脆按需回答必要的問題，這樣我們在做規(guī)劃時(shí)，就能獲取所有這些知識了。

相比于只把 ChatGPT 看成是幫你做某件事情的黑盒子， 把語言大模型與規(guī)劃算法相結(jié)合，讓它們成為規(guī)劃系統(tǒng)的知識輸入，這將帶來真正有價(jià)值的商業(yè)工具。據(jù)我所知，已經(jīng)有人在朝著這個(gè)方向努力了，如果成功，那將會是一大進(jìn)步。

機(jī)器之心：作為教師，您如何看待 ChatGPT——您會允許學(xué)生用 ChatGPT 生成論文嗎？作為用戶，您如何看 ChatGPT 催生的各種應(yīng)用，尤其是商業(yè)應(yīng)用？

Stuart Russell：幾周前，當(dāng)我在達(dá)沃斯世界經(jīng)濟(jì)論壇上與商界人士交流時(shí)，每個(gè)人都在問我關(guān)于語言大模型，以及如何在他們的公司中使用這些模型的問題。

我認(rèn)為你可以這么想，那就是你會把一個(gè) 6 歲的孩子放在你公司里同樣的崗位上嗎？

雖然兩者在能力上存在差異，但我認(rèn)為是可以這樣類比的。語言大模型、ChatGPT 不可信，它們沒有常識，會一本正經(jīng)地給出錯(cuò)誤的信息。所以，如果你要在公司里使用 ChatGPT 或類似的模型，你必須非常地小心。如果你把公司里的某些崗位或職責(zé)看作是網(wǎng)絡(luò)中的節(jié)點(diǎn)，語言在這些節(jié)點(diǎn)里輸入和輸出——當(dāng)然，你完全可以這樣看，很多工作就是如此，比如記者，教授們做的也是這樣的事情。但是，這并不意味著你能用 ChatGPT 取代他們。

在教育方面我們必須非常謹(jǐn)慎。ChatGPT 的出現(xiàn)讓很多人陷入恐慌。有人說，啊我們必須在學(xué)校里禁用 ChatGPT。另一部分人則說，禁用 ChatGPT 太荒謬了，他們翻出 19 世紀(jì)的一些討論——當(dāng)時(shí)有人說啊我們必須禁止機(jī)械計(jì)算器，因?yàn)槿绻麑W(xué)生開始使用機(jī)械計(jì)算器了，那他們永遠(yuǎn)都學(xué)不會正確做數(shù)學(xué)計(jì)算了。

這聽起來是不是很有說服力？我們是不是好像沒必要禁止 ChatGPT？但是，這個(gè)類比是完全錯(cuò)誤的——機(jī)械計(jì)算器自動化的，恰恰是非常機(jī)械的過程。將 26 位的數(shù)字相乘是非常機(jī)械的，是一套指令，你只要按照步驟，一步一步一步一步一步一步來，就能夠得到答案。遵循指令的知識價(jià)值是有限的，尤其是當(dāng)人并不理解指令作用的時(shí)候。

但 ChatGPT 將要取代的并不是機(jī)械地遵循指令，而是回答問題的能力，閱讀理解的能力，將想法整理成文的能力。如果你連這些都沒有學(xué)會，就讓 ChatGPT 代而為之，那你可能真的會長成廢人。

現(xiàn)在有電子計(jì)算器了，但我們?nèi)匀唤毯⒆觽兯阈g(shù)，我們會教他們算術(shù)的規(guī)則，努力讓他們理解數(shù)字是什么，數(shù)字如何對應(yīng)于物理世界中的事物，等等。只有當(dāng)他們獲得了這種理解，掌握了算術(shù)規(guī)則之后，我們才會給他們電子計(jì)算器，這樣他們就不必按照機(jī)械的工序進(jìn)行繁瑣的操作。

在我們那個(gè)年代，當(dāng)時(shí)還沒有計(jì)算器，我們用的是打印出來的表格，里面有各種正弦余弦和對數(shù)函數(shù)的值，從來沒有人說用了這些表就學(xué)不會數(shù)學(xué)了。

所以，我們必須弄清楚什么時(shí)候?qū)W生開始使用像 ChatGPT 這樣的工具是合適的。回答你剛才的問題，如果你能找到寫論文這個(gè)任務(wù)中無腦的部分——其實(shí)寫論文的過程中有很多時(shí)候是無需動腦的，只是在機(jī)械地重復(fù)繁瑣又無聊的工序——那么你大可使用 ChatGPT，我對此沒有任何異議。

但是，寫作并不全是枯燥無聊的工序，寫作本質(zhì)上是一種思考，也是人學(xué)會思考的一種方式。我們最不想要的是盲目使用 ChatGPT 的人，他們既不理解問題也不理解答案。

至于 ChatGPT 的其他應(yīng)用，比如生成圖片或者音樂，我想情況也類似，關(guān)鍵是分清楚任務(wù)領(lǐng)域。我認(rèn)為藝術(shù)創(chuàng)作的過程可以大致分為兩部分，首先是對你想要創(chuàng)作什么有一個(gè)概念，然后是根據(jù)你的構(gòu)想把它實(shí)際創(chuàng)造出來的相對機(jī)械的過程。對某些人來說，后者非常具有挑戰(zhàn)性，無論他們多么努力，也無法制作出好看的圖片，所以我們才會有受過專門訓(xùn)練的藝術(shù)家，尤其是商業(yè)藝術(shù)家，他們的工作不涉及太多創(chuàng)意，更注重按需求制作圖片的能力。我認(rèn)為這是一個(gè)受到極大威脅的職業(yè)。

我在寫書時(shí)就有這樣的經(jīng)歷，《人工智能：現(xiàn)代方法》中有五六百幅插圖，幾乎都是我自己畫的。制作一張好的插圖或圖示是一個(gè)緩慢而艱苦的過程，需要很多技巧和技能。如果有大模型或應(yīng)用能生成跟我書里那些插圖一樣的圖表或技術(shù)圖示，我非常樂意使用它們。

基于模型、基于效用的智能體。來源：《人工智能：現(xiàn)代方法（第 4 版）》插圖 2-14

通用學(xué)習(xí)型智能體。來源：《人工智能：現(xiàn)代方法（第 4 版）》插圖 2-15

-2-

機(jī)器之心：我們不清楚 ChatGPT 的原理，但通過工程實(shí)現(xiàn)，得到了在某些情況下好用的工具；ChatGPT 似乎也是將人納入回路的一個(gè)很好的例子。從工程角度看，ChatGPT 是否是一種進(jìn)步？

Stuart Russell：我不確定 ChatGPT 是否可以被稱為工程，因?yàn)橥ǔＶv，我們認(rèn)為「工程」是一門應(yīng)用工程科學(xué)的學(xué)科，將物理學(xué)、化學(xué)、機(jī)械學(xué)、電子學(xué)等知識組合起來，以復(fù)雜而巧妙的方式制造出對人類有用的東西。同時(shí)，這些東西為什么會有用，我們是理解的，因?yàn)樗鼈兡切┯杏玫男再|(zhì)是我們通過特定的方法實(shí)現(xiàn)的，并且可以復(fù)現(xiàn)。

但我們是如何開發(fā) ChatGPT 的呢？納入人類的反饋是有用的，但從結(jié)果看，ChatGPT 是我們是在大量數(shù)據(jù)集上做梯度下降得到的。這讓我想起了上世紀(jì) 50 年代，當(dāng)時(shí)有大量的精力被投入到遺傳編程中，人們寄希望于通過模擬生物演化來實(shí)現(xiàn)智能的 Fortran 程序，結(jié)果一敗涂地。

理論上講，當(dāng)你有足夠多的 Fortran 程序并讓它們產(chǎn)生足夠多的突變，原則上是可能會產(chǎn)生比人類更聰明的 Fortran 程序的。只是這種原則上的可能并沒有在實(shí)踐中成真。

現(xiàn)在，你在足夠大的電路和足夠多的數(shù)據(jù)上做梯度下降，突然之間就能創(chuàng)造出真正的智能了？我覺得可能性不大，或許比進(jìn)化 Fortran 程序多那么一點(diǎn)——但也說不好，或許 Fortran 程序才更有可能，因?yàn)橛欣碛烧J(rèn)為 Fortran 程序是一種比電路（circuits）表示能力更強(qiáng)的語言，而在 1958 年他們放棄 Fortran 程序那會兒，當(dāng)時(shí)的計(jì)算能力比我們現(xiàn)在要低 15 或 16 個(gè)數(shù)量級。

機(jī)器之心：那不用「工程」這個(gè)詞，您如何看 OpenAI 正在做的這件事？

Stuart Russell：OpenAI 正在做的，你可以稱其為烹飪（Cookery），因?yàn)槲覀冋娴牟恢肋@些模型的原理。就好比我做蛋糕的時(shí)候，我不知道它是怎么變成蛋糕的，人類做蛋糕已經(jīng)有幾千年歷史了，在嘗試了許多不同的原料和許多不同的方法，在各種原料和方法上做大量的梯度下降后，有一天發(fā)現(xiàn)了一個(gè)神奇的東西——蛋糕，這就是烹飪?，F(xiàn)在我們對蛋糕的底層原理有了更多的了解，但仍不完美。通過烹飪，我們能得到的有限，這個(gè)過程也不具有大的知識價(jià)值。

要是因?yàn)?ChatGPT 的一些根本性問題，有一天你通過輸入提示（prompt）或指示（instruct）怎么都得不到你想要的答案該怎么辦？再去修改食譜？把 token 從 4000 提到 5000，再把網(wǎng)絡(luò)層數(shù)翻一番？這不是科學(xué)，而且我認(rèn)為這在智力上并不有趣。

嘗試?yán)斫庹Z言大模型的工作原理的研究當(dāng)然是有價(jià)值的，因?yàn)?ChatGPT 正在進(jìn)行大量驚人的泛化，只有弄清楚這是如何發(fā)生的，我們才可能真正開發(fā)有意義的智能系統(tǒng)?，F(xiàn)在有很多人投身于此，這方面也有大量發(fā)表的論文。

但 ChatGPT 的內(nèi)部機(jī)制是否能被理解，我認(rèn)為很難說，它可能過于復(fù)雜，我們沒有辦法對里面發(fā)生的事情進(jìn)行逆向工程。

一個(gè)有趣的類比是 3 萬年前發(fā)生在人和狗之間的事情。我們不了解狗的大腦是如何工作的，你很難完全弄清楚一只狗在想什么，但我們學(xué)會了馴化它們，現(xiàn)在狗已經(jīng)融入我們的生活，它們扮演著各種有價(jià)值的角色。我們發(fā)現(xiàn)狗擅長很多事情，包括看家護(hù)院、陪孩子玩耍，但我們并沒有通過工程來實(shí)現(xiàn)這一點(diǎn)，我們通過育種、通過調(diào)整配方，對這些特性進(jìn)行選擇和改良。但你并不會期望你的狗幫你寫文章，你知道它們做不到這一點(diǎn)，并且你也很可能并不希望你的狗能做到這一點(diǎn)。

ChatGPT 這整件事令人意外的地方在于，我認(rèn)為這是 AI 系統(tǒng)第一次真正進(jìn)入了公眾的視野，這是一個(gè)很大的變化。OpenAI 自己有句話說得好，那就是盡管 ChatGPT 不是真正的智能，但它讓人體嘗到了真正的（人工）智能實(shí)現(xiàn)后，每個(gè)人都能用那種智能做各種他們想做的事情的滋味。

機(jī)器之心：另一個(gè)很多人關(guān)注的點(diǎn)是 LLM 所帶來的中間任務(wù)的消失。您認(rèn)為這些中間任務(wù)，比如語義分析、句法分析，從一種技術(shù)迭代的視角，現(xiàn)在還有多大價(jià)值，將來真的會消失嗎？那些處在中間的 AI 研究人員和從業(yè)者，那些沒有強(qiáng)大硬件資源，也沒有強(qiáng)大領(lǐng)域知識的人，是否存在失去工作的危險(xiǎn)？

Stuart Russell：這是一個(gè)好問題。事實(shí)是現(xiàn)在很難發(fā)表語義分析的論文，實(shí)際上，現(xiàn)在很難讓 NLP 社區(qū)的人聽進(jìn)去任何事情，除非你講語言大模型，或者用大模型刷新大基準(zhǔn)。幾乎所有的論文都是關(guān)于刷新大基準(zhǔn)的，你很難發(fā)表一篇不是關(guān)于刷新大基準(zhǔn)的文章，比如語言結(jié)構(gòu)、語言理解，或者語義分析、句法分析，等等，于是評測大模型的大基準(zhǔn)成了寫論文的唯一選擇，而這些大基準(zhǔn)其實(shí)跟語言沒有任何關(guān)系。

某種意義上說，如今的自然語言處理領(lǐng)域，我們不再研究語言，我認(rèn)為這是非常不幸的。計(jì)算機(jī)視覺也是如此，在如今大部分的計(jì)算機(jī)視覺研究中，我們不再研究視覺，我們只研究數(shù)據(jù)、訓(xùn)練和預(yù)測的準(zhǔn)確性。

至于接下來如何發(fā)展 AI，我認(rèn)為應(yīng)該關(guān)注那些我們理解的方法，關(guān)注知識和邏輯推理。原因有兩方面，首先我們希望 AI 系統(tǒng)是可靠的，我們需要從數(shù)學(xué)上確保它們安全和可控，而這意味著我們必須理解我們所構(gòu)建的系統(tǒng)。

其次，從數(shù)據(jù)效率的角度考慮，如果要實(shí)現(xiàn)通用智能，數(shù)據(jù)效率將是必須的，人腦以 20 瓦而不是 20 兆瓦的功率運(yùn)行。電路不是一種很有表現(xiàn)力的語言，這些算法的數(shù)據(jù)效率比人類學(xué)習(xí)低好幾個(gè)量級，你很難在電路里寫下我們知道的關(guān)于這個(gè)世界的很多事情。在我們有了通用計(jì)算機(jī)和編程語言后，我們就不再使用電路，因?yàn)樵诔绦蛑斜磉_(dá)我們想要什么要簡單得多，也好用得多，人工智能社區(qū)在很大程度上已經(jīng)忘記了這一點(diǎn)，很多人都誤入了歧途。

-3-

機(jī)器之心：《人工智能：現(xiàn)代方法》第四版有一個(gè)重要的更新，那就是不再假設(shè) AI 系統(tǒng)或智能體擁有固定的目標(biāo)。此前人工智能的目的被定義為「創(chuàng)建一些試圖最大化期望效用的系統(tǒng)，其目標(biāo)由人設(shè)定」，現(xiàn)在我們不再給 AI 系統(tǒng)設(shè)定目標(biāo)，為什么會有這樣的一種轉(zhuǎn)變？

Stuart Russell：原因有幾點(diǎn)。首先，隨著人工智能走出實(shí)驗(yàn)室，走入現(xiàn)實(shí)世界，我們發(fā)現(xiàn)其實(shí)很難完全正確地定義我們的目標(biāo)。例如，當(dāng)你在路上開車時(shí)，你想快速到達(dá)目的地，但這并不意味著你應(yīng)該以每小時(shí) 200 英里的速度行駛，而你如果告訴自動駕駛汽車安全第一，它可能永遠(yuǎn)停在車庫里。在安全和快速到達(dá)目的地，以及對其他司機(jī)友好、不讓乘客感到不舒服、遵守法律法規(guī)……等等各種目標(biāo)之間需要權(quán)衡。路上總會有一些風(fēng)險(xiǎn)，會發(fā)生一些無法避免的意外，很難把你在駕駛時(shí)的目標(biāo)全部寫下來，而駕駛只是生活中一件很小、很簡單的事情。所以，從實(shí)際操作的角度講，給 AI 系統(tǒng)設(shè)定目標(biāo)是不合理的。

其次則涉及到我在書中舉的邁達(dá)斯王的例子（King Midas Problem）。邁達(dá)斯是希臘神話中的一位國王，他非常貪婪，求神賜予他點(diǎn)物成金的力量，神滿足了他的愿望，他碰到的一切都變成了金子，他實(shí)現(xiàn)了他的目標(biāo)，但后來他的水、他的食物也成了金子，他的家人被他碰了之后也成了金子，最后他在黃金圍繞中悲慘地死去。這警示我們，當(dāng)你為非常強(qiáng)大的系統(tǒng)定義目標(biāo)時(shí)，你最好確保你所定義的目標(biāo)是絕對正確的。但既然我們已經(jīng)知道我們做不到這一點(diǎn)，那么隨著 AI 系統(tǒng)越變越強(qiáng)大，它們不知道真正的目標(biāo)是什么就越來越重要。

目標(biāo)其實(shí)是一件非常復(fù)雜的事情。例如我說午飯想買個(gè)橙子，這可以是一個(gè)目標(biāo)，對吧？在日常語境中，目標(biāo)被視為某種可以被實(shí)現(xiàn)的東西，一旦實(shí)現(xiàn)了，事情就完結(jié)了。但在哲學(xué)與經(jīng)濟(jì)學(xué)定義的理性選擇理論中，其實(shí)并不存在這樣的目標(biāo)，我們有的是對各種可能的未來的偏好或排序，每一種可能的未來都從現(xiàn)在一直延伸到時(shí)間的盡頭，里面包含了宇宙中的所有。我想，這是對目標(biāo)、對人類真正想要什么的一種更復(fù)雜、更深遠(yuǎn)的理解。

機(jī)器之心：這種轉(zhuǎn)變對人工智能接下來的發(fā)展有怎樣的影響？

Stuart Russell：自上世紀(jì)四五十年代人工智能伴隨計(jì)算機(jī)科學(xué)誕生以來，研究人員需要對智能有一個(gè)概念，這樣才能以此為基礎(chǔ)進(jìn)行研究。雖然早期的一些工作更多是模仿人類的認(rèn)知，但最終勝出的是理性的概念：一臺機(jī)器越能通過行動實(shí)現(xiàn)其預(yù)期目標(biāo)，我們就認(rèn)為它越智能。

在人工智能的標(biāo)準(zhǔn)模型中，我們致力于創(chuàng)造的就是這種類型的機(jī)器；人類定義目標(biāo)，機(jī)器完成余下的部分。例如，對于確定性環(huán)境中的求解系統(tǒng)，我們給定成本函數(shù)和目標(biāo)標(biāo)準(zhǔn)，讓機(jī)器找到實(shí)現(xiàn)目標(biāo)狀態(tài)的代價(jià)最小的動作序列；對于隨機(jī)環(huán)境中的強(qiáng)化學(xué)習(xí)系統(tǒng)，我們給定獎勵(lì)函數(shù)和折扣因子，讓機(jī)器學(xué)習(xí)最大化期望折扣獎勵(lì)和的策略。在人工智能領(lǐng)域以外也能見到這種方法：控制學(xué)家最小化成本函數(shù)，運(yùn)籌學(xué)家最大化獎勵(lì)，統(tǒng)計(jì)學(xué)家最小化預(yù)期損失函數(shù)，經(jīng)濟(jì)學(xué)家最大化個(gè)人效用或群體的福祉。

但標(biāo)準(zhǔn)模型其實(shí)是錯(cuò)誤的。正如剛才所說，我們幾乎不可能完全正確地指定我們的目標(biāo)，而當(dāng)機(jī)器的目標(biāo)與我們真正期望的目標(biāo)不符時(shí)，我們可能會失去對機(jī)器的掌控，因?yàn)闄C(jī)器會先發(fā)制人，采取措施，不惜一切代價(jià)確保其實(shí)現(xiàn)既定目標(biāo)。幾乎所有的現(xiàn)有 AI 系統(tǒng)都在標(biāo)準(zhǔn)模型的框架中開發(fā)的，這就帶來了很大的問題。

在《人工智能：現(xiàn)代方法（第 4 版）》中，我們提出人工智能需要新的模型， 新的模型強(qiáng)調(diào) AI 系統(tǒng)對目標(biāo)的不確定性，這種不確定使機(jī)器會去學(xué)習(xí)人類的偏好，采取行動前征求人類的意見。在 AI 系統(tǒng)運(yùn)行期間，必須有一些信息從人類流向機(jī)器，說明人類的真正偏好，而不是人類在最初設(shè)定目標(biāo)后就無關(guān)緊要了。這需要讓機(jī)器與固定的目標(biāo)解耦，以及讓機(jī)器與人類實(shí)現(xiàn)二元耦合。標(biāo)準(zhǔn)模型可以被視為一種極端的情況，也即在機(jī)器的作用范圍內(nèi)，可以完全正確地指定人類所期望的目標(biāo)，例如下圍棋或解謎。

我們也在書中提供了一些示例來說明新模型的工作原理，例如不確定偏好、關(guān)機(jī)問題（off-switch problem）、輔助博弈（assistance game），等等。但這些都只是開始，我們才剛剛開始研究。

機(jī)器之心：在人工智能這個(gè)快速發(fā)展的領(lǐng)域，如何緊跟技術(shù)趨勢又不盲目追逐熱點(diǎn)？AI 研究者和從業(yè)者應(yīng)該將什么常記于心？

Stuart Russell：要構(gòu)建真正智能的系統(tǒng)，我認(rèn)為根本問題是能夠用一種具有表示性的語言去表示宇宙中包含的各種不規(guī)則。智能和電路的本質(zhì)區(qū)別就在于此，據(jù)我們所知，電路不能很好地表示那些不規(guī)則，這在實(shí)踐中表現(xiàn)為數(shù)據(jù)效率的極端低下。

舉一個(gè)簡單的例子，我可以寫下正弦函數(shù)的定義（用數(shù)學(xué)公式），或者我可以嘗試用大量像素憑經(jīng)驗(yàn)描述正弦函數(shù)。如果我只有 1000 萬像素，我只能覆蓋正弦函數(shù)的一部分，如果看我已經(jīng)覆蓋的區(qū)域，我似乎有一個(gè)很好的正弦函數(shù)模型。但實(shí)際上，我并沒有真正理解正弦函數(shù)，我不知道函數(shù)的形狀，也不知道它的數(shù)學(xué)性質(zhì)。

我很擔(dān)心我們在自欺欺人地認(rèn)為我們正在走向真正的智能。我們所做的一切實(shí)際上是向根本不是真正智能模型的東西添加越來越多的像素。

我認(rèn)為在構(gòu)建 AI 系統(tǒng)時(shí)，我們需要關(guān)注那些具有基本表示能力的方法，其核心在于能夠?qū)λ械膶ο螅╫bject）進(jìn)行聲明。假設(shè)我要把圍棋的規(guī)則寫下來，那么這些規(guī)則必須適用于棋盤上的每一格，我可以說對于每個(gè) x 每個(gè) y 會怎樣，我也可以用 C++ 或 Python 來寫，我還可以用英語寫，用一階邏輯寫。這些語言都能讓我以非常簡潔的方式寫下規(guī)則，因?yàn)樗鼈兌季哂斜磉_(dá)這些規(guī)則的表示能力。但是，我無法在電路中做到這一點(diǎn)，基于電路的表示（包括深度學(xué)習(xí)系統(tǒng)）不能表示這一類的泛化。

罔顧這一事實(shí)而企圖通過大數(shù)據(jù)實(shí)現(xiàn)智能，在我看來很荒謬，這就好比說不需要理解什么是一顆圍棋的棋子，因?yàn)槲覀冇袔资畠|的訓(xùn)練樣本。你想想看人類智能做的事情，我們建造了 LIGO，檢測到了來自宇宙另一端的引力波。我們是怎么做到的？基于知識和推理。在建造出 LIGO 之前，我們從哪里去搜集訓(xùn)練樣本？很顯然，前人了解到了一些事情，包括他們的感官體驗(yàn)，然后用英語和數(shù)學(xué)這樣一些表示性的語言將其記錄下來，我們從中學(xué)習(xí)，了解到宇宙運(yùn)行的規(guī)律，并基于這些進(jìn)行推理和工程和設(shè)計(jì)，等等，從而觀測到了宇宙另一端的黑洞碰撞。

當(dāng)然，基于大數(shù)據(jù)實(shí)現(xiàn)智能是可能的，很多事情都是可能的，進(jìn)化出一個(gè)比人類更加智能的 Fortran 程序也是可能的。但我們花了兩千多年理解知識和推理，也開發(fā)出了大量基于知識和推理的優(yōu)秀的技術(shù)，并且基于這些技術(shù)開發(fā)出了成千上萬的有用的應(yīng)用?，F(xiàn)在你對智能感興趣，卻不關(guān)心知識和推理，我對此無話可說。

關(guān)鍵詞： chatgpt 人工智能 機(jī)器之心