網(wǎng)絡消費網(wǎng) >  科技 > > 正文
世界要聞:專訪IDEA研究院張家興:“做研究”只是手段 AI才是目的
時間:2023-03-03 18:25:04

·“像ChatGPT,它確實沒有什么學術價值,但它就是有實際的應用價值。以前我們過于本末倒置了,總覺得AI跟做研究等同。其實研究是服務于AI,研究是個手段,不是目的,AI才是目的?!?/span>

·“原本以為我們只是差頂尖做理論研究、原創(chuàng)性研究的大師,但忽視了在?年研究者跟工程師之間,還有一層是用工程能力做模型的一群人,而我接下來也想在中國將這層的能力補齊?!?/span>

ChatGPT出來以后,張家興意識到,自然語言處理(NLP)大模型的范式變化了。


(資料圖片僅供參考)

作為粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院(IDEA研究院)的認知計算與自然語言研究中心講席科學家,張家興帶領團隊創(chuàng)建了中文最大的開源預訓練模型體系“封神榜”。2022年10月, IDEA封神榜團隊因提出解決零樣本分類問題的新方案——僅利用億級參數(shù)量的模型就戰(zhàn)勝了千億參數(shù)模型的效果,而廣受討論。

“封神榜預訓練模型體系還擁有世界上最先進的信息抽取億級參數(shù)模型,其非常復雜的結構,可以在沒有任何訓練樣本的情況下,用一句話就能進行任何信息的抽取,效果非常好?!睆埣遗d對澎湃科技表示。

然而,當ChatGPT出現(xiàn)后,其通用性表現(xiàn)比封神榜體系的模型強很多?!拔覀兙椭婪妒阶兓?。”張家興說,“這就意味著在NLP領域,將不再需要為每類任務都專?做一個很復雜的模型結構,而通過像GPT這樣的通用模型,使用一些更先進的訓練方法就能讓其具備很強的能力?!?/p>

中國的AI發(fā)展缺了一層

在ChatGPT出現(xiàn)后的很?時間內(nèi),國內(nèi)的反思多集中在一個問題上——為什么中國沒有出現(xiàn)OpenAI這樣的公司?

“其實在大家討論這個話題之前,如果我們稍微往前回想5年、10年,上一個話題就是中國為什么出不了Geoff Hinton、Yann LeCun這樣的(人工智能界)大師。以前我們焦慮于自己只是在做AI最上面的應用,而別人在提供最基礎的理論。”張家興說,“隨著我們逐漸追趕,現(xiàn)在世界上AI領域的論文,幾乎一半都有中國人參與。從量變到質變積累,其實相信再過十年、幾十年中國也會出現(xiàn)這樣的大師。但還沒等走到這一步,我們突然發(fā)現(xiàn)AI這個領域變天了?!?/p>

張家興指的是以OpenAI為代表的這類公司出現(xiàn),聚集了一批更年輕的人,不是發(fā)明一些方法寫一篇論文占據(jù)學術研究的位置,而是集大家的力量把AI工程化。通過積累預訓練模型,不斷沉淀打磨,從塔底掀翻了整個AI產(chǎn)業(yè)的金字塔。

談到這一點,張家興感嘆道,“這看起來似乎是中國更擅?的路徑。中國在兩層特別強,一層是上面說的第二梯隊的?年研究者;另一層是工程師,無論在國內(nèi)還是硅谷,華人工程師都非常多。原本以為我們只是差頂尖做理論研究、原創(chuàng)性研究的大師,但忽視了在?年研究者跟工程師之間,還有一層是用工程能力做模型的一群人,而我接下來也想在中國將這層的能力補齊?!?/p>

“像ChatGPT,它確實沒有什么學術價值,但它就是有實際的應用價值。以前我們過于本末倒置了,總覺得AI跟做研究等同。其實研究是服務于AI,研究是個手段,不是目的,AI才是目的?!睆埣遗d說。

應站在OpenAI的位置思考AI的未來

ChatGPT引起的AI熱潮并非是表面錦繡。

“我想最重要的是讓我們看到了通用人工智能(AGI,Artificial General Intelligence)路線的可能性?!盇GI更具體而言,他指的是“一個聚集了各種AI能力,甚至包括自主學習能力的智能體”。

2月24日,OpenAI發(fā)布AGI路線圖。短期內(nèi),OpenAI要為AGI做好三項準備:

第一,通過快速部署AGI以積累相應應用經(jīng)驗,大眾需要親身體驗這項技術的優(yōu)缺點,公司和機構也需要考慮如何限制惡意行為者、避免對社會和經(jīng)濟造成不良影響等問題。

第二,努力創(chuàng)建更加一致和可控的模型,從GPT-3到InstructGPT和ChatGPT的轉變就是例子,社會確定使用人工智能的廣泛界限,在界限內(nèi),個人用戶擁有自由裁量權。

第三,希望就三個關鍵問題展開全球對話:如何治理這些系統(tǒng),如何公平分配它們產(chǎn)生的收益,以及如何公平共享訪問權限。

長期而言,OpenAI認為,第一個AGI只是人工智能持續(xù)發(fā)展中的一個小節(jié)點。AI的發(fā)展可能會在很?一段時間內(nèi),保持我們在過去十年中看到的進展速度。如果這是真的,世界可能會變得與今天截然不同,?險可能會非常大。“成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望,但也最可怕的項目。”O(jiān)penAI在文章的最后寫道。

最近,新的故事開始被講述,多家科技公司稱要做中國的OpenAI,類ChatGPT大模型的研發(fā)被提上重要日程。但其實,每個人都清楚,這并非一日之功。

OpenAI在GPT-3的論文中寫道,GPT-3訓練一次的費用是460萬美元,訓練時間為355個GPU年(一塊GPU運行355年的運算量),總成本據(jù)悉達到1200萬美元。由于代價高昂,論文稱出現(xiàn)BUG時無法再重新進行訓練。

據(jù)英偉達估算,如果用8張V100顯卡訓練GPT-3,訓練時?預計要36年;用512張V100需要將近7個月;如果擁有1024張80GB的A100,那么完整訓練GPT-3的時?可以縮減到1個月。

對這樣一波浪潮該如何反應?

在張家興看來,要追趕,更好的做法可能不是看別人做了什么去復現(xiàn),而是把心態(tài)先擺平,在相同的位置去思考AI的未來在哪,尤其是要想明白AI跟研究誰是手段,誰是目的。

“如果僅以ChatGPT為目標,跟在后面復制,那也不叫超越而是跟隨。只有你站在OpenAI相同的位置思考未來,才有超越的可能性,我們拼的是下一次AGI的突破?!睆埣遗d說。

關鍵詞: chatgpt 人工智能

版權聲明:
    凡注明來網(wǎng)絡消費網(wǎng)的作品,版權均屬網(wǎng)絡消費網(wǎng)所有,未經(jīng)授權不得轉載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權使用作品的,應在授權范圍內(nèi)使用,并注明"來源:網(wǎng)絡消費網(wǎng)"。違反上述聲明者,本網(wǎng)將追究其相關法律責任。
    除來源署名為網(wǎng)絡消費網(wǎng)稿件外,其他所轉載內(nèi)容之原創(chuàng)性、真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考并自行核實。
熱文

網(wǎng)站首頁 |網(wǎng)站簡介 | 關于我們 | 廣告業(yè)務 | 投稿信箱
 

Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
 

中國網(wǎng)絡消費網(wǎng) 版權所有 未經(jīng)書面授權 不得復制或建立鏡像
 

聯(lián)系郵箱:920 891 263@qq.com

備案號:京ICP備2022016840號-15

營業(yè)執(zhí)照公示信息