網(wǎng)絡(luò)消費(fèi)網(wǎng) >  科技 > > 正文
ChatGPT的環(huán)境成本究竟有多大?
時間:2023-02-10 18:02:25

號稱史上最強(qiáng)AI的ChatGPT知道自己每天排放多少二氧化碳嗎?一番溝通后,華爾街見聞得到了否定的答案。

看來暫時只能由人腦來替它回答了。

環(huán)球零碳研究中心研究員唐淑姝告訴華爾街見聞,如果粗略合算ChatGPT的總生命周期碳足跡,自2022年11月30日運(yùn)行60余天來,其制造設(shè)備碳排放超過33.41噸,模型訓(xùn)練碳排放超過552噸,運(yùn)行60天碳排放約為229.2噸;三者相加,ChatGPT上線后的碳排放超過814.61噸。


(資料圖)

要想從大氣中吸收這些二氧化碳,相當(dāng)于需要栽種超過6.5萬棵樹。

雖然“虛擬”的屬性讓人們?nèi)菀缀鲆晹?shù)字產(chǎn)品的碳賬本,但事實(shí)上,互聯(lián)網(wǎng)卻無疑是地球上最大的煤炭動力機(jī)器之一。

訓(xùn)練機(jī)器成碳排“大戶”

聊天機(jī)器人、數(shù)字助理以及來自流媒體服務(wù)的電影和音樂推薦都依賴于“深度學(xué)習(xí)”——一種訓(xùn)練計算機(jī)模型以識別數(shù)據(jù)模式的過程。

這種訓(xùn)練需要強(qiáng)大的計算機(jī)和大量的能量支撐。對于ChatGPT全生命周期的碳足跡數(shù)據(jù),這個階段是名副其實(shí)的排放大戶。

最精細(xì)的深度學(xué)習(xí)模型之一,目標(biāo)就是產(chǎn)生類似人類的語言。在ChatGPT問世前,OpenAI公司先開發(fā)了一套復(fù)雜的自然語言模型,命名為GPT-3。ChatGPT和GPT-3都是在大量文本數(shù)據(jù)上訓(xùn)練而成的,允許它們對文本輸入產(chǎn)生類似人類的響應(yīng),但由于后者專門為會話任務(wù)而設(shè)計,GPT-3則更通用一些,所以參數(shù)庫要小100多倍。

“ChatGPT是基于GPT-3的一個升級版本,在GPT-3的模型架構(gòu)基礎(chǔ)上又進(jìn)行了優(yōu)化并在訓(xùn)練時期增加了強(qiáng)化學(xué)習(xí)?!碧剖珂瓕θA爾街見聞分析,“所以要估算ChatGPT在訓(xùn)練階段的碳排,可以參考GPT-3的排放值?!?/p>

有數(shù)據(jù)顯示,當(dāng)時訓(xùn)練 GPT-3 消耗了1287MWh,排放出552噸溫室氣體。

“GPT-3 的大量排放可以部分解釋為它是在較舊、效率較低的硬件上進(jìn)行訓(xùn)練的,但因?yàn)闆]有衡量二氧化碳排放量的標(biāo)準(zhǔn)化方法,這些數(shù)字是基于估計,另外,這部分碳排放值中具體有多少應(yīng)該分配給訓(xùn)練ChatGPT,標(biāo)準(zhǔn)也是比較模糊的,需要注意的是,由于強(qiáng)化學(xué)習(xí)本身還需要額外消耗電力,所以ChatGPT在模型訓(xùn)練階段所產(chǎn)生的的碳排放應(yīng)該大于這個數(shù)值?!?/strong>可持續(xù)數(shù)據(jù)研究者卡斯帕-路德維格森如是分析。

僅以552噸排放量計算,這些相當(dāng)于126個丹麥家庭每年消耗的能量。

運(yùn)行階段的碳成本

用戶在操作ChatGPT時的動作耗電量很小,但由于全球每天可能發(fā)生十億次,累積之下使其成為了第二大碳排放來源。

唐淑姝對華爾街見聞表示,可以將另一個大型語言模型BLOOM作為類比來推測ChatGPT運(yùn)行階段的碳排放。BLOOM曾在具有16個Nvidia A100 40GB GPU的Google Cloud Platform實(shí)例上部署并運(yùn)行了18天,共432小時。

“BLOOM與ChatGPT前身GPT-3的模型大小大致相同,假設(shè)把相同的硬件用于ChatGPT,并在16個Nvidia A100 40GB GPU上運(yùn)行,并推測硬件利用率始終為100%,”唐淑姝通過使用ML CO2 Impact計算機(jī),估算出ChatGPT的每日碳排放為25.92 kg。

Databoxer聯(lián)合創(chuàng)始人克里斯·波頓則解釋了另一種計算方法。

“首先,我們估計每個響應(yīng)詞在A100 GPU上需要0.35秒,假設(shè)有100萬用戶,每個用戶有10個問題,產(chǎn)生了10000000個響應(yīng)和每天300000000個單詞,每個單詞 0.35 秒,可以計算得出每天A100 GPU運(yùn)行了29167個小時?!?/p>

Cloud Carbon Footprint列出了Azure數(shù)據(jù)中心中A100 GPU的最低功耗46W和最高 407W,由于很可能沒有多少ChatGPT處理器處于閑置狀態(tài),以該范圍的頂端消耗計算,每天的電力能耗將達(dá)到11870kWh。

“美國西部的排放因子為 0.000322167 噸/kWh,所以每天會產(chǎn)生3.82噸二氧化碳當(dāng)量,美國人平均每年約15噸二氧化碳當(dāng)量,換言之,這與93個美國人每年的二氧化碳排放率相當(dāng)?!笨死锼?middot;波頓說。

Ai的能源賬

依據(jù)唐淑姝的觀點(diǎn),從全生命周期角度看還應(yīng)該包含ChatGPT在制造階段的隱性碳排。仍以BLOOM作為參照,訓(xùn)練總時間共持續(xù)108萬小時,平均使用48個計算節(jié)點(diǎn)上的384個GPU,可以估計與模型訓(xùn)練相關(guān)的服務(wù)器隱含碳排放大約為7.57噸和GPU3.64噸,總計約11.2噸。

“ChatGPT的訓(xùn)練時間大約比BLOOM長3倍,單從這個角度估算,估算ChatGPT中模型訓(xùn)練的隱含碳排放總量約為33.6噸?!碧剖珂瓕θA爾街見聞解釋道。

事實(shí)上,學(xué)界對于人工智能與環(huán)境成本的關(guān)系頗為關(guān)切。伯克利大學(xué)關(guān)于功耗和人工智能主題的研究認(rèn)為,人工智能幾乎吞噬了能源。

比如谷歌的預(yù)訓(xùn)練語言模型T5使用了86兆瓦的電力,產(chǎn)生了47公噸的二氧化碳排放量;谷歌的多輪開放領(lǐng)域聊天機(jī)器人Meena使用了232兆瓦的電力,產(chǎn)生了96公噸的二氧化碳排放;谷歌開發(fā)的語言翻譯框架-GShard使用了24兆瓦的電力,產(chǎn)生了4.3公噸的二氧化碳排放;谷歌開發(fā)的路由算法Switch Transformer使用了179兆瓦的電力,產(chǎn)生了59公噸的二氧化碳排放。

深度學(xué)習(xí)中使用的計算能力在2012年至2018年間增長了300000倍,這讓GPT-3看起來成為了對氣候影響最大的一個。然而,當(dāng)它與人腦同時工作,人腦的能耗僅為機(jī)器的0.002%。

據(jù)估計,全球科技行業(yè)占全球溫室氣體排放量的1.8% 至 3.9%。盡管這些排放量中只有一小部分是由人工智能和機(jī)器學(xué)習(xí)引起的,但人工智能的碳足跡對于技術(shù)中的單個領(lǐng)域來說仍然非常高。

發(fā)表于Nature的一項計算碳成本的研究揭示了與人工智能相關(guān)的碳足跡在各種云計算數(shù)據(jù)中心訓(xùn)練一系列模型。結(jié)果表明,在美國中部或德國的數(shù)據(jù)中心訓(xùn)練 BERT(一種常見的機(jī)器學(xué)習(xí)語言模型)會排放22-28公斤二氧化碳。這是在挪威(大部分電力來自水力發(fā)電)或在主要依賴核能的法國進(jìn)行相同實(shí)驗(yàn)產(chǎn)生的排放量的兩倍多。

而一天中進(jìn)行實(shí)驗(yàn)的時間同樣重要。例如,在美國華盛頓州,當(dāng)該州的電力僅來自于水力發(fā)電時,在夜間訓(xùn)練人工智能導(dǎo)致的排放量低于在白天訓(xùn)練,因?yàn)槟菚r的電力來自于燃?xì)庹尽?/p>

通過更好地了解 AI系統(tǒng)消耗了多少能源,或許有助于人類權(quán)衡做出在污染和成本之間的更優(yōu)選擇。

關(guān)鍵詞: chatgpt 二氧化碳 華爾街見聞 人工智能

版權(quán)聲明:
    凡注明來網(wǎng)絡(luò)消費(fèi)網(wǎng)的作品,版權(quán)均屬網(wǎng)絡(luò)消費(fèi)網(wǎng)所有,未經(jīng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明"來源:網(wǎng)絡(luò)消費(fèi)網(wǎng)"。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
    除來源署名為網(wǎng)絡(luò)消費(fèi)網(wǎng)稿件外,其他所轉(zhuǎn)載內(nèi)容之原創(chuàng)性、真實(shí)性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考并自行核實(shí)。
熱文

網(wǎng)站首頁 |網(wǎng)站簡介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
 

Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
 

中國網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
 

聯(lián)系郵箱:920 891 263@qq.com

備案號:京ICP備2022016840號-15

營業(yè)執(zhí)照公示信息