作者簡介

本文是第二屆電力電子科普征文大賽的獲獎作品，來自上?？萍即髮W(xué)的諸葛英健投稿。

據(jù)《華爾街日報》7月1日報道，亞馬遜云服務(wù)正與美國最大的核電廠運營商Constellation Energy接近達(dá)成一項直接供電協(xié)議。而早在今年3月，亞馬遜以6.5億美元收購了位于賓夕法尼亞州的Talen Energy旗下的Cumulus數(shù)據(jù)中心園區(qū)，其由相鄰的2.5GW Susquehanna核電站直接供電。

近年來生成式AI掀起熱潮，自ChatGPT橫空出世，國內(nèi)外的各種大模型和產(chǎn)品以令人眼花繚亂的速度更新迭代。在ChatGPT不斷發(fā)展的同時，微軟緊隨其后，將云服務(wù)全線鋪開，并將Copilot深度集成到Windows生態(tài)中。Google也推出了Bard，并在之后推出了原生多模態(tài)大模型Gemini。國內(nèi)市場，2023年3月，百度正式發(fā)布預(yù)訓(xùn)練生成式大語言模型“文心一言”。此后，訊飛“星火”、阿里云“通義千問”、騰訊“混元”、華為“盤古”等大模型陸續(xù)發(fā)布。用戶不僅可以與人工智能進(jìn)行實時對話，還可以讓AI協(xié)助自己進(jìn)行資料檢索、概括總結(jié)等工作，甚至幫自己寫代碼以及修改論文。

很快地，大模型擴(kuò)展到了文本應(yīng)用以外的領(lǐng)域。以Stable Diffusion、Midjourney|、Adobe Firefly等為代表，文生圖領(lǐng)域同樣突飛猛進(jìn)。文本生成視頻領(lǐng)域同樣在快速進(jìn)化，Sora、Pika、Luma、快手可靈AI等競爭激烈，近幾日全面開放的Runway3，更是已經(jīng)可以生成10s的視頻。

隨著人工智能的飛速發(fā)展，其耗電量也在急劇上升，甚至大量科技公司都在與核電站所有者進(jìn)行洽談，那么能源會成為限制其發(fā)展的絆腳石嗎？

1

AI為什么耗電

思考是消耗熱量的，僅占人體2%重量的大腦卻消耗了人體約20%的能量。類似地，人工智能也是很耗能的。根據(jù)國際能源署估計，在2022年，數(shù)據(jù)中心、加密貨幣、人工智能（AI）消耗了大約460 TWh的電力，幾乎占全球總電力需求的2%，而這一數(shù)據(jù)，預(yù)計到2026年將超過1000 TWh[1]。

早在2022年，Hugging Face的研究者們就量化了各個大模型的耗電量和碳排放數(shù)據(jù)。其自家的BLOOM，擁有1760億參數(shù)的大模型，前期訓(xùn)練時長約118天，就花掉了43.3萬度電。而參數(shù)量與之相當(dāng)?shù)腉PT-3，更是耗電128.7萬度，與121個美國家庭一整年的平均耗電量相當(dāng)[2]。GPT-3訓(xùn)練用到了1024張A100芯片，被稱為“千卡千參”，而目前的GPT-4、GPT-5等大模型都達(dá)到了“萬卡萬參”的規(guī)模，同時所用芯片也從A100更新到了H100、B200，參數(shù)量的激增導(dǎo)致能耗顯著增加。有人估算，GPT-4的一次訓(xùn)練中僅GPU就耗電2.4億度。

圖2. Technology advancement | @ TSMC

圖3. GB200-Superchip | @ NVIDIA

另一方面，大模型的訓(xùn)練過程甚至?xí)?dǎo)致局部電網(wǎng)的崩潰。Kyle Corbitt在今年3月曾發(fā)表消息稱，訓(xùn)練GPT-6的微軟工程師們正在搭建Infiniband網(wǎng)絡(luò)，把不同地區(qū)的GPU連接起來，如果將這10萬塊H100芯片部署在同一地區(qū)，電網(wǎng)則會崩潰。

圖4. tweets內(nèi)容 | @ X @corbtt

但人工智能的高能耗不僅僅體現(xiàn)在前期訓(xùn)練過程中，更是在后期使用過程中的累積。

前期的訓(xùn)練過程就是反復(fù)調(diào)整模型參數(shù)，直到模型的性能不再顯著提高為止，這一階段是有限度的。而推理階段則大大不同，我們每向大模型問一次問題，都是一次推理請求。

圖5. ChatGPT | @ OpenAI

我們每一次在搜索欄鍵入內(nèi)容。或者點開新視頻等操作，終端設(shè)備都會與某個數(shù)據(jù)中心發(fā)生信息交換，而這一些操作都需要消耗能量。Alphabet董事長John Hennessy在2023年2月指出，一次標(biāo)準(zhǔn)的Google搜索平均耗電0.3 Wh，而如果采用大模型的話，平均每次搜索的能耗將提高近10倍，即3 Wh每次。此外，根據(jù)SemiAnalysis機(jī)構(gòu)的預(yù)測，谷歌要實現(xiàn)搜索全面人工智能化，需要512821個英偉達(dá)A100 HGX服務(wù)器，共4102568塊GPU。以每個服務(wù)器6.5 kW的功率來計算，這些服務(wù)器每天的耗電量就將高達(dá)80 GWh，年耗電量29.2 TWh。根據(jù)谷歌報道，從2019年至2021年，其60%的AI相關(guān)能耗都來自推理[3]。

長遠(yuǎn)來看，AI推理過程的耗能將越來越大；短期內(nèi)，AI訓(xùn)練的能耗是能耗的主要增量。

未完待續(xù)…

敬請期待下期精彩~

參考資料

[1] “Electricity 2024 – Analysis and forecast to 2026”. International Energy Agency, Jan. 2024.

[2] Luccioni, Alexandra Sasha, Sylvain Viguier, and Anne-Laure Ligozat. "Estimating the carbon footprint of bloom, a 176b parameter language model." Journal of Machine Learning Research 24.253 (2023): 1-15.

[3] de Vries, Alex. "The growing energy footprint of artificial intelligence." Joule 7.10 (2023): 2191-2194.

[4] “Google Environmental Report 2024”, Google, Jul. 2024.

[5] “The AI Index 2024 Annual Report,” AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2024.