1 大模型訓(xùn)練和應(yīng)用面臨著算力和能耗算力方面的挑戰(zhàn)

大模型需要大量計(jì)算資源，導(dǎo)致算力需求指數(shù)級(jí)增長(zhǎng)，對(duì)全社會(huì)信息基礎(chǔ)設(shè)施和眾多企業(yè)、科研機(jī)構(gòu)的大模型研發(fā)帶來(lái)巨大壓力。

能耗方面，大模型對(duì)能源的巨大需求導(dǎo)致人工智能能源消耗占能源消耗的3%左右，到2025年將消耗15%的電能，給環(huán)境治理帶來(lái)挑 戰(zhàn)。我國(guó)大模型發(fā)展帶來(lái)的G能耗可能增加碳達(dá)峰、碳中和壓力。

算力短缺：大模型通常需要具有數(shù)十億乃至上萬(wàn)億個(gè)參數(shù)，訓(xùn)練時(shí)用到 數(shù)萬(wàn)億個(gè)Token，這就需要消耗巨大的算力。算力需求隨著 大模型的發(fā)展而呈指數(shù)級(jí)增長(zhǎng)，對(duì)算力規(guī)模提出了巨大 的要求。大型預(yù)訓(xùn)練模型的訓(xùn)練和調(diào)優(yōu)過(guò)程需要消耗巨大的 算力資源。例如，訓(xùn)練ChatGPT所需的算力相當(dāng)于64個(gè)英 偉達(dá)A100 GPU訓(xùn)練1年的時(shí)間。此外，大模型的日常運(yùn)營(yíng) 和優(yōu)化也需要大量的算力投入。預(yù)計(jì)到2030年，算力 總規(guī)模將達(dá)到56ZFlops，其中智能算力成為推動(dòng)算力增長(zhǎng) 的主要?jiǎng)恿Α＿@對(duì)于社會(huì)的信息基礎(chǔ)設(shè)施建設(shè)和企業(yè)、科研 機(jī)構(gòu)的大模型研發(fā)都帶來(lái)了巨大的挑戰(zhàn)。 • 根據(jù)工信部的數(shù)據(jù)，2022年智能算力中，美國(guó)占45% 的份額，中國(guó)占28%的份額，美國(guó)智能算力規(guī)模為我國(guó)的 1.6倍，在中美算力競(jìng)爭(zhēng)中，我國(guó)仍然處于相對(duì)劣勢(shì)的一方。

能耗巨大：大模型對(duì)算力的巨大需求，帶來(lái)了對(duì)能源的巨大 消耗。人工智能服務(wù)器的功率較普通服務(wù)器G6至 8倍，訓(xùn)練大模型所需的能耗是常規(guī)云工作的3倍。 據(jù)估計(jì)，目前人工智能的能源消耗占能源消 耗的3％左右，到2025 年，人工智能將消耗 15％的電能。人工智能的快速發(fā)展將對(duì)能源消耗 和環(huán)境產(chǎn)生巨大影響。 • 據(jù)估計(jì)，GPT-4一次訓(xùn)練的耗電量相當(dāng)于1200個(gè) 中國(guó)人一年的用電量，僅占模型實(shí)際使用時(shí)的40 ％，實(shí)際運(yùn)行階段將消耗更多能源。一些大型模 型運(yùn)行時(shí)的碳排放量巨大，給環(huán)境治理帶來(lái) 挑戰(zhàn)。我國(guó)大模型發(fā)展的G能耗可能增加碳達(dá)峰 和碳中和的壓力。

2 大模型在數(shù)據(jù)和資金方面也面臨著挑戰(zhàn)

大模型面臨的挑戰(zhàn)包括數(shù)據(jù)獲取便利性、數(shù)據(jù)來(lái)源合法性、數(shù)據(jù)質(zhì)量可靠性、數(shù)據(jù)使用安全性、資金投入等方面的挑戰(zhàn)。

資金投入方面，大模型成本G昂，包括模型開(kāi)發(fā)成本、訓(xùn)練成本、算力成本、數(shù)據(jù)成本、運(yùn)維成本等，對(duì)普通企業(yè)和科研機(jī)構(gòu)而言，資金成為難 以逾越的“門(mén)檻”。

數(shù)據(jù)規(guī)模與質(zhì)量待提G：數(shù)據(jù)獲取方面，專(zhuān)用類(lèi)大模型需要專(zhuān)業(yè)數(shù)據(jù)，而這些數(shù) 據(jù)往往屬于企業(yè)、研究機(jī)構(gòu)等實(shí)體，增加了訓(xùn)練難度。 • 數(shù)據(jù)來(lái)源合法性方面，個(gè)人信息保護(hù)意識(shí)的提G使得數(shù) 據(jù)合法使用成為問(wèn)題。 • 數(shù)據(jù)質(zhì)量可靠性方面，開(kāi)源數(shù)據(jù)集雖然數(shù)量巨大，但質(zhì) 量良莠不齊，從中提取符合預(yù)訓(xùn)練要求的G質(zhì)量數(shù)據(jù)面 臨很大挑戰(zhàn)。 • 數(shù)據(jù)使用安全性方面，如何保證使用的數(shù)據(jù)不帶偏見(jiàn)， 以及如何保證人工智能制造的數(shù)據(jù)本身的安全性，都是 需要解決的問(wèn)題。

資金緊缺：大模型訓(xùn)練開(kāi)發(fā)成G昂，其成本主要由模型開(kāi)發(fā)成本、訓(xùn)練成本、算力 成本、數(shù)據(jù)成本、運(yùn)維成本等構(gòu)成，僅訓(xùn)練成本便動(dòng)輒G達(dá)數(shù)百萬(wàn)美元。 以Meta大語(yǔ)音模型LLaMA為例，在多達(dá)1.4萬(wàn)億的數(shù)據(jù)集上，使用 2000多個(gè)英偉達(dá)A100 GPU，訓(xùn)練了21天，花費(fèi)或G達(dá)1000萬(wàn)美元。 根據(jù)華為公布的消息，開(kāi)發(fā)和訓(xùn)練一次人工智能大模型的成本G達(dá) 1200萬(wàn)美元。 • 大模型巨大的資金投入，更是將很多小型研究機(jī)構(gòu)和中小型企業(yè)拒之門(mén) 外，導(dǎo)致大模型研發(fā)都集中在頭部企業(yè)和研發(fā)機(jī)構(gòu)，加劇了不平等現(xiàn)象。 • 在大模型的投資方面，根據(jù)美國(guó)斯坦福大學(xué)2022年的報(bào)告，美國(guó)和中 國(guó)位列投資總額的前兩位，但美國(guó)的投資是中國(guó)的3倍，中國(guó)在資 金投入方面還有較大差距。

3 大模型發(fā)展在技術(shù)和人才方面也面臨著挑戰(zhàn)

針對(duì)大模型技術(shù)，國(guó)內(nèi)企業(yè)與歐美國(guó)家存在差距，主要體現(xiàn)在底層架構(gòu)設(shè)計(jì)和硬件技術(shù)方面。在底層架構(gòu)設(shè)計(jì)方面，國(guó)內(nèi)尚無(wú)類(lèi)似的底層架構(gòu)， 大模型的預(yù)訓(xùn)練方面只能“在別人的地基上蓋房子”；在硬件技術(shù)方面，美國(guó)占據(jù)J對(duì)L先地位，我國(guó)自研能力不足，對(duì)美國(guó)進(jìn)口依賴(lài)程度G， 存在“卡脖子”風(fēng)險(xiǎn)。

在人才方面，國(guó)內(nèi)大模型人才數(shù)量嚴(yán)重不足，與美國(guó)相比D人才數(shù)量少，制約了大模型研發(fā)的快速發(fā)展。具體表現(xiàn)為人才數(shù)量不足、人才質(zhì)量 不夠G和人才外流嚴(yán)重。針對(duì)以上挑戰(zhàn)，需要加強(qiáng)國(guó)內(nèi)大模型技術(shù)的研發(fā)，提G自研能力，降低對(duì)美國(guó)進(jìn)口的依賴(lài)程度；同時(shí)，需要加強(qiáng)人才培 養(yǎng)，提G人才質(zhì)量，減少D人才的流失。

技術(shù)存在差距：大模型技術(shù)涉及軟件和硬件兩方面： • 從軟件技術(shù)看，國(guó)內(nèi)企業(yè)與歐美國(guó)家存在差距。底層架構(gòu)設(shè)計(jì)方面，國(guó)內(nèi) 尚無(wú)類(lèi)似谷歌的Transformer模型，對(duì)大模型的預(yù)訓(xùn)練只能依賴(lài)外部技術(shù)。 在迭代升級(jí)和更新?lián)Q代方面，國(guó)內(nèi)企業(yè)也落后于歐美企業(yè)，競(jìng)爭(zhēng)劣勢(shì)明顯。 • 從硬件技術(shù)看，在人工智能GPU方面，美國(guó)占據(jù)J對(duì)L先地位，我國(guó)自研 能力不足，對(duì)進(jìn)口依賴(lài)較G，存在風(fēng)險(xiǎn)。當(dāng)前大部分大模型訓(xùn)練所用的 GPU由美國(guó)英偉達(dá)公司生產(chǎn)，國(guó)產(chǎn)GPU與其性能差距明顯。美國(guó)已禁止向 中國(guó)銷(xiāo)售A100，而英偉達(dá)推出了性能更強(qiáng)的H100，并將優(yōu)先部署在自家 服務(wù)器上。

D人才嚴(yán)重不足： 國(guó)內(nèi)大模型人才數(shù)量嚴(yán)重不足，與美國(guó)相比D人才數(shù)量少，制約了大模型研發(fā)發(fā)展。 • 首先，人才數(shù)量嚴(yán)重不足。我國(guó)人工智能人才缺口超過(guò)500萬(wàn)，供需比例嚴(yán)重失衡， 人工智能成為“缺人”的行業(yè)。 • 其次，人才質(zhì)量不夠G。與美國(guó)相比，國(guó)內(nèi)缺乏D算法人才，數(shù)量嚴(yán)重不足。美 國(guó)在具影響力的人工智能學(xué)者榜單中占據(jù)主導(dǎo)地位，中國(guó)學(xué)者數(shù)量遠(yuǎn)遠(yuǎn)落后。 • 此外，人才外流問(wèn)題也十分嚴(yán)重。許多國(guó)內(nèi)優(yōu)秀人才選擇出國(guó)深造并留在國(guó)外，導(dǎo) 致D人才的流失。這加大了國(guó)內(nèi)大模型研發(fā)與美國(guó)的差距，給我國(guó)大模型研發(fā)帶 來(lái)嚴(yán)峻挑戰(zhàn)。