來(lái)源:雪球App,作者: 青山隱士,(https://xueqiu.com/6843441724/323548752)
假如把AI大模型看成1件產(chǎn)品,那么,這件產(chǎn)品的生產(chǎn)成本是多少?不少投資者都是云服務(wù)或者算力服務(wù)的門外漢。本文將基于公開資料,為大家核算一下AI大模型的生產(chǎn)成本。
一、AI大模型對(duì)計(jì)算資源的需求
根據(jù)DeepSeek提供的數(shù)據(jù),千億參數(shù)的AI大模型推薦使用32臺(tái)NF5688M6型號(hào)的AI服務(wù)器組成集群。
根據(jù)“”提供的價(jià)格數(shù)據(jù),“威爾創(chuàng)新服務(wù)器專營(yíng)店”在售的NF5688M7型號(hào)的AI服務(wù)器的實(shí)時(shí)售價(jià)為128萬(wàn)元左右。其中,這款服務(wù)器的GPU為8顆H20的GPU模組,英偉達(dá)H20芯片的平均推理速度是英偉達(dá)A100芯片(150至300字/秒)的1.8倍,即400字/秒。
以文心一言為例,經(jīng)過多次測(cè)試發(fā)現(xiàn),文心一言的文本輸出速度大概是26.7字/秒,也就是輸出1200字的文章,大概需要45秒。這個(gè)速度對(duì)于消費(fèi)者而言是可以接受的。
基于此,我們可以計(jì)算一下,32臺(tái)NF5688M7型號(hào)的AI服務(wù)器組成集群,可以提供多少人同時(shí)在線(并發(fā))的AI大模型推理服務(wù)。
(1)集群算力:32臺(tái)*8顆/臺(tái)*400字/秒/顆=10.24萬(wàn)字/秒。
(2)集群并發(fā)能力的上限:10.24萬(wàn)字/27字/人=3792人。
換言之,32臺(tái)NF5688M7型號(hào)的AI服務(wù)器組成集群,大概可以提供3792人同時(shí)在線(并發(fā))使用AI大模型推理功能。
這個(gè)AI服務(wù)器組成集群的成本約為4000萬(wàn)元(計(jì)算公式:128*32),也就是說,“AI服務(wù)器成本/并發(fā)能力上限”的比值大概是1萬(wàn)元/人。
二、AI大模型并發(fā)數(shù)據(jù)推算
根據(jù)CSDN提供的資料,計(jì)算并發(fā)用戶數(shù)有一種經(jīng)典公式。假設(shè)某個(gè)AI大模型總用戶數(shù)為3000人,日活躍用戶數(shù)大概是300人,每個(gè)用戶AI大模型的平均使用時(shí)間大約是2小時(shí),一般來(lái)說,一天之內(nèi)用戶集中在早10點(diǎn)至晚8點(diǎn)的10小時(shí)之內(nèi)使用AI大模型服務(wù)。
那么,這個(gè)系統(tǒng)的并發(fā)數(shù)的計(jì)算公式如下:
(1)平均并發(fā)用戶數(shù)為:300*2/10=60人。
(2)并發(fā)用戶數(shù)峰值為:60+3*(60)^0.5=83人。
我們以DeepSeek為例,計(jì)算一下DeepSeek的并發(fā)數(shù)上限,我們將3000萬(wàn)日活躍數(shù)據(jù)代入上述公式??梢郧蟪鯠eepSeek大模型的并發(fā)數(shù)。
(1)平均并發(fā)用戶數(shù)為:30000000*2/10=600萬(wàn)人。
(2)并發(fā)用戶數(shù)峰值為:6000000+3*(6000000)^0.5=600.8萬(wàn)人。
鑒于此,為了滿足3000萬(wàn)日活躍用戶的使用,DeepSeek需要在算力集群上的投入至少在600億元(計(jì)算公式:600.8萬(wàn)人*1萬(wàn)元/人)。
換言之,“算力集群投入/日活躍數(shù)”約等于0.2億元/萬(wàn)人。
三、小結(jié)
根據(jù)公開資料,Kimi的日活躍數(shù)約為200萬(wàn)人,豆包的日活躍數(shù)約為2000萬(wàn)人。那么,Kimi需要的算力集群投入大概是40億元,豆包的算力集群投入大概是400億元。
這樣子,我們就可以求出AI大模型對(duì)于算力集群的需求上限是多少了。未來(lái)AI大模型會(huì)成為像微信一樣的基礎(chǔ)設(shè)施,也就是說國(guó)內(nèi)AI大模型的日活躍數(shù)至少在5億人,那么,未來(lái)幾年,算力集群投入的總規(guī)模至少在1萬(wàn)億元。
很顯然,這個(gè)投入需要在2年內(nèi)完成,也就是年均5000億元的算力投入是必然的,占據(jù)AI算力市場(chǎng)的50%以上份額,因此每年可以因此獲得的收入約為2500億元,再上之前的500億元的普通服務(wù)器收入,浪潮信息的年?duì)I收至少可以達(dá)到3000億元。
@今日話題 @雪球創(chuàng)作者中心
$紫光股份(SZ000938)$ $浪潮信息(SZ000977)$ $中科曙光(SH603019)$
免責(zé)聲明:本文不構(gòu)成投資建議,文中觀點(diǎn),僅代表個(gè)人操作,不具有任何指導(dǎo)作用。