明敏 發(fā)自 凹非寺 量子位 | 公眾號(hào) QbitAI

最強(qiáng)生成式AI終端芯片，現(xiàn)已易主！

天璣9300一舉支持運(yùn)行最大330億參數(shù)大模型，短短幾周時(shí)間內(nèi)刷新業(yè)界紀(jì)錄。

它是業(yè)界首款搭載硬件生成式AI引擎，首?次實(shí)現(xiàn)端側(cè)L?oRA融合，讓大模型技能可在本地?cái)U(kuò)展，基于個(gè)人照片生成專屬表情包。

打開攝像頭，即可實(shí)時(shí)生成一個(gè)虛擬數(shù)字分身。

同樣支持1秒內(nèi)文生圖、20 Tokens/秒生成文本（70億參數(shù)）。?

并且拿下“業(yè)內(nèi)第一移動(dòng)AI性能”，設(shè)備AI 跑分達(dá)到恐怖的3173（目前業(yè)內(nèi)公開最好成績(jī)?yōu)?000+）.

沒想到，聯(lián)發(fā)科首顆生成式AI移動(dòng)芯片，性能就如此強(qiáng)悍。

加上首次采用的全大核CPU架構(gòu)，天璣9300屬實(shí)是把牙膏踩爆了，峰值性能較上一代提升40%，功耗節(jié)省33%。

網(wǎng)友們看了都直呼：發(fā)哥，穩(wěn)了！

搭載天璣9300的旗艦智能機(jī)vivo X100系列，馬上就會(huì)和大家見面。

如果你想嘗鮮，確實(shí)值得期待一把。

因?yàn)檫@是一張從底層開始、完全為生成式AI而來的旗艦級(jí)移動(dòng)芯片。

透過它，不僅能先人一步體驗(yàn)在端側(cè)玩大模型有多絲滑；更能提前窺見與感受，AI浪潮和移動(dòng)終端將會(huì)碰撞出哪些激烈火花，。

作為一張生成式AI移動(dòng)芯片，能帶來哪些創(chuàng)新體驗(yàn)？

天璣9300先來打個(gè)樣，帶來如下幾方面能力：

最基本的，生成式AI芯片要具備端側(cè)支持大模型的能力。

天璣9300支持終端運(yùn)行10億、70億、130億、最高330億參數(shù)AI大模型。

通過和vivo的深度合作，基于天璣9300率先實(shí)現(xiàn)了在vivo旗艦手機(jī)上端側(cè)落地70億參數(shù)大語言模型，系行業(yè)首家。

同時(shí)也突破行業(yè)上限，和vivo一起將端側(cè)運(yùn)行大模型規(guī)模提高到130億參數(shù)。

在可以運(yùn)行的基礎(chǔ)上，更進(jìn)一步，需要做到快速處理。

天璣9300具備快速文字、圖片生成能力。

70億參數(shù)模型下可實(shí)現(xiàn)每秒20 Tokens輸出，支持文本創(chuàng)作、摘要生成等文本任務(wù)。

每張圖片生成時(shí)間控制在1秒以內(nèi)。

這意味著幾乎無需等待，就能馬上從手機(jī)上獲得最新AI生成結(jié)果。

這也是為什么天璣9300能拿下業(yè)界移動(dòng)AI性能第一名號(hào)，ETHZ AI Benchmark v5.1 Mobile SoC >2000 分。

更創(chuàng)新的體驗(yàn)來自端側(cè)技能擴(kuò)展，它支持在本地生成多樣個(gè)性化內(nèi)容。

這也是移動(dòng)芯片首次實(shí)現(xiàn)端側(cè)LoRA。

基于此，拍下一張照片，在手機(jī)本地即可進(jìn)行各種風(fēng)格處理，生成個(gè)人專屬表情包。

要知道，基座大模型的知識(shí)與能力相對(duì)有限，想要讓大模型有更強(qiáng)生產(chǎn)力，往往需要對(duì)大模型進(jìn)行SFT、LoRA等方式微調(diào)。今年AI繪畫能憑借不同畫風(fēng)、多次掀起熱潮，很多程度上正是得益于LoRA方法。

天璣9300的端側(cè)支持，可以讓LoRA變得更加便捷，可以?推動(dòng)大模型在手機(jī)上實(shí)現(xiàn)更多豐富玩法。

除此之外，生成式AI的應(yīng)用還能導(dǎo)入到視頻中，實(shí)時(shí)生成個(gè)人虛擬化分身，進(jìn)行視頻通話。?

一些已有的AI應(yīng)用，也基于生成式AI實(shí)現(xiàn)了更多創(chuàng)新。

比如用在提升游戲畫質(zhì)、圖像方面的超分算法，使用生成式能力后可以帶來更好畫質(zhì)提升；

夜景拍攝可以防眩光產(chǎn)生；

以及生成式AI語意搜索，能不聯(lián)網(wǎng)智能檢索相冊(cè)圖片，在端側(cè)完成計(jì)算更好保護(hù)隱私。

總之，透過天璣9300的能力可以感受到，聯(lián)發(fā)科認(rèn)為一張合格的生成式AI移動(dòng)芯片，應(yīng)該能把大模型能力盡可能帶到端側(cè)。

不只是要裝下更大模型，還要讓大模型能在端側(cè)拓展能力，以此帶來更豐富的應(yīng)用。

那么，聯(lián)發(fā)科是如何做到？

作為一張為生成式AI而來的移動(dòng)芯片，天璣9300的能力提升邏輯簡(jiǎn)單粗暴：

AI性能拉滿，底層能力夯實(shí)。

具體可以從APU和整體架構(gòu)兩個(gè)方面來看。

APU主要負(fù)責(zé)實(shí)現(xiàn)大模型的端側(cè)快速運(yùn)行。

天璣9300集成MedieTek第七代AI處理器APU 790，整數(shù)運(yùn)算和浮點(diǎn)運(yùn)算性能均是上一代的2倍，同時(shí)功耗降低45%。

為了能讓端側(cè)支持更大規(guī)模大模型，它帶來了特有的內(nèi)存硬件壓縮技術(shù)（NeuroPilot Compression）。

要知道，大模型的海量數(shù)據(jù)在帶來極致性能同時(shí)，也帶來了巨大內(nèi)存占用。所以這也是為什么大模型進(jìn)端側(cè)難。

聯(lián)發(fā)科先采用INT4量化，將130億參數(shù)大模型壓縮至13GB。

然后基于內(nèi)存硬件壓縮，進(jìn)一步把13GB內(nèi)存壓縮到只有5GB，內(nèi)存占用直降61%。

這樣一來，內(nèi)存為16GB的內(nèi)存即可運(yùn)行130億參數(shù)大模型，24GB內(nèi)存手機(jī)可運(yùn)行330億參數(shù)大模型。

但裝下大模型還不夠，聯(lián)發(fā)科認(rèn)為還要讓大模型具備更豐富能力。

由此提出了生成式AI端側(cè)“技能擴(kuò)充”技術(shù)（NeuroPilot Fusion）。

它直接解決了終端無法裝下過多大模型的問題，實(shí)現(xiàn)一個(gè)大模型為底座，N個(gè)技能作為擴(kuò)展。

這樣既解決了大模型的內(nèi)存瓶頸，還盡可能拓展手機(jī)上生成式AI的應(yīng)用邊界。

而為了能讓大模型更絲滑地在終端運(yùn)行，天璣9300在更底層還做了進(jìn)一步優(yōu)化。

一方面，天璣9300是業(yè)界首款硬件生成式AI引擎。

它深度適配Transformer模型，特別在Softmax+LayerNorm算子上，處理速度較上一代提升8倍。

Softmax+LayerNorm算子正是當(dāng)下大語言模型（Transformer網(wǎng)絡(luò)）的核心部分。

另一方面，天璣9300開創(chuàng)性采用了全大核CPU架構(gòu)，從底層大幅提升芯片算力。

它包含4 個(gè) Cortex-X4超大核，最高頻率可達(dá) 3.25GHz，以及4個(gè)主頻為2.0GHz的Cortex-A720大核，其峰值性能相較上一代提升40%，功耗節(jié)省33%。

其單個(gè)E大核的能效比完全超越傳統(tǒng)架構(gòu)B核和L核。

全大核架構(gòu)全面使用亂序執(zhí)行（out-of-order）內(nèi)核。

和傳統(tǒng)小核必須順序執(zhí)行的邏輯不同，大核運(yùn)算允許只要任務(wù)進(jìn)來且可以處理，它就會(huì)開始執(zhí)行。

這樣能大幅減少任務(wù)的總消耗時(shí)間，提升應(yīng)用執(zhí)行效率、減少卡頓。同時(shí)也能降低功耗，對(duì)比如下兩圖，大核運(yùn)算“做得快、休息快”，運(yùn)行曲線的積分更小，即功耗更低。

這些能力都能為芯片執(zhí)行生成式AI任務(wù)，提供扎實(shí)的基礎(chǔ)計(jì)算底座。

最后，生成式AI在端側(cè)運(yùn)行，還有很多細(xì)節(jié)需要考量。

比如在交互方面，目前大模型更多以智能助手形象出現(xiàn)，語音是重要的交互方式之一，所以天璣9300專門提升了音頻降噪能力，支持對(duì)3個(gè)麥克風(fēng)動(dòng)態(tài)錄音降噪，可以有效過濾風(fēng)噪等環(huán)境音，不僅能讓視頻拍攝、錄音效果更好，也能輔助提升大模型語音識(shí)別的正確率。

另外在用戶格外關(guān)注的數(shù)據(jù)安全方面，天璣9300集成雙安全芯片，從開機(jī)源頭保護(hù)個(gè)人隱私，同時(shí)具有物理隔離計(jì)算環(huán)境，進(jìn)一步保障個(gè)人數(shù)據(jù)加密、解密的安全。以及內(nèi)存標(biāo)記擴(kuò)展（MTE）技術(shù)，可以打造更安全的開發(fā)環(huán)境。

如上諸多方面的優(yōu)化、革新與考量，都讓天璣9300成為一塊名副其實(shí)為生成式AI而來的移動(dòng)芯片。

而除了對(duì)自身硬件性能提升，聯(lián)發(fā)科還進(jìn)一步打通大模型生態(tài)。

支持Meta LLaMA 2、百度文心一言大模型、百川大模型等前沿主流AI大模型，以及多模態(tài)大模型。

應(yīng)用方面和抖音、快手、虎牙、愛奇藝、美圖秀秀等展開合作，提供相關(guān)SDK和model hub。

開發(fā)者生態(tài)方面，天璣開發(fā)者中心將提供端側(cè)生成式AI落地的一站式資源，提供端側(cè)部署案例分享。目前已有20+生成式AI合作伙伴。

一言以蔽之，聯(lián)發(fā)科要用天璣9300這塊旗艦芯，正式叩開生成式AI大門。

由此帶來的影響，將從聯(lián)發(fā)科由內(nèi)至外，給全行業(yè)帶來新氣息，更進(jìn)一步影響到每一位智能手機(jī)用戶。

在近幾年里，手機(jī)行業(yè)始終在思考一個(gè)大命題，下一代旗艦機(jī)該怎么做？

這個(gè)命題需要芯片、手機(jī)、應(yīng)用等廠商共同思考，如折疊屏、旗艦影像等都是摸索出來的方向。

而生成式AI浪潮的到來，讓這個(gè)大命題回歸本源，即下一代智能手機(jī)，就是要更智能、更強(qiáng)大。

大模型是實(shí)現(xiàn)這一切的根本。

所以過去一段時(shí)間里，手機(jī)廠商們紛紛開始推出端側(cè)大模型、發(fā)布接入大模型的OS系統(tǒng)，掀起大模型浪潮的OpenAI被曝要做新一代智能手機(jī)。

但落地到實(shí)際，怎么讓手機(jī)用戶能更好用上大模型。這個(gè)核心問題，還是要拋給芯片廠商。

因?yàn)榇竽Ｐ吐涞?，必須要解決計(jì)算瓶頸、功耗瓶頸，而且只依靠云端運(yùn)行不能長(zhǎng)久，也不能從根本上打開大模型的手機(jī)場(chǎng)景。

從當(dāng)下來看，聯(lián)發(fā)科等頭部手機(jī)芯片廠商已經(jīng)邁出了關(guān)鍵性的第一步——將大模型實(shí)現(xiàn)端側(cè)運(yùn)行。

那么接下來該怎么走？如何思考生成式AI芯片的未來？以及大模型在手機(jī)端的應(yīng)用？

現(xiàn)在似乎很難有非常明確的答案。

畢竟業(yè)內(nèi)都非常清楚，大模型浪潮如今才只是最早期階段，無論是技術(shù)層面還是應(yīng)用落地，都仍需長(zhǎng)期探索。

但聯(lián)發(fā)科用天璣9300給出了一個(gè)關(guān)鍵參考：

面向生成式AI的移動(dòng)芯片，要從底層為大模型做準(zhǔn)備，“天生”更適合大模型，同時(shí)硬件層面要做到能力溢出。

為什么？

用聯(lián)發(fā)科的話來說，就是“生成式AI旗艦芯片未來一定會(huì)有更多應(yīng)用模式產(chǎn)生、完成更復(fù)雜的任務(wù)?！?/p>

作為一個(gè)硬件級(jí)的底座，要足夠強(qiáng)大，上層系統(tǒng)、應(yīng)用才能有更多創(chuàng)新空間，更多生成式AI端側(cè)應(yīng)用才能誕生。

在強(qiáng)大的同時(shí)，還要?jiǎng)幼鲏蚩臁?/p>

天璣9300不僅和vivo一同實(shí)現(xiàn)業(yè)內(nèi)首個(gè)70億大模型端側(cè)落地，還實(shí)現(xiàn)了130億參數(shù)大模型端側(cè)運(yùn)行。

搭載天璣9300的vivo X100系列也將馬上上市。屆時(shí)就能真正上手實(shí)測(cè)大模型跑在端側(cè)是什么感覺了。

對(duì)于大模型上手機(jī)，你有哪些期待？對(duì)于今年生成式AI給手機(jī)行業(yè)帶來的新氣息，你又有哪些感受？

歡迎評(píng)論區(qū)留言討論~

— 完 —