以生成式(shi)模型(xing)（generative model）為代表的下(xia)一代(dai)AI正在席(xi)卷(juan)科技(ji)行業乃至(zhi)整(zheng)個(ge)人(ren)類社(she)會(hui)。目(mu)前，人們(men)對於(yu)生成式模型的關注(zhu)還主要在於以OpenAI和(he)穀(gu)歌(ge)為(wei)代表的(de)人工智(zhi)能(neng)巨頭(tou)運(yun)行(xing)在雲(yun)端(duan)服務器(qi)的模型，這些模型需要(yao)巨大(da)的算力，並且(qie)一般(ban)運行在GPU上。然而(er)，隨著技術(shu)的發展(zhan)，中文字幕亚洲欧美在线不卡認為生(sheng)成式模型運行在手機端已(yi)經到(dao)了(le)一個轉折(zhe)點.

（圖(tu)文部(bu)分來(lai)源微(wei)信(xin)公(gong)眾(zhong)號(hao)"半(ban)導(dao)體行業觀(guan)察(cha)"​

像(xiang)這樣的人工智能對(dui)話(hua)應(ying)用並不需(xu)要真正(zheng)運行在手(shou)機終端——讓ChatGPT完(wan)成文稿(gao)設(she)計這樣(yang)的需求(qiu)的最(zui)佳(jia)使用(yong)場景(jing)還(hai)是(shi)在接入(ru)互(hu)聯網(wang)的電(dian)腦(nao)上(shang)，而不是運行在手機本地。某(mou)行業人士認(ren)為，最適(shi)合(he)生成(cheng)式模(mo)型運行在手機(ji)終端芯(xin)片(pian)上的第一是拍(pai)攝(she)增(zeng)強，包(bao)括超(chao)分(fen)辨、去模糊、照片補全等(deng)，這些(xie)應用需要模型能在任何(he)時候(hou)都能低延(yan)遲地運行，因此需要在本地執(zhi)行。另(ling)一個任(ren)務是智能助理，指(zhi)的是通過(guo)運行一個大模型去(qu)檢(jian)索(suo)所(suo)有(you)用戶本地的備(bei)忘(wang)錄(lu)、短(duan)信記(ji)錄等，通(tong)過綜(zong)合用戶所有的個人信息(xi)來實現智能助(zhu)理的功(gong)能——例如如果(guo)檢測(ce)到用戶和某個聯係人最近(jin)的短信是關於約(yue)在飯(fan)店(dian)吃(chi)飯，助理可以(yi)自動設置(zhi)一個提(ti)醒(xing)信息，等等。由於涉及(ji)到用戶(hu)隱(yin)私(si)，因此這類模型也需要運行在手機本(ben)地的芯片上。

對於用於拍攝增強(qiang)的生成式模型主(zhu)要是以擴散（）模型為代表的圖像生成式模型。擴(kuo)散(san)模型在去年一年中取得了長(zhang)足(zu)的進步(bu)，其生成內容(rong)的質(zhi)量(liang)足以改變(bian)用戶的拍攝體驗，包括(kuo)：

1、超分辨：使用擴散模型可(ke)以把(ba)低(di)分辨(bian)率的圖片以很高的質量轉(zhuan)換(huan)成高分辨率圖像，其(qi)質量遠高於目前(qian)已有的其他(ta)模型。

(對比圖來源(yuan)網絡(luo))

2、圖像修(xiu)補：包括把圖像中不想(xiang)要的內容去除更換（即inpainting），或(huo)者把圖片內容進一步補(bu)全（即outpainting）

對於基於擴散模型的生成式圖像模型，自(zi)從Stable Diffusion從去年(nian)下半年發布(bu)之後，已經獲(huo)得(de)了業界(jie)極(ji)大的關注。擴散模型一般的模型都(dou)較(jiao)大，而且需要運行多步的采(cai)樣過程(cheng)，之前雖(sui)然(ran)也(ye)有運行在手機上的例子(zi)，但(dan)是因為運行時間(jian)過程（10秒左右(you)），尚(shang)未(wei)得到真(zhen)正大規模應用。然而，隨(sui)著今(jin)年10月(yue)份(fen)中國清(qing)華(hua)團隊(dui)發表了latent consistency model（LCM）的研究論(lun)文，在手機上運行高(gao)性能圖像生成式模型已經不再(zai)遙不可及。

模型和Stable Diffusion的模型結構類(lei)似，但是LCM通過數學上的優(you)化(hua)，可以把一次生成需要的模型執行次(ci)數(shu)從Stable Diffusion的50次降低到2-4次，相(xiang)當於把端到端的運行速度(du)提升(sheng)了10倍，而且生成圖像的質量和Stable Diffusion接(jie)近。目前，LCM已經(jing)在人工智能社區(qu)得到了廣泛(fan)的關(guan)注和應用，中文字幕亚洲欧美在线不卡認為很快LCM就(jiu)會成為手機上運行圖像生成式模型的首選，而且LCM的低延遲可以真正實現全(quan)新(xin)的用戶體(ti)驗；例如(ru)，高質量的實(shi)時超分辨可以讓數字變焦(jiao)得到的拍攝質量和光(guang)學(xue)變焦相似(shi)，但是同(tong)時又(you)避(bi)免(mian)了厚(hou)重(zhong)的鏡(jing)頭；又如，inpainting/outpainting可以讓用戶快(kuai)速(su)編(bian)輯(ji)拍攝的照片並分享(xiang)，能實現(xian)在手機上擁(yong)有和photoshop相似的效果，這(zhe)也將(jiang)會大大提升用戶體驗。

對於智能助理(li)應用來說(shuo)，目前主要還處於探索階(jie)段(duan)，如何將多模態的信息（包括用戶的短信、備忘錄、日(ri)曆(li)等等）整合在一起(qi)並不容易(yi)，但是中文字幕亚洲欧美在线不卡認為最終模型的形(xing)態(tai)最有可能還是類似這樣的大語言模型，通過海(hai)量數據(ju)與訓(xun)練(lian)來實現對於用戶數據的深(shen)入理解(jie)並且給(gei)出相應幫(bang)助。這類智能助手的第一步落(luo)地應用可能是用戶消息編輯和改寫，例(li)如用戶可以讓智能助手去改(gai)寫(xie)一條短信以改變語(yu)氣，這樣的應用預(yu)計在明年就會落地。

手機生成式模型需要什麽(mo)樣的芯片

首(shou)先(xian)，中文字幕亚洲欧美在线不卡從用於拍攝增強的圖像生成式模型（）開(kai)始(shi)分析，因為這類模型的應用較為明(ming)確(que)。

中文字幕亚洲欧美在线不卡對於模型芯片支持的分析(xi)可以從(cong)算符、算(suan)力(li)和內(nei)存(cun)三方(fang)麵(mian)來入手。從算符(fu)來看(kan)，或者Stable Diffusion模型使用的算符主要是常(chang)用的卷積(ji)和注意(yi)力（attention）層(ceng)，這些算符在目前的手機芯片人工(gong)智能加(jia)速器中已經得到了非(fei)常好(hao)的支持(chi)。而在算力和內存方麵，圖像生成式模型的複(fu)雜(za)度和模型尺(chi)寸(cun)都比(bi)現有的運行在手機上的人工智能模型要大一到兩(liang)個數量級(ji)：LCM的參(can)數量達(da)到了10億以上，而相對而言目前主流(liu)手機人工智能模型的參數量都在千(qian)萬(wan)左(zuo)右。如中文字幕亚洲欧美在线不卡之(zhi)前所說的，手機需要能實時執行這樣的模型，因(yin)此需要在算力上滿(man)足模型的需求。

算力能滿足需求可以從兩方麵來考(kao)慮(lv)，首先是增加人工智能加速器的峰(feng)值(zhi)算力，主要的方法(fa)就是增加計算單元的數量。但是，計(ji)算單元(yuan)數量的增加是以更大的芯片麵積（即(ji)更高的成本）為代價的，為了能在成本和性能之間得到一個較好的折衷(zhong)，需要能使用“性價(jia)比”更好的計算單元。在服(fu)務(wu)器的LCM版(ban)本中，使用的計算是基於32位或者16位浮(fu)點(dian)數的，但是在手機端執行時32/16位浮點數計算單(dan)元太(tai)貴(gui)，因此(ci)絕(jue)大多數的計算必(bi)須(xu)使用更低精(jing)度，例如8位定點數，或者8位浮點數9甚至是4位浮點數）。這裏就涉(she)及到了一個軟硬件協同設計的問題(ti)，即如何在使(shi)用低精度計算的條(tiao)件(jian)下同時確保(bao)模型輸(shu)出質量不受(shou)太大影(ying)響，具(ju)體是使用8位浮點數還是8位定(ding)點數性價比更(geng)高等等，因此需要模型設計團隊和芯片設計團(tuan)隊合作(zuo)才(cai)能完成。另外(wai)，由於模型的尺寸遠(yuan)大於之前的主流模型到達了GB數量級，因此很(hen)可能需要手機的DRAM容量進(jin)行升級才能較好的支(zhi)持。

除(chu)了容量之外，模型參數量大也意味(wei)著(zhu)對於內存接口(kou)的壓力更大（否則(ze)可能會陷(xian)入內存牆(qiang)問(wen)題，讓(rang)內存訪(fang)問成為整體模型執行速度的瓶(ping)頸(jing)）。從這個角(jiao)度，一方麵可望(wang)將會推(tui)動(dong)手機芯片加速使用下一代內存接口（例如LPDDR6），而在另一方麵也推動SoC使用更多的片上內存（SRAM）來緩(huan)解DRAM訪問的壓力。最後(hou)，在Stable Diffusion和LCM模型中廣(guang)為使用的U-Net神(shen)經網絡結(jie)構(gou)也擁有更多的中間結果（activation），為了能確保最佳的延遲(chi)和能效(xiao)比，這也需要SoC片上有更多的SRAM來滿足需求。

對於大語言模型來說，其對於手機芯片的需求也可以從算符、算力和內存來看。同樣，算符方麵大語言模型使用的主要算符是，目前已經得到廣泛支持；主要挑(tiao)戰則是大語言(yan)模型的參數量甚(shen)至比擴散模型/LCM更大一個數量級，到了百億(yi)數量級，這對於手機內存容量和接口速度都將造成巨(ju)大的挑戰(zhan)，而如果大語言模型真的能在手機得到大規(gui)模應用，預計將會大大推動手機芯片內存容量和內存接口的發展。此外，由(you)於大語言模型的參數量太大，很有可能需要多級緩存，每(mei)次隻會有一部分模型參數加載(zai)在DRAM中，還會有一部分會留(liu)在非易失(shi)性存儲(chu)器中，因此內存和非易失性(xing)存儲器的接口速度提升可能也會得到推動。

生成式模型對手機芯片市場(chang)的潛在影響

目前，中文字幕亚洲欧美在线不卡看到手機係統廠(chang)商(shang)已經越(yue)來越重視(shi)生成式模型在手機端的應用。在最近的發布會上，知名(ming)手機廠商和Oppo都把這類生成式模型作為下一代新手機的主要賣(mai)點，原(yuan)因很簡(jian)單，因為目前生成式模型已經到了能夠真正成為核心(xin)用戶體驗(yan)的時刻(ke)了，而且模型技術也足夠(gou)成熟(shu)，爆發在即。

手機芯片格(ge)局(ju)也可能會在這次的生成式模型熱潮(chao)中發生微妙(miao)的改變。生成式模型的支持能力可能會成為和手機鏡頭一樣重要的核(he)心硬(ying)件賣點，但是生成式模型的最終(zhong)解決方案(an)其實是一個軟(ruan)硬件結合設計的方案，這樣來說，其實對於有自研芯片能力的手機廠商來說是非常有利(li)的，因為這些手機廠商可以通過同時掌(zhang)握(wo)模型和硬件的設計，從而實現最高效率(lv)的解決(jue)方案，或者換句(ju)話說有可能通過深度的協(xie)同優化，即使在芯片實現工藝(yi)和性能較為落後的情(qing)況(kuang)下，仍(reng)然實現很好的用戶體驗，這一點對於一些中國(guo)的手機廠商例如華為來說尤(you)其有利，因為他們同時擁有深度的人工智能模型開發、手機係統優化和芯片開發能力，通過在自研的第(di)一方應用（例如拍照(zhao)以及照片瀏覽(lan)）應用中加入自研的模型跑(pao)在自研(yan)的芯片上，有機會充分利用端到端優化的機會。

對於為手機係統(tong)提供(gong)芯片平(ping)台(tai)的公司(si)例如高通和聯(lian)發科(ke)來說，則需要提供完整的參考設計。在這方麵，高通已經把手機端生成式模型提到了核心位置，在最近發布的中，高通宣(xuan)布可以實現以低於一秒(miao)的延遲實現Stable Diffusion圖像生成，未來可望進一步提升質量並降(jiang)低延遲，接下來就看使用高通芯片的手機係(xi)統廠商如何利用這樣的算力了。聯發科也基(ji)於億級參數大語言模型的特(te)性，開發了混(hun)合精度 INT4 量化技術，結合公司特有的內存硬件壓(ya)縮(suo)技術NeuroPilot Compression，以更高效地(di)利用內存帶(dai)寬(kuan)，大幅(fu)減少(shao)AI大模型占用終端內存，為端側運行AI大語言模型突(tu)破(po)手機內存限製(zhi)，助力更大參數模型在端側(ce)落地。

另一個疑問是，雲端生成式模型芯片領(ling)域(yu)目前的統治(zhi)者會如何看待(dai)手機生成式模型的機會？Nvidia在移動端的嚐(chang)試(shi)自從十(shi)多年前的Tegra係列(lie)之後似乎就停(ting)滯(zhi)了，但是今年年中Nvidia傳(chuan)出(chu)和聯發科合作並(bing)且下一代聯發科旗(qi)艦(jian)手機SoC可能會使用Nvidia GPU的消息，可見(jian)Nvidia在手機生成式模型領域還是有機會能切(qie)入。Nvidia在這個領域的優勢(shi)主要在於模型開發生態，但是在手機生態（包括第一方應用）中是否(fou)繼(ji)續(xu)這樣的優勢，還需要聯合SoC廠商以及使用該(gai)SoC的手機係統廠商深度合作