資料內(nèi)容：
3.1.3 多模態(tài)大模型
多模態(tài)大模型的發(fā)展從OpenAI的CLIP(文本圖像匹配)，以及Dall·E（文生圖）拉開帷幕，目前跨多個(gè)
模態(tài)的數(shù)據(jù)融合問題開始變成行業(yè)探究的重點(diǎn)。多模態(tài)是指多個(gè)模態(tài)感知與認(rèn)知的融合。對(duì)于人類來
說，所有感知交互方式的融合形成了社會(huì)交流；對(duì)于計(jì)算機(jī)來說，是通過對(duì)文本、圖片、視頻和音頻等
不同儲(chǔ)存信息載體的認(rèn)知和理解，結(jié)合環(huán)境因素來模擬人與人之間的交互方式。多模態(tài)技術(shù)的重要性
不言而喻，讓人工智能理解人類世界的最優(yōu)辦法就是讓AI成功理解多模態(tài)信息并能夠?qū)Υ祟愋畔⑿?
成分析、推理的邏輯和生成新信息的能力。
近年來，大模型技術(shù)發(fā)展推動(dòng)多模態(tài)模型不斷升級(jí)迭代。首先，預(yù)訓(xùn)練大模型賦能多模態(tài)機(jī)器學(xué)習(xí)的
廣度和深度，例如通用性AI大模型M6，十萬億級(jí)的參數(shù)持續(xù)提高模型上限，賦能模型應(yīng)用的通用性，進(jìn)
而拓寬大模型應(yīng)用廣度，覆蓋電商、智能交互等業(yè)務(wù)場景。同時(shí)，多模態(tài)預(yù)訓(xùn)練模型mPLUG榮登全球
權(quán)威“機(jī)器視覺問答榜單”（VQA Challenge 2021）榜首，并超越了人類平均水平。此外，多模態(tài)大模型
能夠?qū)崿F(xiàn)圖像、文本、語音等模態(tài)之間的統(tǒng)一表示和相互生成。例如，百度文心ERNIE-ViLG 2.0文生圖
大模型在公開權(quán)威評(píng)測集 MS-COCO 和人工盲評(píng)中效果位于前列，在語義可控性、圖像清晰度、中國
文化理解等方面均展現(xiàn)出優(yōu)勢，初步實(shí)現(xiàn)在多個(gè)場景的商業(yè)應(yīng)用。
我們看到，頭部廠商在多模態(tài)大模型領(lǐng)域持續(xù)布局，注重模型整體通用性的同時(shí)不斷提升子領(lǐng)域的優(yōu)
化體驗(yàn)和技術(shù)升級(jí)。未來，基于技術(shù)的不斷突破，多模態(tài)將持續(xù)拓展各行業(yè)場景下的信息融合應(yīng)用。
3.1.4科學(xué)計(jì)算大模型
科學(xué)計(jì)算領(lǐng)域近年來發(fā)展態(tài)勢向好，持續(xù)推進(jìn)技術(shù)突破?？茖W(xué)計(jì)算指的是通過計(jì)算機(jī)高效率完成再
現(xiàn)、預(yù)測和發(fā)現(xiàn)客觀世界運(yùn)動(dòng)規(guī)律及演化特征的全過程，即出于解決科學(xué)和工程中的復(fù)雜數(shù)學(xué)問題的
目標(biāo)，優(yōu)化計(jì)算機(jī)性能以完成數(shù)值計(jì)算。
近年來“AI+科學(xué)計(jì)算”（科學(xué)智能）也在引發(fā)科研方式的大變革，如生物制藥、氣象預(yù)報(bào)、地震探測、材
料 研 發(fā)等 科 研 領(lǐng) 域，大 模 型技 術(shù) 同 樣 也在 這 些 領(lǐng) 域帶 來 巨 大 的 突 破 ?？?學(xué) 計(jì) 算 的 子 領(lǐng) 域 生 物計(jì) 算
（Bio-computing），即基于生物學(xué)固有理論信息和大量的生物學(xué)實(shí)驗(yàn)結(jié)果及研究分析開發(fā)的解決生
物學(xué)問題的計(jì)算模型，正是走在前列的科研方向。2021年以來，生物計(jì)算領(lǐng)域持續(xù)突破。例如，Deep
Mind推出的AlphaFold2能夠覆蓋98.5%的人類蛋白質(zhì)組，并對(duì)20種其他生物蛋白質(zhì)的結(jié)構(gòu)進(jìn)行預(yù)
測；同時(shí)，該公司與EMBL-EBI（歐洲分子生物學(xué)實(shí)驗(yàn)室）合作，推出蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)庫以儲(chǔ)備和匹配蛋
白質(zhì)3D結(jié)構(gòu)圖像。各大企業(yè)自此之后紛紛提出AI for Science的概念，著手利用人工智能技術(shù)加快重
點(diǎn)科學(xué)技術(shù)研發(fā)與突破。目前，國內(nèi)市場活躍產(chǎn)品有頭部廠商打造的通用大模型，融合自監(jiān)督和多任
— 14 —隨著數(shù)據(jù)量的高速增長，數(shù)據(jù)特征高維、模態(tài)格式多樣的趨勢也逐漸明顯，對(duì)數(shù)據(jù)的AI建模也相應(yīng)地
更加復(fù)雜，涉及到研究對(duì)象的多變量維度，如時(shí)間、空間維度，計(jì)算復(fù)雜度會(huì)隨之呈指數(shù)增加，數(shù)據(jù)標(biāo)
注難度也會(huì)增加。同時(shí)，海量的數(shù)據(jù)將不可避免帶來更大的數(shù)據(jù)噪聲問題、數(shù)據(jù)偏見風(fēng)險(xiǎn)，為模型如何
有效利用好數(shù)據(jù)、學(xué)習(xí)其中的知識(shí)帶來更大挑戰(zhàn)。
數(shù)據(jù)是產(chǎn)業(yè)智能化發(fā)展中最寶貴的資源。海量的數(shù)據(jù)，為人工智能自監(jiān)督學(xué)習(xí)帶來巨大助力。利用好
爆發(fā)增長的海量數(shù)據(jù)，將會(huì)是企業(yè)充分挖掘數(shù)據(jù)紅利、構(gòu)建數(shù)字經(jīng)濟(jì)下競爭壁壘的重要抓手。
應(yīng)用場景多元化和復(fù)雜化，增加了模型生產(chǎn)的難度
隨著AI技術(shù)的發(fā)展、產(chǎn)業(yè)應(yīng)用的深入，應(yīng)用場景變得更多元、更復(fù)雜。例如：工業(yè)場景下，有工業(yè)質(zhì)檢、
安全巡檢等應(yīng)用，質(zhì)檢中不同產(chǎn)線生產(chǎn)的零部件千差萬別；智能辦公場景下，文檔的分類、文檔OCR識(shí)
別、文檔知識(shí)抽取、文檔審校也都是不同的任務(wù)類型。解決一個(gè)場景的問題，往往需要多個(gè)任務(wù)的深度
融合，涉及多任務(wù)統(tǒng)一建模等問題，因而對(duì)算法提出了更高的挑戰(zhàn)。按照現(xiàn)在主流的算法應(yīng)用，這意味
著技術(shù)廠商需要針對(duì)不同場景、不同任務(wù)生產(chǎn)大量的算法或模型。一方面這將會(huì)導(dǎo)致重復(fù)性工作量加
大，另一方面也對(duì)開發(fā)人員的算法能力和業(yè)務(wù)理解有更高的要求。隨著智能化轉(zhuǎn)型的需求增加，AI開
發(fā)門檻和研發(fā)效率問題凸顯。
應(yīng)用復(fù)雜度攀升，算力承壓持續(xù)增加
算力是AI發(fā)展的基礎(chǔ)設(shè)施，是通過對(duì)信息數(shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)目標(biāo)結(jié)果輸出的計(jì)算能力。除了要求提
升計(jì)算能力，技術(shù)的發(fā)展對(duì)于軟硬件也提出了新的要求。目前整體市場發(fā)展還不及預(yù)期，具體來說，硬
件方面需要針對(duì)不同的場景和高性能計(jì)算能力進(jìn)行拓展融合，滿足研發(fā)企業(yè)的多芯部署、分布式優(yōu)
化、高性能計(jì)算的需求。目前人工智能芯片主要有GPU、FPGA和ASIC等類型，從英偉達(dá)GPU的發(fā)展可
以看出，算力、內(nèi)存、網(wǎng)絡(luò)傳輸?shù)榷荚谔嵘?jì)算能力逐步增強(qiáng)，但在產(chǎn)業(yè)落地應(yīng)用中的成本還相對(duì)較
高。隨著分布式訓(xùn)練的發(fā)展，數(shù)據(jù)存儲(chǔ)和網(wǎng)絡(luò)傳輸問題成為大模型訓(xùn)練的瓶頸。目前InfiniBand，已經(jīng)
可以支持節(jié)點(diǎn)內(nèi)以及節(jié)點(diǎn)之間高吞吐低延遲的數(shù)據(jù)互聯(lián)，緩解網(wǎng)絡(luò)傳輸?shù)膯栴}，但數(shù)據(jù)存儲(chǔ)仍存在挑
戰(zhàn)，需要新技術(shù)的出現(xiàn)來解決。在軟件方面，廠商需要打造完整的開發(fā)軟件棧，支持計(jì)算密集型算子和
訪存密集型算子協(xié)同編譯優(yōu)化，增強(qiáng)通用性編程能力，滿足企業(yè)針對(duì)不同訓(xùn)練推理數(shù)據(jù)格式和量級(jí)進(jìn)
行底層編譯以及融合調(diào)度和統(tǒng)一運(yùn)營管理的需求。在整體軟件棧中深度學(xué)習(xí)平臺(tái)尤為重要，可以提供
覆蓋AI能力生產(chǎn)、運(yùn)用、管理等全流程的工程化實(shí)踐方法，推動(dòng)產(chǎn)業(yè)鏈上下游協(xié)同創(chuàng)新，聯(lián)動(dòng)底層算
力、數(shù)據(jù)和上層應(yīng)用服務(wù)，打破企業(yè)在數(shù)字化轉(zhuǎn)型升級(jí)中面臨的多種瓶頸，解決數(shù)據(jù)成本高、模型開發(fā)
難、算力分配不合理等問題。
2.1.2中國人工智能的其他挑戰(zhàn)與阻礙
2022年是實(shí)現(xiàn)產(chǎn)業(yè)數(shù)字化的元年，人工智能加快賦能千行百業(yè)，與實(shí)體經(jīng)濟(jì)深度綁定，在醫(yī)療、城市、
工業(yè)、能源、金融等領(lǐng)域進(jìn)一步落地應(yīng)用，給企業(yè)帶來了新的發(fā)展方向， 除了底層數(shù)據(jù)、算法和算力對(duì)
人工智能發(fā)展所帶來的瓶頸以外，IDC認(rèn)為人工智能領(lǐng)域還面臨三大維度下的挑戰(zhàn)。
數(shù)據(jù)互通壁壘明顯，共建生態(tài)存在阻礙。新一代信息技術(shù)與產(chǎn)業(yè)的深度融合擴(kuò)大了網(wǎng)絡(luò)空間的邊
界，數(shù)據(jù)作為一種新的生產(chǎn)要素，已成為推動(dòng)企業(yè)智能化升級(jí)的重要資源。但同時(shí)，流轉(zhuǎn)無序、區(qū)
域性限制大、定價(jià)機(jī)制不完善、監(jiān)管機(jī)制不完備等問題，導(dǎo)致數(shù)據(jù)不流通，數(shù)據(jù)對(duì)數(shù)字經(jīng)濟(jì)的放大
和疊加作用沒有得到充分發(fā)揮。數(shù)據(jù)的流通和共享是釋放數(shù)字紅利的前提，提高數(shù)據(jù)流通性可以
推動(dòng)社會(huì)資源配置的優(yōu)化，節(jié)約社會(huì)成本。為此，需要明確數(shù)據(jù)的權(quán)責(zé)，完善政策，規(guī)范數(shù)據(jù)的使
用，推動(dòng)數(shù)據(jù)共享流通，支撐人工智能技術(shù)的高速發(fā)展。
技術(shù)門檻高，平臺(tái)層挑戰(zhàn)不斷。AI算法的開發(fā)與模型訓(xùn)練、調(diào)優(yōu)有著一定的技術(shù)門檻，需要進(jìn)一步
依托在算法框架上的產(chǎn)品與工具套件，降低AI開發(fā)門檻。因此，深度學(xué)習(xí)與大模型平臺(tái)需要向下銜
接硬件、向上承接應(yīng)用。未來不管是訓(xùn)練還是推理，硬件的種類會(huì)變得非常繁雜，向平臺(tái)層提出了
更高的銜接要求；同時(shí)隨著AI規(guī)模化落地的需求增強(qiáng)，平臺(tái)面向?qū)嶋H應(yīng)用需要持續(xù)降低模型開發(fā)
的學(xué)習(xí)門檻、降低模型優(yōu)化難度。當(dāng)前，開發(fā)平臺(tái)發(fā)展重點(diǎn)在于提供專業(yè)且豐富的技術(shù)組件，向下
驅(qū)動(dòng)算子和數(shù)據(jù)管理工具的高性能延展，向上帶動(dòng)產(chǎn)品線研發(fā)并推動(dòng)門檻的降低。
人才儲(chǔ)備不足，技術(shù)發(fā)展受限。除了技術(shù)、戰(zhàn)略部署、資金投入等問題以外，智能化發(fā)展所遇到的
最大挑戰(zhàn)便是人才短缺。IDC預(yù)計(jì)到2025年，全球500強(qiáng)中有一半的企業(yè)將自己開發(fā)軟件，這將加
劇企業(yè)軟件人才不足的問題。隨著人工智能落地場景的復(fù)雜度增加，需要更多既懂業(yè)務(wù)又能運(yùn)用
AI技術(shù)的綜合型創(chuàng)新人才。目前企業(yè)和高校的合作可促進(jìn)人才的優(yōu)化配置，高校為企業(yè)提供技術(shù)
的理論學(xué)習(xí)，企業(yè)為學(xué)校提供有效的實(shí)踐基地。經(jīng)濟(jì)全球化的發(fā)展不斷促進(jìn)社會(huì)資源流動(dòng)，資源
配置方式根本性變革極大提高了資源的利用率，但目前來看人才缺口仍然存在。未來，需要進(jìn)一
步建立人才合作培養(yǎng)生態(tài)，接受人才及技術(shù)在機(jī)構(gòu)間的循環(huán)流動(dòng)，同時(shí)推動(dòng)降低技術(shù)接觸年齡，
提前布局儲(chǔ)備年輕人才力量。
2.2 大模型帶來AI開發(fā)新范式
面對(duì)人工智能的各種挑戰(zhàn)，預(yù)訓(xùn)練大模型的出現(xiàn)提供了通用化解決方案，從無標(biāo)注數(shù)據(jù)中通過自監(jiān)督
學(xué)習(xí)獲取大量“知識(shí)”，實(shí)現(xiàn)用更統(tǒng)一的方式推動(dòng)人工智能產(chǎn)業(yè)落地。
2.2.1 大模型增強(qiáng)人工智能泛化性、通用性
在過去每一次關(guān)鍵技術(shù)的通用性得到解決后，生產(chǎn)方式都有巨大改變，生產(chǎn)水平也產(chǎn)生質(zhì)的飛躍。人
工智能是第四次工業(yè)革命的重要驅(qū)動(dòng)力，所以，提升人工智能的通用性是加速產(chǎn)業(yè)智能化升級(jí)的關(guān)
鍵。
“大模型”是打通人工智能技術(shù)通用性“任督二脈”的關(guān)鍵
過去在分散化的模型研發(fā)模式下，單一的AI應(yīng)用場景下多個(gè)任務(wù)需要由多個(gè)模型共同支撐完成，每一
個(gè)模型建設(shè)都需要算法開發(fā)、數(shù)據(jù)處理、模型訓(xùn)練與調(diào)優(yōu)過程。預(yù)訓(xùn)練大模型增強(qiáng)了人工智能的通用
性、泛化性，基于大模型通過零樣本或小樣本精調(diào)，就可實(shí)現(xiàn)在多種任務(wù)上的較好效果。大模型“預(yù)訓(xùn)
練+精調(diào)”等模式帶來了新的標(biāo)準(zhǔn)化AI研發(fā)范式，實(shí)現(xiàn)AI模型在更統(tǒng)一、簡單的方式下規(guī)?；a(chǎn)。
2.2.2 大模型降低人工智能應(yīng)用門檻
大模型基于“預(yù)訓(xùn)練+精調(diào)”等新范式有效降低AI開發(fā)門檻
具體來說，大模型的通用性、泛化性以及基于“預(yù)訓(xùn)練+精調(diào)”等新開發(fā)范式，讓AI場景應(yīng)用的模型定制
流程變得更標(biāo)準(zhǔn)化、效果優(yōu)化更簡單，有效降低對(duì)標(biāo)注數(shù)據(jù)、算法人員能力的要求。圍繞大模型布局相
關(guān)的AI開發(fā)工具組件與平臺(tái)，將大幅加速人工智能大規(guī)模產(chǎn)業(yè)化進(jìn)程。例如百度文心大模型在模型層
構(gòu)建了基礎(chǔ)（包括NLP、CV、跨模態(tài)等）、任務(wù)（對(duì)話、搜索、OCR等）、行業(yè)（能源、金融、制造、傳媒等）三
層大模型體系，深入考慮各大應(yīng)用場景特性；向上打造工具與平臺(tái)層，將大模型能力在開發(fā)平臺(tái)與套
件中輸出；封裝模型訓(xùn)練與精調(diào)、模型壓縮與部署各環(huán)節(jié)等。這些都極大降低了AI開發(fā)門檻，讓更多企
業(yè)或開發(fā)者可以低成本、高效率地獲得AI能力，應(yīng)用到自己的業(yè)務(wù)中。
2.2.3 深度學(xué)習(xí)平臺(tái)為大模型發(fā)展與應(yīng)用護(hù)航
深度學(xué)習(xí)平臺(tái)的發(fā)展已相對(duì)成熟，大模型的出現(xiàn)對(duì)深度學(xué)習(xí)平臺(tái)來說是“如虎添翼”
深度學(xué)習(xí)平臺(tái)面向多樣的產(chǎn)業(yè)需求，基于開源框架提供算法模型以及工作組件和平臺(tái)能力，向下協(xié)調(diào)
調(diào)度硬件算力，向上支持各項(xiàng)任務(wù)，包含開發(fā)框架、算法模型以及工具平臺(tái)三大核心層級(jí)，呈現(xiàn)出標(biāo)準(zhǔn)
化、自動(dòng)化、模塊化特性。大模型則進(jìn)一步增強(qiáng)模型通用性和泛化性，帶來新的模型開發(fā)范式。深度學(xué)
習(xí)平臺(tái)與大模型合力，將進(jìn)一步降低模型開發(fā)門檻、提升研發(fā)效率，貫通了從硬件適配、模型訓(xùn)練、研
發(fā)部署，到場景應(yīng)用的AI全產(chǎn)業(yè)鏈。
深度學(xué)習(xí)平臺(tái)底層開發(fā)框架成為大模型與算力之間的橋梁
ASIC等芯片，通過簡化底層硬件技術(shù)，在大模型與算力之間建立溝通。針對(duì)不同的模型和硬件，將資源
抽象成統(tǒng)一的分布式資源視圖，通過底層硬件感知和映射功能，找到軟硬之間的最優(yōu)組合，并將模型
的運(yùn)算步驟分配到相應(yīng)的計(jì)算卡上，達(dá)到負(fù)載均衡、提升大模型訓(xùn)推性能的目的。
深度學(xué)習(xí)平臺(tái)助力大模型解決訓(xùn)練、推理部署困難問題
超大模型訓(xùn)練、推理需要消耗密集和昂貴的算力等資源，對(duì)算法本身提出了極高的要求。在海量數(shù)據(jù)
上訓(xùn)練百億、千億、萬億的參數(shù)，對(duì)模型訓(xùn)練速度、模型精度以及訓(xùn)練資源成本都是極大的挑戰(zhàn)，深度
學(xué)習(xí)平臺(tái)通過超大規(guī)模并行方案，支撐大模型高效、高性價(jià)比訓(xùn)練。超大規(guī)模的模型參數(shù)，也讓模型預(yù)
測單次的成本與耗時(shí)都大幅提升，成為規(guī)?；漠a(chǎn)業(yè)應(yīng)用瓶頸。深度學(xué)習(xí)平臺(tái)通過提供量化、稀疏、蒸
餾、剪枝等能力幫助大模型在精度無損的情況下進(jìn)行壓縮，推動(dòng)大模型輕量化和模型推理加速，為產(chǎn)
業(yè)大規(guī)模應(yīng)用做好保障。
大模型與深度學(xué)習(xí)平臺(tái)相輔相成，將會(huì)持續(xù)釋放紅利，并滲透到各行各業(yè)的場景中。
未來，以大模型為生態(tài)基座的產(chǎn)業(yè)鏈將成為智能化升級(jí)過程中可大規(guī)模復(fù)用的基礎(chǔ)設(shè)施。在大模型通
用性、泛化性以及降低人工智能應(yīng)用門檻的優(yōu)勢推動(dòng)下，人工智能也將會(huì)加快落地，形成新的機(jī)遇。
務(wù)學(xué)習(xí)以賦能生物醫(yī)藥行業(yè)，例如百度文心的蛋白質(zhì)結(jié)構(gòu)預(yù)測大模型、化合物表征學(xué)習(xí)大模型等；此
外，也有專注于生物計(jì)算大模型以發(fā)現(xiàn)靶點(diǎn)、研發(fā)新藥的百圖生科以及醫(yī)藥知識(shí)圖譜平臺(tái)德睿智藥
等。
