資料內(nèi)容：

數(shù)據(jù)決定人工智能高度。

大模型三要素是數(shù)據(jù)、算力和算法。隨著AI技術(shù)快速成熟，各企業(yè)所使用的算力已逐漸趨同;各企業(yè)采用的算法也同樣逐漸收斂，大多依托Transformer模型基礎(chǔ)架構(gòu)和以Pytorch、TensorFlow等為代表的開(kāi)發(fā)框架;因此真正體現(xiàn)大模型差異性的要素是數(shù)據(jù)，根據(jù)公開(kāi)數(shù)據(jù)顯示，Meta開(kāi)發(fā)的LLaMA3擁有700億參數(shù)和15TB訓(xùn)練數(shù)據(jù)，而OpenAl的GPT-3.5擁有1750億參數(shù)和570GB訓(xùn)練數(shù)據(jù)，盡管LLaMA3在參數(shù)規(guī)模上還不到GPT-3.5的一半,但其表現(xiàn)能力在大部分基準(zhǔn)上均超過(guò)后者。不難看出，除了模型參數(shù)規(guī)模以外，訓(xùn)練數(shù)據(jù)的體量對(duì)提升大模型的效果具有顯著作用。此外數(shù)據(jù)的質(zhì)量同樣重要，大模型需要規(guī)范性、完整性、時(shí)效性的高質(zhì)量數(shù)據(jù)支撐。對(duì)于基礎(chǔ)大模型，其數(shù)據(jù)質(zhì)量主要基于廠商從公開(kāi)渠道所獲取數(shù)據(jù)的整體質(zhì)量。而對(duì)于行業(yè)大模型的訓(xùn)練及細(xì)分場(chǎng)景推理應(yīng)用，模型效果取決于行業(yè)專(zhuān)屬的私域數(shù)據(jù)的質(zhì)量，其中包含了企業(yè)原有數(shù)據(jù)和行業(yè)知識(shí)庫(kù)等，如圖2。