在大(da)數據(ju)應(ying)用需求的(de)驅動下，計算(suan)技(ji)術體系(xi)正在重構，從“以(yi)計算(suan)為(wei)中心”向“以(yi)數據(ju)為(wei)中心”轉型，在新的(de)計算(suan)技(ji)術體系(xi)下，一些基礎理論和核心技(ji)術問題亟待破解。本(ben)文提出新型大(da)數據(ju)系(xi)統技(ji)術發展的(de)十大(da)趨勢。

趨勢一：數據與應用進一步分(fen)離，實(shi)現數據要素(su)化(hua)。

數(shu)(shu)(shu)據(ju)(ju)一(yi)(yi)開始(shi)是依(yi)附(fu)于(yu)(yu)具體應(ying)(ying)用(yong)的(de)(de)。數(shu)(shu)(shu)據(ju)(ju)庫(ku)技術的(de)(de)出現使得數(shu)(shu)(shu)據(ju)(ju)與(yu)應(ying)(ying)用(yong)實現了第一(yi)(yi)次分(fen)離。數(shu)(shu)(shu)據(ju)(ju)存儲(chu)在數(shu)(shu)(shu)據(ju)(ju)庫(ku)中(zhong)(zhong)，不再(zai)依(yi)賴具體的(de)(de)應(ying)(ying)用(yong)而存在。數(shu)(shu)(shu)據(ju)(ju)要素化的(de)(de)需求將推動數(shu)(shu)(shu)據(ju)(ju)與(yu)應(ying)(ying)用(yong)進一(yi)(yi)步(bu)分(fen)離，數(shu)(shu)(shu)據(ju)(ju)不再(zai)依(yi)賴于(yu)(yu)具體的(de)(de)業務(wu)(wu)場(chang)景，數(shu)(shu)(shu)據(ju)(ju)以獨立(li)的(de)(de)形態(tai)存在于(yu)(yu)數(shu)(shu)(shu)據(ju)(ju)庫(ku)中(zhong)(zhong)，并通過數(shu)(shu)(shu)據(ju)(ju)服(fu)(fu)務(wu)(wu)為不同的(de)(de)業務(wu)(wu)場(chang)景提(ti)供服(fu)(fu)務(wu)(wu)。例如，人口數(shu)(shu)(shu)據(ju)(ju)庫(ku)可(ke)以為全部(bu)的(de)(de)涉及人口信息的(de)(de)業務(wu)(wu)場(chang)景提(ti)供服(fu)(fu)務(wu)(wu)。

趨勢二：數聯網成為數字(zi)化時代的新型信息(xi)基礎設施。

將形(xing)成一套完整的(de)數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)基礎軟件理(li)論(lun)、系(xi)(xi)統軟件架構、關鍵(jian)技(ji)術體系(xi)(xi)，包括：針(zhen)對數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)軟件以數(shu)(shu)(shu)據(ju)為(wei)中心的(de)特點，需要從復雜(za)網(wang)(wang)(wang)絡(luo)和復雜(za)系(xi)(xi)統等(deng)復雜(za)性(xing)理(li)論(lun)出發(fa)，研(yan)究(jiu)(jiu)數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)軟件的(de)結構組(zu)成、行(xing)為(wei)模式和外在性(xing)質(zhi)；針(zhen)對數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)軟件的(de)數(shu)(shu)(shu)據(ju)傳存算一體化(hua)需求，需要采用(yong)數(shu)(shu)(shu)據(ju)互操作技(ji)術和軟件定義(yi)思想，研(yan)究(jiu)(jiu)數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)軟件運行(xing)機理(li)、體系(xi)(xi)結構與關鍵(jian)機制；針(zhen)對數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)軟件跨(kua)層級(ji)、跨(kua)地(di)域、跨(kua)系(xi)(xi)統運行(xing)帶來的(de)可靠性(xing)、可用(yong)性(xing)、安全性(xing)等(deng)質(zhi)量挑戰，需要以數(shu)(shu)(shu)據(ju)驅動為(wei)手段(duan)，研(yan)究(jiu)(jiu)數(shu)(shu)(shu)聯(lian)網(wang)(wang)(wang)環境(jing)下保障服務質(zhi)量與保護質(zhi)量的(de)原(yuan)理(li)、機制與方(fang)法。

趨勢三：從單域到跨(kua)域數據(ju)管理，促進數據(ju)要素的共享與協同。

以數(shu)(shu)(shu)據(ju)為(wei)中心(xin)的計算的核心(xin)目標是數(shu)(shu)(shu)據(ju)價值的最大(da)化(hua)，關(guan)鍵要打破"數(shu)(shu)(shu)據(ju)孤(gu)島(dao)"，實現數(shu)(shu)(shu)據(ju)要素的高(gao)效共享與協(xie)同(tong)。傳統數(shu)(shu)(shu)據(ju)管理(li)局限在單(dan)一企業、業務(wu)、數(shu)(shu)(shu)據(ju)中心(xin)等內部，未來(lai)大(da)數(shu)(shu)(shu)據(ju)管理(li)將從(cong)傳統的單(dan)域(yu)(yu)(yu)模式發(fa)展(zhan)到(dao)跨(kua)(kua)域(yu)(yu)(yu)模式，跨(kua)(kua)越空間(jian)域(yu)(yu)(yu)、管轄(xia)域(yu)(yu)(yu)和信任(ren)域(yu)(yu)(yu)。但跨(kua)(kua)空間(jian)域(yu)(yu)(yu)會(hui)造(zao)(zao)成(cheng)網絡(luo)時延較(jiao)高(gao)且不(bu)穩定；跨(kua)(kua)管轄(xia)域(yu)(yu)(yu)會(hui)造(zao)(zao)成(cheng)數(shu)(shu)(shu)據(ju)與應用異構，數(shu)(shu)(shu)據(ju)管理(li)復雜度大(da)大(da)提升；跨(kua)(kua)信任(ren)域(yu)(yu)(yu)則要求具備容忍各(ge)類惡意錯誤的能力(li)。跨(kua)(kua)域(yu)(yu)(yu)帶來(lai)的這些變(bian)化(hua)將為(wei)大(da)數(shu)(shu)(shu)據(ju)技術帶來(lai)新的機遇和挑戰。

趨勢四：大數據管理(li)與處理(li)系統體系結構(gou)異構(gou)化日趨明顯。

體系結(jie)構(gou)(gou)創新進入"黃金十年(nian)"，圍繞不同數(shu)(shu)據(ju)處(chu)(chu)理特征的(de)(de)(de)新型(xing)加速器（GPU、TPU、APU等各種xPU）層出不窮，存儲(chu)器件(jian)快(kuai)速發(fa)(fa)展(zhan)，高(gao)速固態(tai)硬(ying)盤（solid state disk，SSD）、新型(xing)非(fei)易(yi)失內(nei)存、新型(xing)計(ji)算(suan)網絡等成(cheng)為(wei)大數(shu)(shu)據(ju)處(chu)(chu)理系統(tong)的(de)(de)(de)重要硬(ying)件(jian)配置，計(ji)算(suan)與(yu)存儲(chu)的(de)(de)(de)融合趨勢明(ming)顯。為(wei)了(le)最(zui)(zui)大限度地發(fa)(fa)揮數(shu)(shu)據(ju)管理能(neng)力，大數(shu)(shu)據(ju)管理系統(tong)在(zai)存儲(chu)、網絡、計(ji)算(suan)等硬(ying)件(jian)上最(zui)(zui)大化挖掘新型(xing)硬(ying)件(jian)的(de)(de)(de)處(chu)(chu)理能(neng)力。在(zai)處(chu)(chu)理上針對(dui)不同數(shu)(shu)據(ju)處(chu)(chu)理需求，配置不同計(ji)算(suan)與(yu)存儲(chu)硬(ying)件(jian)成(cheng)為(wei)大數(shu)(shu)據(ju)處(chu)(chu)理系統(tong)的(de)(de)(de)主(zhu)流架構(gou)(gou)。數(shu)(shu)據(ju)驅動的(de)(de)(de)計(ji)算(suan)架構(gou)(gou)快(kuai)速發(fa)(fa)展(zhan)，以(yi)數(shu)(shu)據(ju)流為(wei)中心的(de)(de)(de)系統(tong)結(jie)構(gou)(gou)成(cheng)為(wei)重要的(de)(de)(de)系統(tong)設計(ji)理念。

趨勢(shi)五：擴(kuo)展性優(you)先設(she)計(ji)到性能優(you)先設(she)計(ji)。

數(shu)據規模急劇增長，大(da)數(shu)據處(chu)理(li)(li)(li)(li)需求越來越走向(xiang)深(shen)(shen)度價值挖(wa)掘，數(shu)據處(chu)理(li)(li)(li)(li)計(ji)(ji)(ji)算(suan)愈發密集，數(shu)據管理(li)(li)(li)(li)與(yu)處(chu)理(li)(li)(li)(li)的(de)成(cheng)(cheng)本(ben)成(cheng)(cheng)為大(da)數(shu)據管理(li)(li)(li)(li)與(yu)處(chu)理(li)(li)(li)(li)系統(tong)(tong)(tong)的(de)重要考量因(yin)素(su)，傳統(tong)(tong)(tong)“擴展性優(you)(you)先”的(de)大(da)數(shu)據處(chu)理(li)(li)(li)(li)系統(tong)(tong)(tong)設計(ji)(ji)(ji)將會被“以性能優(you)(you)先”的(de)系統(tong)(tong)(tong)設計(ji)(ji)(ji)代替。Spark、Flink等系統(tong)(tong)(tong)在大(da)數(shu)據處(chu)理(li)(li)(li)(li)生(sheng)態系統(tong)(tong)(tong)中(zhong)的(de)占有率明顯體現了這(zhe)一趨勢，圖計(ji)(ji)(ji)算(suan)（圖加速器、圖計(ji)(ji)(ji)算(suan)框架(jia)等）、深(shen)(shen)度學習框架(jia)（Tensorflow、PyTorch等）等領域(yu)專用大(da)數(shu)據處(chu)理(li)(li)(li)(li)系統(tong)(tong)(tong)的(de)崛起也是(shi)這(zhe)一系統(tong)(tong)(tong)設計(ji)(ji)(ji)理(li)(li)(li)(li)念在技術(shu)生(sheng)態上的(de)表現。智能化數(shu)據管理(li)(li)(li)(li)、近(jin)似計(ji)(ji)(ji)算(suan)等新興(xing)管理(li)(li)(li)(li)和處(chu)理(li)(li)(li)(li)方(fang)法(fa)成(cheng)(cheng)為性能優(you)(you)先設計(ji)(ji)(ji)的(de)重要技術(shu)手段。

趨勢六：近數處理成為突(tu)破(po)大數據處理系統性能瓶頸的重(zhong)要途徑。

存(cun)算一(yi)體(ti)類體(ti)系結構技術快速(su)發(fa)展，新(xin)(xin)型(xing)SSD等新(xin)(xin)型(xing)存(cun)儲贏(ying)家(jia)功能(neng)愈發(fa)豐富，分布式(shi)計(ji)(ji)算系統(tong)邊緣能(neng)力迅(xun)速(su)發(fa)展。以上3種體(ti)系結構技術發(fa)展為大(da)數據(ju)近(jin)(jin)數處(chu)理(li)(li)(li)提供了良好的發(fa)展契機。近(jin)(jin)數處(chu)理(li)(li)(li)體(ti)現在(zai)“存(cun)儲上移”（如在(zai)GPU、現場可編程門陣列（field-programmable gate array，FPGA）等計(ji)(ji)算設備上集成HBM）、"算力下(xia)沉(chen)"（如在(zai)DRAM內存(cun)或者SSD存(cun)儲設備上集成處(chu)理(li)(li)(li)能(neng)力）、“分布擴展”（如在(zai)云、邊、端分布式(shi)處(chu)理(li)(li)(li)數據(ju)，降低數據(ju)處(chu)理(li)(li)(li)中心壓力）3個方面(mian)。

趨(qu)勢七(qi)：從單(dan)域單(dan)模態分析到(dao)多(duo)域多(duo)模態融合(he)，實現廣(guang)譜關聯(lian)計算。

傳(chuan)統大(da)(da)數據(ju)分析技(ji)(ji)術(shu)(shu)大(da)(da)多僅聚(ju)焦于單一(yi)(yi)來源、單一(yi)(yi)模態(tai)的(de)(de)(de)數據(ju)，而(er)實際應用(yong)中(zhong)往(wang)往(wang)要對(dui)來自(zi)不同來源、不同模態(tai)（如文本、圖像、音視頻等）的(de)(de)(de)數據(ju)進行聯(lian)(lian)合分析，從而(er)實現不同來源與不同模態(tai)數據(ju)之間的(de)(de)(de)信(xin)息互補。此外，諸多領域的(de)(de)(de)大(da)(da)數據(ju)具有重(zhong)要的(de)(de)(de)時(shi)空屬性，當前研(yan)究對(dui)這類信(xin)息的(de)(de)(de)利用(yong)還不夠(gou)充分。因(yin)此，探究能夠(gou)跨模態(tai)關聯(lian)(lian)、跨時(shi)空關聯(lian)(lian)的(de)(de)(de)廣譜關聯(lian)(lian)技(ji)(ji)術(shu)(shu)是大(da)(da)數據(ju)分析處理的(de)(de)(de)一(yi)(yi)個重(zhong)要趨勢。

趨勢(shi)八：從(cong)聚焦關聯到探究因果，實現分(fen)析結果可解釋(shi)。

如(ru)何讓(rang)大(da)(da)數(shu)據分(fen)析(xi)(xi)(xi)模型更加(jia)穩定且具(ju)有(you)可解(jie)釋(shi)性，從(cong)而(er)使其分(fen)析(xi)(xi)(xi)結果對于(yu)用戶而(er)言變得更加(jia)可信、更加(jia)可用最好還(huan)能具(ju)備一定的(de)可回溯性，是(shi)大(da)(da)數(shu)據分(fen)析(xi)(xi)(xi)面(mian)臨的(de)巨大(da)(da)挑戰。雖(sui)然因(yin)果推(tui)斷與可解(jie)釋(shi)性分(fen)析(xi)(xi)(xi)技(ji)術(shu)取(qu)得了一定進展(zhan)，但總體來說(shuo)尚處(chu)于(yu)起步(bu)階段，離(li)實際應用還(huan)有(you)很(hen)長(chang)一段距離(li)。因(yin)此，從(cong)關聯到因(yin)果也是(shi)未來大(da)(da)數(shu)據分(fen)析(xi)(xi)(xi)技(ji)術(shu)的(de)重(zhong)要研(yan)究方向。

趨勢(shi)九：高能效大(da)數(shu)據技術是可持續發展的關鍵。

全球(qiu)大(da)(da)數(shu)(shu)據(ju)量的持續(xu)(xu)高(gao)速增(zeng)長(chang)，以(yi)(yi)(yi)及“碳達峰、碳中和”目標(biao)的提出，要求大(da)(da)數(shu)(shu)據(ju)技術(shu)棧(zhan)必須(xu)走(zou)低碳高(gao)效、可持續(xu)(xu)發(fa)展(zhan)(zhan)的路線。例如云數(shu)(shu)據(ju)管(guan)理系統以(yi)(yi)(yi)資源共享、節(jie)能(neng)高(gao)效為(wei)主要特點(dian)，將是未來大(da)(da)數(shu)(shu)據(ju)管(guan)理的主要基(ji)礎形態；在云數(shu)(shu)據(ju)管(guan)理基(ji)礎上(shang)的全國一體(ti)化高(gao)能(neng)效大(da)(da)數(shu)(shu)據(ju)管(guan)理，由(you)于(yu)算力和數(shu)(shu)據(ju)要素(su)的大(da)(da)規模(mo)調度與流通(tong)，可以(yi)(yi)(yi)進一步成為(wei)未來大(da)(da)數(shu)(shu)據(ju)管(guan)理的主要方向，形成低碳發(fa)展(zhan)(zhan)新格局(ju)。

趨(qu)勢十：大數據標準規范和以開源社(she)區(qu)為核心的軟硬件(jian)生態系(xi)統將成(cheng)為發展的重點。

隨著大數據(ju)(ju)在各個(ge)領(ling)域應(ying)用(yong)的(de)(de)(de)迅速普及(ji)，標準(zhun)化需求將(jiang)不斷增長，與大數據(ju)(ju)流(liu)動融合、質量評估，以及(ji)與行業(ye)、領(ling)域應(ying)用(yong)密切相關的(de)(de)(de)大數據(ju)(ju)標準(zhun)將(jiang)成為(wei)發展重點。開源(yuan)社區在大數據(ju)(ju)軟硬件生態建設中的(de)(de)(de)地位不斷加強，對開源(yuan)社區的(de)(de)(de)主導權爭奪將(jiang)成為(wei)各國技術、產品和市場競爭的(de)(de)(de)重點。