當今世界,科技進步日新月異,互聯網、云計算、大數據等現代信息技術深刻改變著人類的思維、生產、生活、學習方式。信息技術與經濟社會的交匯融合引發(fā)了數據爆發(fā)式增長,數據已成為重要生產要素和國家基礎性戰(zhàn)略資源。近年來,國家統(tǒng)計局頒布了一系列推進大數據應用的重要舉措,確定了“總體設計、牽頭攻關、先易后難、專業(yè)突破”的總體思路和“打造中國政府統(tǒng)計數據來源第二軌”的工作目標,加快推進大數據與政府統(tǒng)計工作深度融合,穩(wěn)步推進大數據政府統(tǒng)計中的應用。
一、什么是大數據
大數據(Big Data)被認為是新型戰(zhàn)略性資源,能夠幫助實現對經濟社會發(fā)展的全面展現、精準預測和智慧決策。當前,對大數據的概念已經基本形成共識,盡管在某些細節(jié)上還存在一些爭議。中華人民共和國國家質量監(jiān)督檢驗檢疫總局和中國國家標準化管理委員會于2017年12月29日發(fā)布了《信息技術 大數據 術語》的國家標準(GB/T 35295-2017),并于2018年7月1日起正式實施。該標準指出,大數據是“具有體量大、來源多樣、生成極快且多變等特征并且難以用傳統(tǒng)數據體系結構有效處理的包含大量數據集的數據”。這種針對信息技術領域對大數據給出的定義,可以作為其他領域的重要參考。對政府統(tǒng)計而言,大數據通常被認為是采用多種數據收集方式、整合多種數據來源的數據,是采用現代信息技術和架構高速處理和挖掘、具有高度應用價值和決策支持功能的數據、方法及其技術集成。
二、大數據主要有哪些特征
一般認為,大數據的主要特征可以概括為四個“V”(見圖1):
圖1 大數據的主要特征
第一,數據體量巨大(Volume)。目前人類社會的數據集規(guī)模已經從GB到TB再到PB,甚至到了以EB和ZB來進行計量的程度。
第二,應用價值巨大(Value)。大數據經過有針對性的搜集、清洗、分析后,對政府決策、企業(yè)經營和大眾消費等都具有應用價值和支撐作用。大數據和傳統(tǒng)數據如果能做到深度融合、有機結合,可能會產生新的信息和知識。運用和處理大數據就是要通過強大的機器算法迅速地完成數據的價值“提純”。
第三,數據類型繁多(Variety)。大數據主要包括結構化數據、半結構化數據和非結構化數據,如音頻、視頻、圖片、網絡日志、地理位置信息等多種類型的數據。非結構化數據占比很高且不斷增大,對常規(guī)數據分析工具提出了較大挑戰(zhàn)。
第四,生成速度較快(Velocity)。大數據往往以數據流形式實時快速地產生。手機、物聯網、平板電腦、移動互聯網以及各種傳感器的廣泛深入應用,為提升大數據生產速度提供了便利條件。對大數據的處理需要采用非傳統(tǒng)的技術手段,引入新的基礎架構,努力破解快速計算和實時存儲相關難題。
三、政府統(tǒng)計應用大數據的主要類型有哪些
根據國家統(tǒng)計局和國家發(fā)展和改革委員會聯合印發(fā)的《非傳統(tǒng)數據統(tǒng)計應用指導意見》,大數據是非傳統(tǒng)數據的主體,在很多情形下可以代指非傳統(tǒng)數據。具體而言,大數據是指通過非傳統(tǒng)政府統(tǒng)計調查獲取的數據(國外一些機構也稱之為“二手數據”),包括政府部門的行政記錄數據、商業(yè)記錄數據、互聯網數據、電子設備感應數據以及其他大數據。大數據與傳統(tǒng)調查數據存在以下主要差異(見表1)。
表1 大數據與傳統(tǒng)調查數據的差異
四、我國政府統(tǒng)計大數據應用走在世界前列
大數據作為政府統(tǒng)計數據來源的“第二軌”(或新興之軌),應用領域非常廣泛,幾乎覆蓋數據采集、處理、存儲、分析和發(fā)布等整個統(tǒng)計過程。近些年來,我國政府統(tǒng)計積極開展大數據應用,取得顯著成效。在國民經濟核算、工業(yè)、能源、投資、貿經、人口、社會、科技、農業(yè)、價格、住戶、服務業(yè)等統(tǒng)計領域,廣泛使用部門行政記錄、互聯網電子化數據等大數據作為常規(guī)統(tǒng)計調查數據的補充,提高統(tǒng)計調查結果的科學性。將大數據方法應用到數據質量問題查找、數據質量審核等工作環(huán)節(jié),提升統(tǒng)計數據質量,為遏制統(tǒng)計造假弄虛作假提供新技術新手段,在提升統(tǒng)計數據準確性可靠性方面發(fā)揮了積極作用。利用大數據開展專業(yè)統(tǒng)計評估,補充常規(guī)統(tǒng)計調查短板,完善統(tǒng)計調查方法,改進數據生產方式,拓展統(tǒng)計調查指標體系,提升統(tǒng)計調查質量和效能。利用大數據改進數據處理、分析和共享機制,進一步提高開發(fā)應用數據的能力,增強統(tǒng)計分析、監(jiān)測和預警的準確性時效性。整體而言,目前我國政府統(tǒng)計運用大數據工作已經走在全球前列。