大資料標準化背景

面對目前數量、速度和多樣性日益增長的資訊資產，大資料技術通過各種解決方案、體系、結構、工具和平臺集合，能有效應對大資料場景。因為資料是大資料的基礎，對於大資料標準化，除了繼承資料標準化的內容外，有其特別關注的方面。比如：定義大資料專業詞彙，增加不同型別的資料結構如何標準化，解決海量多樣化資料集的儲存計算架構，定義並標識敏感資料，研究海量資料脫敏及資料隱私等。

在大資料領域，標準研製機構也陸續研製和釋出了一系列標準，如何有效將這些標準梳理並串接起來，需要構建一套框架。2017年11月釋出的《金融業標準化體系建設發展規劃（2016-2020年）》就明確提出要構建金融大資料標準體系。以下通過大資料技術參考模型角度來梳理大資料系列標準。

在這裡我還是要推薦下我自己建的大資料學習交流裙：667367234， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
 

大資料技術參考模型

《資訊科技大資料技術參考模型》是2018年7月實施的國家標準。此標準規範了大資料的基礎通用模型，包括大資料角色、活動和功能元件以及它們之間的關係。

大資料參考模型總體上可以概括為“一個概念體系、二個價值鏈維度”。

大資料標準梳理

概念體系角度：上述參考模型的角色、活動和元件涉及大資料概念，需要大資料基礎標準來定義。比如最新發布的大資料標準《資訊科技大資料術語》《資訊科技大資料技術參考模型》等。

資訊價值維度：包括資料提供者、大資料應用提供者和資料消費者角色。其中大資料應用提供者包括收集、預處理、分析、視覺化、訪問活動。提供資訊價值服務需要業務類標準規範資料，也需要針對大資料從產生到其使用終止的資料生命週期制定標準。業務標準比如《徵信資料元》《統計資料和元資料交換（SDMX）》《銀行間市場基礎資料元》等。

IT價值鏈維度：包括大資料框架提供者、大資料應用提供者、系統協調者角色。其中大資料框架提供者包括基礎設施、平臺、處理框架活動。IT基礎服務需要制訂大資料技術類的標準，包括大資料平臺相關工具和產品規範，以及針對不同功能層次系統和技術架構系統之間的互聯和互操作機制。比如說工信部正在制訂的《資訊科技大資料系統通用規範》通過對照大資料技術參考模型來設計規範測試內容。

框架的外圍支撐：需要制訂相應的大資料管理類標準和安全類標準為上述角色活動提供支撐。

管理模組：資料管理能力標準對於金融機構很有意義。比如國際管理標準方面，國外有DAMA（資料管理協會）組織致力於研究此領域；GB/T36073-2018《資料管理能力成熟度評估模型》標準已釋出，是我國首個數據管理領域的國家標準。

安全和隱私模組：安全類大資料標準需貫穿於整個資料生命週期的各個階段，指導行業在資料採集、傳輸、儲存、整合、共享、應用、歸檔與銷燬等階段進行安全技術防護和安全管理。在大資料安全方面國標《資訊保安技術大資料服務安全能力要求》已經發布，規定了大資料服務提供者應具有的相關基礎安全能力和資料生命週期相關的資料服務安全能力。

關注微信公眾號：程式設計師交流互動平臺！獲取資料學習！