• 一文讀懂數據中臺技術架構

    貴客云 2021-10-12 12:20 閱讀 66

    數鑰數據中臺,能夠提供面向企業業務場景的一站式大數據分析平臺,采用大數據、移動互聯網、人工智能等先進技術,支撐企業業務創新,隨時隨地透視經營,輔助企業科學決策,加速企業數據驅動轉型變革。

    數鑰數據中臺,基于Hadoop和Spark體系相關技術,融合數據采集、分析、存儲能力,以Spring boot微服務形態對外提供服務。

    整體架構:

    應用架構:

    大規模數據管理的能力:

    分析云擁有PB級大規模數據管理能力,支持穿透數據庫、Hadoop、大規模MPP集群。可支持:

    • PB級結構化數據
    • PB級非結構化數據

    可實現多樣化海量數據的統一存儲、管理和分析。

     

    Part1 數據存儲

    Hadoop技術已經經歷了十幾年的發展,而數據中臺作為第二數據平面最重要的數據存儲和計算平臺,與Hadoop技術的融合越來越緊密,相輔相成,相得益彰。

    • HBase可以讓數據中臺保存海量數據;
    • Spark 使得數據湖可以更快的批量分析海量數據;
    • Storm,Flink,NiFi等使數據湖能夠實時接入和處理IOT數據。

    Hadoop本身更多的聚焦于數據的處理與應用,但是對于底層的數據存儲工作則并未過多的關注。數據中臺需要從數據存儲、數據治理等方面繼續發展。

    許多企業通常忽略數據積累的價值,數據需要從企業的各個方面持續的收集、存儲,才有可能基于這些數據挖掘出價值信息,指導業務決策,驅動公司發展。

    數據中臺解決方案實現數據集中存儲與共享是基于Hadoop+Spark大數據解決方案和海量對象存儲架構,實現萬億級數據可靠存儲與高效分析。

    使用一套數據存儲資源池,可有效解決企業中的數據煙囪問題,提供統一的命名空間,多協議互通訪問,實現數據資源的高效共享,減少數據移動。

    數據集中存儲與共享實際上是將存儲資源池化,將計算和數據進行分離。當前仍然有不少人不能接受大數據的計算和數據分離架構,認為一旦采用分離架構,必然會導致性能的降低。

    但實際上,分離后可極大降低存儲成本,有效提高計算資源利用率,增強計算和存儲集群的靈活性。

     

    Part 2 數據集成

    數據采集是構建數據平臺的核心要素,數鑰分析云的數據采集層由日志采集和數據庫數據同步兩部分組成。

    1、日志采集:是通過整合全員行為、流程、組織績效、流程審批效能等數據埋點規范,建立一套高性能、高可靠性的數據傳輸體系,完成手機游戲買號地圖數據從生產業務端到數據平臺的傳輸。數據傳輸體系既支持實時流式計算,也支持各種時間窗口的批量計算。

    2、數據同步:主要是指數據從業務系統同步進入數據倉庫和數據倉庫同步進入數據服務或數據應用兩個方面。致遠分析云支持不同業務系統的各類數據源按批量或實時同步到數據倉庫中。

    數據不僅要存下來,更要治理好,否則數據中臺將變成數據沼澤,浪費大量的IT資源。

    平臺化的數據中臺架構能否驅動企業業務發展,數據治理至關重要。

    企業中收集的數據或從其他行業中采集數據種類多樣,格式不一,多數以原始格式存儲,企業需要不斷對這些原始數據進行整合加工,根據各業務組織、場景、需求形成容易分析的干凈數據,盡可能多的讓更多的人訪問分析數據。

    數據治理是個一系列復雜的工作,這里重點介紹下元數據的管理。

    數鑰分析云解決方案為企業中海量的數據集提供了一套集中的元數據管理系統,提供全局的數據資源目錄、完整的數據元數據描述、數據血緣關系,方便員工快速查找了解數據,更好的支撐數據分析,元數據管理異步的從數據服務中抽取元數據,盡量不影響原系統的運行。

     

    Part 3 數據應用

    第一層是績效層,即重點關注的KPI指標。

    隨著企業的發展,每個階段要解決的問題不同,每個階段每個管理者所關注的指標也不同,這些指標需要我們時時關注,才能保證整個企業的良好運行。通過績效層指標最容易發現企業存在的問題。

    第二層是運營分析層,這層指標是企業的數據支撐。

    對這層的指標我們要進行透視分析,深入分析,只有提前發現運營層指標的異常,才能提前預測到KPI指標的異常。通過經營分析層指標,我們可以找到問題產生的根源,才能對癥下藥,調整企業的管理。對企業進行調整后,又會反饋到運營指標上來,我們可以持續監控調整是否起到了預期的效果。

    第三層是業務優化層。

    我們要創新,要探索新的模式,就要有數據支撐。我們也可以嘗試一些模擬分析。

     

    數鑰數據中臺中具有開箱即用的ERP分析模型,也可以借助業務模型設計器定義出更多的領域、行業模型。

    系統架構:

    基于中國企業大多數中層經理以上人員的計算機實際應用水平,在方案應用設計上,應充分考慮用戶的實際情況,可根據這些人員平時看報表的順序,將各類相關聯的報表串起來,形成有序化的分析思路,并加以連續展現,輔之以動態多維查詢分析功能。

    最終的展現效果為一種固定報表格式和固定路徑的初級數據鉆探方式和動態報表即席查詢與多維分析的高級數據鉆探方式的相結合應用。

    系統應用架構核心設計思想為基于角色的多維度、多層級應用模型。主要包括:

    • 應用角色:系統可滿足總經理、財務總監、營銷總監、財務經理、營銷主管、供應主管、數據分析員、系統管理員等角色的應用需求;
    • 數據類型:財務數據、分銷數據、終端數據、采購數據、庫存數據、綜合數據;
    • 數據周期:日、月、季度、半年和年。報表形成時間,可根據企業不同管理需求和資料取數的難易情況而定;
    • 數據屬性:即數據表現形式,分為靜態統計類報表、指標類、監控類、分析類(動態分析類報表,圖形報表)、決策類(如定價模型、量本利模型等)。

    其中,多維度應用包括:

    • 數據橫向探察:是對同一經濟活動或業務,從不同的角度進行考察和分析,從中揭示并解決存在的問題。如按產品、按區域、按部門、按客戶/供應商、按各種對比基準等不同調度考察。
    • 數據縱向探察:是對某項經濟活動或業務,由粗到細,由廣到微,逐層分解并分析其中存在或發生問題的原因。一般考察與分析的習慣與步驟為:先概覽總體指標,再閱讀基本報表,由此逐層查詢,直到查出產生問題的原因或查詢到最原始的業務發生依據為止。

    其中,多層級應用包括:

    • 管理層(總經理、財務總監等):基本上關注一些最關鍵的指標和報表,以閱讀總括指標為主,并使用相關的預決策模型。而在應用的思路上至多為指標—報表兩層,進一步的分析大多為通過電話或口頭指令下級完成;
    • 中層經理(財務經理、營銷經理等):主要查看一些跟其主管業務相關的指標和報表,主要是查看具體內容,并使用相關的預決策模型,關注相關業務的執行進度和完成情況,實時監控主管業務的全過程狀態。在分析應用的思路上大多為指標—報表—報表的多層聯查。而對于更進一步的深層次原因探查則通過動態即席分析實現;
    • 數據分析人員(業務分析員、IT技術人員等):應用主要集中在各種動態即時分析上,通過靈活的拖拉拽、旋轉、切片、切塊、下鉆、上探等操作,實現比較高級的深度數據鉆探方式。IT技術人員和業務分析人員還要配合來共同負責物理數據模型的設計、修改和維護工作。
    • 作業層人員(業務人員等):應用最為基礎簡單,主要是查看跟自己相關的各類具體的業務報表,以明確自己的工作內容和工作成果,及解答領導的相關詢問。
    • 系統管理員(系統管理員等):系統維護,用戶管理,信息發布,數據備份等工作。

    數鑰分析云能提供面向企業業務場景的一站式大數據分析解決方案,基于大數據、移動互聯網、人工智能等先進技術,全面支撐企業業務創新,隨時隨地透視經營,輔助企業科學決策,加速企業數據化轉型升級,助力企業進行精準營銷、戰略管控、風險預警等。

    分類: 科技 關鍵詞: 指標管理系統
    原文 編輯 投訴 置頂 分享
    推薦
    快訊
    劇透網 展會網 區塊鏈 鄉村游
    游戲運營 營銷軟件 行業信息

    營銷 微信營銷 QQ營銷 網絡營銷 自媒體營銷 產品推廣 營銷策劃 媒體投放 電商營銷 廣告聯盟 短視頻營銷軟件 科技 大數據 人工智能 智能硬件 工業互聯網 物聯網
    財經 展會信息 工程機械 無貨源店群 跨境電商 投資理財 量化交易 價值投資 理財課程 理財項目 招商加盟 食品招商 餐飲加盟 親子旅游

    版權所有©貴客云    QQ732055019 魯ICP備08109250號-5

    魯公網安備 37020302371242號

    在线看片日本专区免费 - 视频 - 在线观看 - 影视资讯 - 品赏网