日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

遭遇大數(shù)據(jù)殺熟,大數(shù)據(jù)處理方案( 二 )

云知道遭遇


4.數(shù)據(jù)展現(xiàn) ， 數(shù)據(jù)做出來沒用 ， 要可視化 ， 做到MVP ， 就是快速做出來一個效果 ， 不合適及時調(diào)整 ， 這點有點類似于Scrum敏捷開發(fā) ， 數(shù)據(jù)展示的可以用datav ， 神策等 ， 前端好的可以忽略 ， 自己來畫頁面 。數(shù)據(jù)采集：1.批數(shù)據(jù)采集 ， 就是每天定時去數(shù)據(jù)庫抓取數(shù)據(jù)快照 ， 我們用的maxComputer ， 可以根據(jù)需求 ， 設置每天去數(shù)據(jù)庫備份一次快照 ， 如何備份 ， 如何設置數(shù)據(jù)源 ， 如何設置出錯 ， 在maxComputer都有文檔介紹 ， 使用maxComputer需要注冊阿里云服務2.實時接口調(diào)用數(shù)據(jù)采集 ， 可以用logHub,dataHub,流數(shù)據(jù)處理技術,DataHub具有高可用 ， 低延遲 ， 高可擴展 ， 高吞吐的特點 。
高吞吐：最高支持單主題（Topic）每日T級別的數(shù)據(jù)量寫入 ， 每個分片（Shard）支持最高每日8000萬Record級別的寫入量 。實時性：通過DataHub  ， 您可以實時的收集各種方式生成的數(shù)據(jù)并進行實時的處理 ， 設計思路：首先寫一個sdk把公司所有后臺服務調(diào)用接口調(diào)用情況記錄下來 ， 開辟線程池 ， 把記錄下來的數(shù)據(jù)不停的往dataHub,logHub存儲 ， 前提是設置好接收數(shù)據(jù)的dataHub表結構3.前臺數(shù)據(jù)埋點 ， 這些就要根據(jù)業(yè)務需求來設置了 ， 也是通過流數(shù)據(jù)傳輸?shù)綌?shù)據(jù)倉庫 ， 如上述第二步 。
數(shù)據(jù)處理：數(shù)據(jù)采集完成就可以對數(shù)據(jù)進行加工處理 ， 可分為離線批處理 ， 實時處理 。1.離線批處理maxComputer ， 這是阿里提供的一項大數(shù)據(jù)處理服務 ， 是一種快速 ， 完全托管的TB/PB級數(shù)據(jù)倉庫解決方案 ， 編寫數(shù)據(jù)處理腳本 ， 設置任務執(zhí)行時間 ， 任務執(zhí)行條件 ， 就可以按照你的要求 ， 每天產(chǎn)生你需要數(shù)據(jù)2.實時處理：采用storm/spark,目前接觸的只有storm,strom基本概念網(wǎng)上一大把 ， 在這里講一下大概處理過程 ， 首先設置要讀取得數(shù)據(jù)源 ， 只要啟動storm就會不停息的讀取數(shù)據(jù)源 。
Spout ， 用來讀取數(shù)據(jù) 。Tuple：一次消息傳遞的基本單元 ， 理解為一組消息就是一個Tuple 。stream,用來傳輸流 ， Tuple的集合 。Bolt：接受數(shù)據(jù)然后執(zhí)行處理的組件,用戶可以在其中執(zhí)行自己想要的操作 ?？梢栽诶镞厡憳I(yè)務邏輯 ， storm不會保存結果 ， 需要自己寫代碼保存 ， 把這些合并起來就是一個拓撲 ， 總體來說就是把拓撲提交到服務器啟動后 ， 他會不停讀取數(shù)據(jù)源 ， 然后通過stream把數(shù)據(jù)流動 ， 通過自己寫的Bolt代碼進行數(shù)據(jù)處理 ， 然后保存到任意地方 ， 關于如何安裝部署storm ， 如何設置數(shù)據(jù)源 ， 網(wǎng)上都有教程 ， 這里不多說 。
數(shù)據(jù)展現(xiàn)：做了上述那么多 ， 終于可以直觀的展示了 ， 由于前端技術不行 ， 借用了第三方展示平臺datav,datav支持兩種數(shù)據(jù)讀取模式 ， 第一種 ， 直接讀取數(shù)據(jù)庫 ， 把你計算好的數(shù)據(jù) ， 通過sql查出 ， 需要配置數(shù)據(jù)源 ， 讀取數(shù)據(jù)之后按照給定的格式 ， 進行格式化就可以展現(xiàn)出來@jiaoready @jiaoready 第二種采用接口的形式 ， 可以直接采用api ， 在數(shù)據(jù)區(qū)域配置為api ， 填寫接口地址 ， 需要的參數(shù)即可 ， 這里就不多說了 。

推薦閱讀