1. 首頁 > 云知道 > >

數據湖對比分析,大數據平臺

云知道分析

大數據平臺開發大數據平臺工程師開發主要關注提供大數據基礎設施和工具 。再來說說大數據平臺的軟件或者工具：1、數據庫 ， 大數據平臺類 ， 星環 ， 做Hadoop生態系列的大數據平臺公司 。什么時候需要大數據平臺？簡單的說就是當數據總量大到傳統單機數據解決方面沒辦法存儲 ， 分析 ， 計算時就要用到大數據平臺 。
大數據平臺的軟件有哪些？

數據湖對比分析,大數據平臺


這個要分好幾塊來講 ， 首先我要說明的是大數據項目也是要有很多依賴的模塊的 。每個模塊的軟件不一樣 ， 下面分別聊一下 。一、大數據處理這個是所謂大數據項目中最先想到的模塊 。主要有spark ， hadoop ， es ， kafka ， hbase ， hive等 。當然像是flume ， sqoop也都很常用 。這些軟件主要是為了解決海量數據處理的問題 。
軟件很多 ， 我只列幾個經典的 ， 具體可以自行百度 。二、機器學習相關大部分大數據項目都和機器學習相關 。因此會考慮到機器學習的一些軟件 ， 比如說sklearn ， spark的ml ， 當然還有自己實現的代碼 。三、web相關技術大部分項目也都跑不了一個web的展示 ， 因此web就很重要的 ， java的ssh ， python的django都可以 ， 這個看具體的項目組習慣了 。
四、其它還有一些很常用的東西 ， 個人感覺不完全算是大數據特定使用范圍 。反正我在做大數據項目的時候也都用到了 。比如說數據存儲：redis ， mysql 。數據可視化：echart ， d3js 。圖數據庫：neo4j 。再來說說大數據平臺的軟件或者工具：1、 數據庫 ， 大數據平臺類 ， 星環 ， 做Hadoop生態系列的大數據平臺公司 。
Hadoop是開源的 ， 星環主要做的是把Hadoop不穩定的部分優化 ， 功能細化 ， 為企業提供Hadoop大數據引擎及數據庫工具 。2、 大數據存儲硬件類 ， 浪潮 ， 很老牌的IT公司 ， 國資委控股 ， 研究大數據方面的存儲 ， 在國內比較領先 。3、 云計算 ， 云端大數據類 ， 阿里巴巴 ， 明星產品-阿里云 ， 與亞馬遜AWS抗衡 ， 做公有云、私有云、混合云 。
實力不差 ， 符合阿里巴巴的氣質 ， 很有野心 。4、 數據應用方面這個有很多 ， 比如帆軟旗下的FineReport報表系統和FineBI大數據分析平臺等 。帆軟是商業智能和數據分析平臺提供商 ， 從報表工具到商業智能 ， 有十多年的數據應用的底子 ， 在這個領域很成熟 ， 目前處于快速成長期 ， 但是很低調 ， 是一家有技術有實力而且對客戶很真誠的公司 。
【數據湖對比分析,大數據平臺】有哪些好的數據來源或者大數據平臺？
數據湖對比分析,大數據平臺


花了兩天時間 ， 整理如下40 個平臺 ， 多數免費即可獲取數據 。官方發布數據（多立足社會民生）1、國家數據——主要用戶：社會情況研究人員國家統計局開設網站 ， 公布我國各個領域的宏觀經濟情況 ， 權威度高2、國家統計局——主要用戶：社會情況研究人員鏈接各省市地區的統計網站 ， 提供更多官方統計報告3、中國裁判文書網——主要用戶：法律從業/學習/愛好者中國最高人民法院開設 ， 權威可信 ， 可用于查詢國內裁判文書 ， 可作數據統計來源4、中國互聯網信息研究中心——主要用戶：互聯網研究人員經國家主管部門批準組建的管理和服務機構 ， 經常發布一些有價值的互聯網信息報告5、中國信通院——主要用戶：互聯網研究人員針對互聯網多個行業的發展趨勢 ， 發布白皮書 ， 角度較為宏觀6、國土資源部——主要用戶：相關研究人員國土資源部對外公開的信息報告 ， 內容權威7、中國氣象局——主要用戶：氣象相關研究人員中國氣象局對外公開的年度報告 ， 支持下載查看網絡趨勢分析1、5118 / chinaz——主要用戶：SEO專員支持查詢網站排名及發展趨勢、百度收錄情況等信息2、艾瑞指數——主要用戶：互聯網從業者艾瑞旗下/包括移動APP指數、PC Web指數、影視指數、廣告指數、移動設備指數五類指數查詢工具 。

推薦閱讀