文章插圖
12月9日消息，日前，毓數大數據平臺架構全面升級，360數科完成了Apache Doris在毓數大數據分析多場景落地應用 。
同時，360數科獨創的Doris + Presto秒級多級加速引擎 ， 改良了大數據分析內存占用過高，數據處理緩慢等問題 。在Doris的支持下，360數科實時查詢一級加速性能提升190倍 ， 二級加速性能提升19.1倍，實時數據分析效率大幅提升 。
【360數科：完成Apache Doris在毓數大數據分析多場景落地應用】伴隨業務的不斷深入，360數科早期應用的OLAP多維分析數據庫集群穩定性較低、運維復雜和表關聯查詢較慢等問題凸顯 。“除此之外，在大數據查詢分析場景，基于Spark單一查詢引擎分鐘級響應，影響數據分析人員工作效率，亟需做出優化和重構 。” 360數科系統架構總監黃建庭稱 。
基于以上需求及痛點，360數科對大數據計算引擎的選型目標提出了明確的需求，即：數據寫入性能高、查詢響應秒級、兼容標準 SQL 協議、表關聯查詢性能優秀、支持豐富的數據模型、運維復雜度低、社區活躍以及對商業友好，無法律風險 。
今年3月 ， 360數科對符合以上特點的數據庫 Apache Doris 展開了為期兩個月的調研測試，并在多次適配后，獨創多級查詢引擎動態切換的機制，完成了針對業務場景的調優 。“Doris的應用，使我們的數據處理分析能力發生了質的飛躍 。從效果來講，Doris不僅可以支持高并發的實時查詢場景 ， 也能支持高吞吐的復雜分析場景 。”
為提高查詢性能，360數科自主研發的多級加速查詢引擎，支持多查詢引擎動態切換的機制，能夠通過識別查詢數據的元信息對當次查詢做自動的查詢引擎（Doris/Presto/Spark/Hive）路由和故障切換 。通過將Doris 架設在 Hive 數倉的上層，360數科可以直接復用已經建設好的數據血緣關系，在不利用Doris 集群產生新表的前提下 ， 就能完成對特定場景的低成本查詢加速 。
據介紹，2019年 ， 360數科加入Apache OpenMessaging，參與開放消息技術標準推廣和實踐，為包括Apollo、Dubbo、Skywalking、Sentinal、Arthas等開源項目在內的多個項目提出問題、貢獻代碼及解決方案 。
在自主開源方面，360數科技術團隊貢獻的首個自主開源項目Chronus ， 在完成內部5個里程碑版本后，無縫支持Dubbo協議、Http及SpringCloud等，致力于成為微服務生態輕量級分布式調度平臺 。
今年6月，Apache Doris成功從 Apache 孵化器畢業，正式成為 Apache 頂級項目 。“作為開源社區曾經的受益者，我們更希望能夠以助力者的身份與其他高科技公司共同攜手推動我國計算機技術和高科技企業的發展 。”
據了解 ， 360數科將繼續應用Doris在實時查詢引擎加速、實時數倉、用戶畫像/標簽、RTA等業務場景不斷優化 。同時公司也將通過分析用戶的查詢 SQL 特征，結合Doris的查詢緩存、物化視圖、Doris on Hive等特性 ， 進一步提升查詢效率等 ， 以期支撐更多的業務場景、發揮更大價值 。
談及后續規劃，黃建庭表示，“未來我們也會考慮全面開源 ， 但不是簡單地把系統開源，會充分考慮到開源項目的適用性、通用性等，避免系統的環境依賴、內部依賴、能力依賴，以開放的金融科技創新能力幫助相關公司提升效率、節約資源，同時也不斷完善我們開源的系統，進一步推動金融科技底層生態的完善 。”（一橙）
相關經驗推薦
- 《光環：致遠星》Xbox360 金手指 Sensi420 AllTU +7
- 360手機衛士可查殺貝克漢姆主題惡意應用
- 惡魔之魂重制版暗殺支線怎么完成 暗殺任務過關心得
- 海洋之王互惠互利任務完成不了怎么辦 海洋之王任務bug解決
- 跳躍之王可愛的貓成就怎么完成 可愛的貓成就完成方法介紹_網
- 跳躍之王愚弄我兩次成就完成方法分享 烏鴉籠子成就怎么完成_網
- 360搜索引擎排名：應該如何進行優化？
- 如何清晨自己完成自然卷發
- 網咖模擬器成就怎么完成 網咖模擬器成就完成方法一覽
- 愛絲卡羅吉的煉金工房成就有哪些 全成就完成方法介紹_網