日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

時序數(shù)據(jù),時間序列數(shù)據(jù)的存儲和計算

云知道存儲

ScyllaDB和clickhouse哪個更適合金融時序數(shù)據(jù)處理？為什么？

時序數(shù)據(jù),時間序列數(shù)據(jù)的存儲和計算


個人印象：ScyllaDB和clickhouse在金融時序數(shù)據(jù)的處理上不如kdb 和dolphindb 。kdb 是一款性能極佳的時間序列數(shù)據(jù)庫 。它是美國華爾街各大金融機(jī)構(gòu)20多年來處理大規(guī)模數(shù)據(jù)的首選系統(tǒng) 。它通常用于高頻交易，非常適用于高速存儲、分析、處理和檢索大型數(shù)據(jù)集 。在存取和實時分析海量股票、外匯等高頻數(shù)據(jù)這個領(lǐng)域內(nèi)，唯kdb 獨(dú)尊 。
kdb 還提供了專門的編程語言q語言，它天生具有處理大規(guī)模數(shù)據(jù)的能力 。DolphinDB作為新一代的高性能時間序列數(shù)據(jù)庫，與kdb 在編程語言和技術(shù)架構(gòu)上有非常大的區(qū)別：DolphinDB的編程語言與Python和SQL非常相似，非常簡單易學(xué)，而很多使用過kdb 的人都表示它的q語言極其晦澀難懂，學(xué)習(xí)曲線陡峭，難以掌握 。
2. 在技術(shù)架構(gòu)上，DolphinDB采用了分布式文件系統(tǒng)和分布式計算，可以通過增加集群的物理服務(wù)器來擴(kuò)展分布式計算的速度 。知乎上有篇《揭秘高性能DolphinDB》（https://zhuanlan.zhihu.com/p/40049521）詳細(xì)講解了DolphinDB架構(gòu) 。kdb 是為高性能計算機(jī)設(shè)計的，對服務(wù)器的要求較高 。
它沒有集群的概念，也就是說它無法在多個物理服務(wù)器組成的分布式文件系統(tǒng)上運(yùn)行 。kdb 號稱是速度最快的時序數(shù)據(jù)庫，很多客戶和合作伙伴一直好奇DolphinDB與kdb 的性能對比 。根據(jù)kdb 的license合規(guī)性要求，我們不提供官方的性能評測報告 。最近有數(shù)據(jù)庫領(lǐng)域的知乎網(wǎng)友使用紐約證券交易所的公開數(shù)據(jù)對DolphinDB和kdb 進(jìn)行了性能測試對比 。
感興趣的朋友可以查看知乎文章《Kdb 有可能不再是最快的時序數(shù)據(jù)庫？》（https://zhuanlan.zhihu.com/p/41799930） 。根據(jù)網(wǎng)友的測試結(jié)果顯示，在加載數(shù)據(jù)和保存數(shù)據(jù)，“DolphinDB比kdb 要略勝一籌” 。2. 在網(wǎng)友測試的16種數(shù)據(jù)查詢和38種計算任務(wù)中，“在數(shù)據(jù)沒有分區(qū)的情況下，DolphinDB查詢的速度是kdb 的2.5倍；在數(shù)據(jù)分區(qū)的情況下，DolphinDB查詢的速度是kdb 的2倍”，“在其中的35種測試中，DolphinDB比kdb 表現(xiàn)得更出色 。
DolphinDB計算性能指標(biāo)的中位數(shù)是kdb 的2.7倍 。在包含NULL值的整數(shù)排序，移動最大值和移動平均值這些測試項目上，DolphinDB的的速度是kdb 的10倍以上 ” 。3.“左連接的時候，DolphindB稍微慢于kdb ，但在進(jìn)行等值連接、asof join和窗口連接的情況下，DolphinDB比kdb 的速度明顯要快得多 。
【時序數(shù)據(jù),時間序列數(shù)據(jù)的存儲和計算】對于左連接，kdb 的速度大約比DolphinDB快10%~30%，對于等值連接，DolphinDB的速度大約是kdb 的2~4倍，對于asof join，DolphinDB的速度大約是kdb 的4~8倍，對于在窗口連接中使用常用的聚合函數(shù)（min、max、first、last、avg、wavg），DolphinDB比kdb 快1個數(shù)量級” 。

    推薦閱讀